您当前的位置:首页 > 电脑百科 > 程序开发 > 语言 > Python

Python处理大数据的2个神奇操作

时间:2019-10-16 11:53:43  来源:  作者:

Python有个处理大数据的库,结合xlrd库,在做一些大数据的处理统计工作的时候很好用,譬如做性能测试,你的结果数据如何统计,python有个库pandas,这个就很擅长做这个工作,这里就讲2个pandas的骚操作。 pandas中groupby、Grouper和agg函数的使用。这2个函数作用类似,都是对数据集中的一类属性进行聚合操作,比如统计一个用户在每个月内的全部花销,统计某个属性的最大、最小、累和、平均等数值。

Python处理大数据的2个神奇操作

 

统计“ext price”这个属性在每个月的累和(sum)值

import pandas as pd
import collections
df = pd.read_Excel("D:/Download/chrome/sample-salesv3.xlsx")
#print (df.head(10))
df["date"] = pd.to_datetime(df["date"])
# print (df.head(10))
df1 = df.set_index("date").resample("M")['ext price'].sum()
# print(df1.head())
Python处理大数据的2个神奇操作

 

统计每个用户每个月"ext price"这个属性的sum值,利用Grouper

df2 = df.groupby(["name",pd.Grouper(key = "date",freq="M")])["ext price"]
print(df2.head(10))
Python处理大数据的2个神奇操作

 

Agg

agg函数,它提供基于列的聚合操作。而groupby可以看做是基于行,或者说index的聚合操作。

从实现上看,groupby返回的是一个DataFrameGroupBy结构,这个结构必须调用聚合函数(如sum)之后,才会得到结构为Series的数据结果。

而agg是DataFrame的直接方法,返回的也是一个DataFrame。当然,很多功能用sum、mean等等也可以实现。但是agg更加简洁, 而且传给它的函数可以是字符串,也可以自定义,参数是column对应的子DataFrame

获取"ext price","quantity","unit price"3列的各自的累计值和均值

df3 = df[["ext price","quantity","unit price"]].agg(["sum","mean"])
print(df3.head())
Python处理大数据的2个神奇操作

 

可以针对不同的列使用不同的聚合函数

df4 = df.agg({"ext price":["sum","mean"],"quantity":["sum","mean"],"unit price":["mean"]})
print(df4.head())
Python处理大数据的2个神奇操作

 

也可以自定义函数,比如,统计sku中,购买次数最多的产品编号,通过lambda表达式来做。

#统计sku中,购买次数最多的产品编号
get_max = lambda x:x.value_counts(dropna=False).index[0]
get_max.__name__ = "most frequent"
df5 = df.agg({"ext price":["sum","mean"],
 "quantity":["sum","mean"],
 "unit price":["mean"],
 "sku":[get_max]
 })
print(df5)
Python处理大数据的2个神奇操作

 

如果希望输出的列按照某个顺序排列,可以使用collections的OrderedDict

agg_dict = {
 "ext price":["sum","mean"],
 "quantity":["sum","mean"],
 "unit price":["mean"],
 "sku":[get_max]
}
#按照列名的长度排序。OrderedDict的顺序是跟插入顺序一致的
df6 = df.agg(collections.OrderedDict(sorted(agg_dict.items(),key=lambda x:len(x[0]))))
print(df6)
Python处理大数据的2个神奇操作

 

源数据的链接:https://github.com/chris1610/pbpython/tree/master/data



Tags:Python 大数据   点击:()  评论:()
声明:本站部分内容及图片来自互联网,转载是出于传递更多信息之目的,内容观点仅代表作者本人,如有任何标注错误或版权侵犯请与我们联系(Email:2595517585@qq.com),我们将及时更正、删除,谢谢。
▌相关推荐
Python有个处理大数据的库,结合xlrd库,在做一些大数据的处理统计工作的时候很好用,譬如做性能测试,你的结果数据如何统计,python有个库pandas,这个就很擅长做这个工作,这里就讲2个p...【详细内容】
2019-10-16  Tags: Python 大数据  点击:(97)  评论:(0)  加入收藏
▌简易百科推荐
大家好,我是菜鸟哥,今天跟大家一起聊一下Python4的话题! 从2020年的1月1号开始,Python官方正式的停止了对于Python2的维护。Python也正式的进入了Python3的时代。而随着时间的...【详细内容】
2021-12-28  菜鸟学python    Tags:Python4   点击:(1)  评论:(0)  加入收藏
学习Python的初衷是因为它的实践的便捷性,几乎计算机上能完成的各种操作都能在Python上找到解决途径。平时工作需要在线学习。而在线学习的复杂性经常让人抓狂。费时费力且效...【详细内容】
2021-12-28  风度翩翩的Python    Tags:Python   点击:(1)  评论:(0)  加入收藏
Python 是一个很棒的语言。它是世界上发展最快的编程语言之一。它一次又一次地证明了在开发人员职位中和跨行业的数据科学职位中的实用性。整个 Python 及其库的生态系统使...【详细内容】
2021-12-27  IT资料库    Tags:Python 库   点击:(2)  评论:(0)  加入收藏
菜单驱动程序简介菜单驱动程序是通过显示选项列表从用户那里获取输入并允许用户从选项列表中选择输入的程序。菜单驱动程序的一个简单示例是 ATM(自动取款机)。在交易的情况下...【详细内容】
2021-12-27  子冉爱python    Tags:Python   点击:(4)  评论:(0)  加入收藏
有不少同学学完Python后仍然很难将其灵活运用。我整理15个Python入门的小程序。在实践中应用Python会有事半功倍的效果。01 实现二元二次函数实现数学里的二元二次函数:f(x,...【详细内容】
2021-12-22  程序汪小成    Tags:Python入门   点击:(32)  评论:(0)  加入收藏
Verilog是由一个个module组成的,下面是其中一个module在网表中的样子,我只需要提取module名字、实例化关系。module rst_filter ( ...); 端口声明... wire定义......【详细内容】
2021-12-22  编程啊青    Tags:Verilog   点击:(9)  评论:(0)  加入收藏
运行环境 如何从 MP4 视频中提取帧 将帧变成 GIF 创建 MP4 到 GIF GUI ...【详细内容】
2021-12-22  修道猿    Tags:Python   点击:(6)  评论:(0)  加入收藏
面向对象:Object Oriented Programming,简称OOP,即面向对象程序设计。类(Class)和对象(Object)类是用来描述具有相同属性和方法对象的集合。对象是类的具体实例。比如,学生都有...【详细内容】
2021-12-22  我头秃了    Tags:python   点击:(9)  评论:(0)  加入收藏
所谓内置函数,就是Python提供的, 可以直接拿来直接用的函数,比如大家熟悉的print,range、input等,也有不是很熟,但是很重要的,如enumerate、zip、join等,Python内置的这些函数非常...【详细内容】
2021-12-21  程序员小新ds    Tags:python初   点击:(5)  评论:(0)  加入收藏
Hi,大家好。我们在接口自动化测试项目中,有时候需要一些加密。今天给大伙介绍Python实现各种 加密 ,接口加解密再也不愁。目录一、项目加解密需求分析六、Python加密库PyCrypto...【详细内容】
2021-12-21  Python可乐    Tags:Python   点击:(8)  评论:(0)  加入收藏
最新更新
栏目热门
栏目头条