Pandas 速查手册|自动化交易及策略 - 交易者论坛

离线白山

管理员

发帖: 3189

金币: 11739

威望: 113

贡献值: 18

开心币: 367

只看楼主倒序阅读使用道具楼主发表于: 2021-05-21

关键缩写和包导入

import pandas as pd # 最新为 1.0.4 版本 (2020-05-29)
import numpy as np
import matplotlib.pyplot as plt
import seaborn as sns
%matplotlib inline

成功＝艰苦劳动＋正确方法＋少说空话－－爱因斯坦

分享到 淘江湖新浪 QQ微博 QQ空间开心人人豆瓣网易微博百度鲜果白社会飞信

离线白山

管理员

发帖: 3189

金币: 11739

威望: 113

贡献值: 18

开心币: 367

只看该作者沙发发表于: 2021-05-21

导入数据
# 从 CSV 文件导入数据
pd.read_csv('file.csv', name=['列名','列名2'])
# 从限定分隔符的文本文件导入数据
pd.read_table(filename, header=0)
# Excel 导入，指定 sheet 和表头
pd.read_excel('file.xlsx', sheet_name=' 表1', header=0)
# 从 SQL 表/库导入数据
pd.read_sql(query, connection_object)
# 从 JSON 格式的字符串导入数据
pd.read_json(json_string)
# 解析 URL、字符串或者 HTML 文件，抽取其中的 tables 表格
pd.read_html(url)
# 从你的粘贴板获取内容，并传给 read_table()
pd.read_clipboard()
# 从字典对象导入数据，Key 是列名，Value是数据
pd.DataFrame(dict)
# 导入字符串
from io import StringIO
pd.read_csv(StringIO(web_data.text))

成功＝艰苦劳动＋正确方法＋少说空话－－爱因斯坦

离线白山

管理员

发帖: 3189

金币: 11739

威望: 113

贡献值: 18

开心币: 367

只看该作者板凳发表于: 2021-05-21

导出输出数据

# 导出数据到CSV文件
df.to_csv('filename.csv')
# 导出数据到Excel文件
df.to_excel('filename.xlsx', index=True)
# 导出数据到 SQL 表
df.to_sql(table_name, connection_object)
# 以Json格式导出数据到文本文件
df.to_json(filename)
# 其他
df.to_html()  # 显示 HTML 代码
df.to_markdown() # 显示 markdown 代码
df.to_string() # 显示格式化字符
df.to_latex(index=False) # LaTeX tabular, longtable
df.to_dict('split') # 字典, 格式 list/series/records/index
df.to_clipboard(sep=',', index=False) # 存入系统剪贴板

# 将两个表格输出到一个excel文件里面,导出到多个 sheet
writer=pd.ExcelWriter('new.xlsx')
df_1.to_excel(writer,sheet_name='第一个', index=False)
df_2.to_excel(writer,sheet_name='第二个', index=False)
writer.save() # 必须运行writer.save()，不然不能输出到本地

# 写法2
with pd.ExcelWriter('new.xlsx') as writer:
    df1.to_excel(writer, sheet_name='第一个')
    df2.to_excel(writer, sheet_name='第二个')
# 用 xlsxwriter 导出支持合并单元格、颜色、图表等定制功能
# https://xlsxwriter.readthedocs.io/working_with_pandas.html

成功＝艰苦劳动＋正确方法＋少说空话－－爱因斯坦

离线白山

管理员

发帖: 3189

金币: 11739

威望: 113

贡献值: 18

开心币: 367

只看该作者地板发表于: 2021-05-21

创建测试对象

# 创建20行5列的随机数组成的 DataFrame 对象
pd.DataFrame(np.random.rand(20,5))
# 从可迭代对象 my_list 创建一个 Series 对象
pd.Series(my_list)
# 增加一个日期索引
df.index = pd.date_range('1900/1/30', periods=df.shape[0])
# 创建随机数据集
df = pd.util.testing.makeDataFrame()
# 创建随机日期索引数据集
df = pd.util.testing.makePeriodFrame()
df = pd.util.testing.makeTimeDataFrame()
# 创建随机混合类型数据集
df = pd.util.testing.makeMixedDataFrame()

成功＝艰苦劳动＋正确方法＋少说空话－－爱因斯坦

离线白山

管理员

发帖: 3189

金币: 11739

威望: 113

贡献值: 18

开心币: 367

只看该作者 4楼发表于: 2021-05-21

查看、检查、统计、属性

df.head(n) # 查看 DataFrame 对象的前n行

df.tail(n) # 查看 DataFrame 对象的最后n行

df.sample(n) # 查看 n 个样本，随机

df.shape # 查看行数和列数

df.info() # 查看索引、数据类型和内存信息

df.describe() # 查看数值型列的汇总统计

df.dtypes # 查看各字段类型

df.axes # 显示数据行和列名

df.mean() # 返回所有列的均值

df.mean(1) # 返回所有行的均值，下同

df.corr() # 返回列与列之间的相关系数

df.count() # 返回每一列中的非空值的个数

df.max() # 返回每一列的最大值

df.min() # 返回每一列的最小值

df.median() # 返回每一列的中位数

df.std() # 返回每一列的标准差

df.var() # 方差

s.mode() # 众数

s.prod() # 连乘

s.cumprod() # 累积连乘,累乘

df.cumsum(axis=0) # 累积连加,累加

s.nunique() # 去重数量，不同值的量

df.idxmax() # 每列最大的值的索引名

df.idxmin() # 最小

df.columns # 显示所有列名

df.team.unique() # 显示列中的不重复值

# 查看 Series 对象的唯一值和计数, 计数占比: normalize=True

s.value_counts(dropna=False)

# 查看 DataFrame 对象中每一列的唯一值和计数

df.apply(pd.Series.value_counts)

df.duplicated() # 重复行

df.drop_duplicates() # 删除重复行

# set_option、reset_option、describe_option设置显示要求

pd.get_option()

# 设置行列最大显示数量，None 为不限制

pd.options.display.max_rows = None

pd.options.display.max_columns = None

df.col.argmin() # 最大值[最小值 .argmax()] 所在位置的自动索引

df.col.idxmin() # 最大值[最小值 .idxmax()] 所在位置的定义索引

# 累计统计

ds.cumsum() # 前边所有值之和

ds.cumprod() # 前边所有值之积

ds.cummax() # 前边所有值的最大值

ds.cummin() # 前边所有值的最小值

# 窗口计算(滚动计算)

ds.rolling(x).sum() #依次计算相邻x个元素的和

ds.rolling(x).mean() #依次计算相邻x个元素的算术平均

ds.rolling(x).var() #依次计算相邻x个元素的方差

ds.rolling(x).std() #依次计算相邻x个元素的标准差

ds.rolling(x).min() #依次计算相邻x个元素的最小值

ds.rolling(x).max() #依次计算相邻x个元素的最大值

成功＝艰苦劳动＋正确方法＋少说空话－－爱因斯坦

离线白山

管理员

发帖: 3189

金币: 11739

威望: 113

贡献值: 18

开心币: 367

只看该作者 5楼发表于: 2021-05-21

数据清理

df.columns = ['a','b','c'] # 重命名列名

df.columns = df.columns.str.replace(' ', '_') # 列名空格换下划线

df.loc[df.AAA >= 5, ['BBB', 'CCC']] = 555 # 替换数据

df['pf'] = df.site_id.map({2: '小程序', 7:'M 站'}) # 将枚举换成名称

pd.isnull() # 检查DataFrame对象中的空值，并返回一个 Boolean 数组

pd.notnull() # 检查DataFrame对象中的非空值，并返回一个 Boolean 数组

df.drop(['name'], axis=1) # 删除列

df.drop([0, 10], axis=0) # 删除行

del df['name'] # 删除列

df.dropna() # 删除所有包含空值的行

df.dropna(axis=1) # 删除所有包含空值的列

df.dropna(axis=1,thresh=n) # 删除所有小于 n 个非空值的行

df.fillna(x) # 用x替换DataFrame对象中所有的空值

df.fillna(value={'prov':'未知'}) # 指定列的空值替换为指定内容

s.astype(float) # 将Series中的数据类型更改为 float 类型

df.index.astype('datetime64[ns]') # 转化为时间格式

s.replace(1, 'one') # 用 ‘one’ 代替所有等于 1 的值

s.replace([1, 3],['one','three']) # 用'one'代替 1，用 'three' 代替 3

df.rename(columns=lambda x: x + 1) # 批量更改列名

df.rename(columns={'old_name': 'new_name'}) # 选择性更改列名

df.set_index('column_one') # 更改索引列

df.rename(index=lambda x: x + 1) # 批量重命名索引

# 重新命名表头名称

df.columns = ['UID', '当前待打款金额', '认证姓名']

df['是否设置提现账号'] = df['状态'] # 复制一列

df.loc[:, ::-1] # 列顺序反转

df.loc[::-1] # 行顺序反转, 下方为重新定义索引

df.loc[::-1].reset_index(drop=True)

成功＝艰苦劳动＋正确方法＋少说空话－－爱因斯坦

离线白山

管理员

发帖: 3189

金币: 11739

威望: 113

贡献值: 18

开心币: 367

只看该作者 6楼发表于: 2021-05-21

数据清理
#保留小数位，四舍六入五成双

df.round(2) # 全部

df.round({'A': 1, 'C': 2}) # 指定列

df['Name'] = df.Name # 取列名的两个方法

df[df.index == 'Jude'] # 索引列的查询要用 .index

df[df[col] > 0.5] # 选择col列的值大于0.5的行

# 多条件查询

df[(df['team'] == 'A') &

( df['Q1'] > 80) &

df.utype.isin(['老客', '老访客'])]

# 筛选为空的内容

df[df.order.isnull()]

# 类似 SQL wherein

df[df.team.isin('A','B')]

df[(df.team=='B') & (df.Q1 == 17)]

df[~(df['team'] == 'A') | ( df['Q1'] > 80)] # 非，或

df[df.Name.str.contains('张')] # 包含字符

df.sort_values(col1) # 按照列col1排序数据，默认升序排列

df.col1.sort_values() # 同上, -> s

df.sort_values(col2, ascending=False) # 按照列 col1 降序排列数据

# 先按列col1升序排列，后按col2降序排列数据

df.sort_values([col1,col2], ascending=[True,False])

df2 = pd.get_dummies(df, prefix='t_') # 将枚举的那些列带枚举转到列上

s.set_index().plot()

# 多索引处理

dd.set_index(['utype', 'site_id', 'p_day'], inplace=True)

dd.sort_index(inplace=True) # 按索引排序

dd.loc['新访客', 2, '2019-06-22'].plot.barh() # loc 中按顺序指定索引内容

# 前100行, 不能指定行，如：df[100]

df[:100]

# 只取指定行

df1 = df.loc[0:, ['设计师ID', '姓名']]

# 将ages平分成5个区间并指定 labels

ages = np.array([1,5,10,40,36,12,58,62,77,89,100,18,20,25,30,32])

pd.cut(ages, [0,5,20,30,50,100],

labels=[u"婴儿",u"青年",u"中年",u"壮年",u"老年"])

daily_index.difference(df_work_day.index) # 取出差别

# 格式化

df.index.name # 索引的名称 str

df.columns.tolist()

df.values.tolist()

df.总人口.values.tolist()

data.apply(np.mean) # 对 DataFrame中的每一列应用函数 np.mean

data.apply(np.max,axis=1) # 对 DataFrame中的每一行应用函数 np.max

df.insert(1, 'three', 12, allow_duplicates=False) # 插入列 (位置、列名、[值])

df.pop('class') # 删除列

# 增加一行

df.append(pd.DataFrame({'one':2,

'two':3,

'three': 4.4},

index=['f']),

sort=True)

成功＝艰苦劳动＋正确方法＋少说空话－－爱因斯坦

离线白山

管理员

发帖: 3189

金币: 11739

威望: 113

贡献值: 18

开心币: 367

只看该作者 7楼发表于: 2021-05-21

# 指定新列

iris.assign(sepal_ratio=iris['SepalWidth'] / iris['SepalLength']).head()

df.assign(rate=lambda df: df.orders/df.uv)

# shift 函数是对数据进行平移动的操作

df['增幅'] = df['国内生产总值'] - df['国内生产总值'].shift(-1)

df.tshift(1) # 时间移动，按周期

# 和上相同，diff 函数是用来将数据进行移动之后与原数据差

# 异数据，等于 df.shift()-df

df['增幅'] = df['国内生产总值'].diff(-1)

# 留存数据，因为最大一般为数据池

df.apply(lambda x: x/x.max(), axis=1)

# 取 best 列中值为列名的值写到 name 行上

df['value'] = df.lookup(df['name'], df['best'])

s.where(s > 1, 10) # 满足条件下数据替换（10，空为 NaN）

s.mask(s > 0) # 留下满足条件的，其他的默认为 NaN

# 所有值加 1 (加减乘除等)

df + 1 / df.add(1)

# 管道方法，链式调用函数，f(df)=df.pipe(f)

def gb(df, by):

result = df.copy()

result = result.groupby(by).sum()

return result

# 调用

df.pipe(gb, by='team')

# 窗口计算 '2s' 为两秒

df.rolling(2).sum()

# 在窗口结果基础上的窗口计算

df.expanding(2).sum()

# 超出（大于、小于）的值替换成对应值

df.clip(-4, 6)

# AB 两列想加增加 C 列

df['C'] = df.eval('A+B')

# 和上相同效果

df.eval('C = A + B', inplace=True)

# 数列的变化百分比

s.pct_change(periods=2)

# 分位数, 可实现时间的中间点

df.quantile(.5)

# 排名 average,min,max,first，dense, 默认 average

s.rank()

# 数据爆炸，将本列的类列表数据和其他列的数据展开铺开

df.explode('A')

# 枚举更新

status = {0:'未执行', 1:'执行中', 2:'执行完毕', 3:'执行异常'}

df['taskStatus'] = df['taskStatus'].apply(status.get)

df.assign(金额=0) # 新增字段

df.loc[('bar', 'two'), 'A'] # 多索引查询

df.query('i0 == "b" & i1 =="b"') # 多索引查询方法 2

# 取多索引中指定级别的所有不重复值

df.index.get_level_values(2).unique()

# 去掉为零小数，12.00 -> 12

df.astype('str').applymap(lambda x: x.replace('.00', ''))

# 插入数据，在第三列加入「两倍」列

df.insert(3, '两倍', df['值']*2)

# 枚举转换

df['gender'] = df.gender.map({'male':'男', 'female':'女'})

# 增加本行之和列

df['Col_sum'] = df.apply(lambda x: x.sum(), axis=1)

# 对指定行进行加和

col_list= list(df)[2:] # 取请假范围日期

df['总天数'] = df[col_list].sum(axis=1) # 计算总请假天数

# 对列求和，汇总

df.loc['col_sum'] = df.apply(lambda x: x.sum())

# 按指定的列表顺序显示

df.reindex(order_list)

# 按指定的多列排序

df.reindex(['col_1', 'col_5'], axis="columns")

成功＝艰苦劳动＋正确方法＋少说空话－－爱因斯坦

离线白山

管理员

发帖: 3189

金币: 11739

威望: 113

贡献值: 18

开心币: 367

只看该作者 8楼发表于: 2021-05-21

数据选取

df[col] # 根据列名，并以Series的形式返回列

df[[col1, col2]] # 以DataFrame形式返回多列

df.loc[df['team'] == 'B',['name']] # 按条件查询，只显示name 列

s.iloc[0] # 按位置选取数据

s.loc['index_one'] # 按索引选取数据

df.loc[0,'A':'B'] # A到 B 字段的第一行

df.loc[2018:1990, '第一产业增加值':'第三产业增加值']

df.loc[0,['A','B']] # d.loc[位置切片, 字段]

df.iloc[0,:] # 返回第一行, iloc 只能是数字

df.iloc[0,0] # 返回第一列的第一个元素

dc.query('site_id > 8 and utype=="老客"').head() # 可以 and or /& |

# 迭代器及使用

for idx,row in df.iterrows(): row['id']

# 迭代器对每个元素进行处理

df.loc[i,'链接'] = f'http://www.gairuo.com/p/{slug}.html'

for i in df.Name:print(i) # 迭代一个列

# 按列迭代，[列名, 列中的数据序列 S（索引名值)]

for label, content in df.items():print(label, content)

# 按行迭代，迭代出整行包括索引的类似列表的内容，可row[2]取

for row in df.itertuples():print(row)

df.at[2018, '总人口'] # 按行列索引名取一个指定的单个元素

df.iat[1, 2] # 索引和列的编号取单个元素

s.nlargest(5).nsmallest(2) # 最大和最小的前几个值

df.nlargest(3, ['population', 'GDP'])

df.take([0, 3]) # 指定多个行列位置的内容

# 按行列截取掉部分内容，支持日期索引标签

ds.truncate(before=2, after=4)

# 将 dataframe 转成 series

df.iloc[:,0]

float(str(val).rstrip('%')) # 百分数转数字

df.reset_index(inplace=True) # 取消索引

成功＝艰苦劳动＋正确方法＋少说空话－－爱因斯坦

离线白山

管理员

发帖: 3189

金币: 11739

威望: 113

贡献值: 18

开心币: 367

只看该作者 9楼发表于: 2021-05-21

数据处理 GroupBy 透视

df.groupby(col) # 返回一个按列col进行分组的Groupby对象
df.groupby([col1,col2]) # 返回一个按多列进行分组的Groupby对象
df.groupby(col1)[col2] # 返回按列col1进行分组后，列col2的均值
# 创建一个按列col1进行分组，并计算col2和col3的最大值的数据透视表
df.pivot_table(index=col1,
               values=[col2,col3],
               aggfunc=max,
               as_index=False)
# 同上
df.pivot_table(index=['site_id', 'utype'],
               values=['uv_all', 'regist_num'],
               aggfunc=['max', 'mean'])
df.groupby(col1).agg(np.mean) # 返回按列col1分组的所有列的均值
# 按列将其他列转行
pd.melt(df, id_vars=["day"], var_name='city', value_name='temperature')
# 交叉表是用于统计分组频率的特殊透视表
pd.crosstab(df.Nationality,df.Handedness)
# groupby 后排序，分组 agg 内的元素取固定个数
(
    df[(df.p_day >= '20190101')]
    .groupby(['p_day', 'name'])
    .agg({'uv':sum})
    .sort_values(['p_day','uv'], ascending=[False, False])
    .groupby(level=0).head(5) # 每天取5个页面
    .unstack()
    .plot()
)
# 合并查询经第一个看（max, min, last, size:数量）
df.groupby('结算类型').first()
# 合并明细并分组统计加总（'max', `mean`, `median`,
# `prod`, `sum`, `std`,`var`, 'nunique'）,'nunique'为去重的列表
df1 = df.groupby(by='设计师ID').agg({'结算金额':sum})
df.groupby(by=df.pf).ip.nunique() # groupby distinct, 分组+去重数
df.groupby(by=df.pf).ip.value_counts() # groupby 分组+去重的值及数量
df.groupby('name').agg(['sum', 'median', 'count'])

成功＝艰苦劳动＋正确方法＋少说空话－－爱因斯坦

帖子

Pandas 速查手册 [复制链接]


	http://bbs.stock99.net 访问内容超出本站范围，不能确定是否安全


	关闭您还没有登录，快捷通道只有在登录后才能使用。立即登录还没有帐号？赶紧注册一个