Python

13.Python处理高级数据结构和数据分析常用扩展库：Pandas

2021年1月22日
hangzi

Last Updated on 2024年1月11日 by hangzi

1、Pandas介绍

Pandas是一个用于处理高级数据结构和数据分析的Python库。基于Numpy构建的一种工具，纳入了大量模块和库一些标准的数据模型，提高python处理大数据的性能。广泛应用于金融、经济、数据分析、统计等商业领域，为从业者提供了便捷。

特点：

支持Dataframe格式，自定义索引，Dataframe是一种高效快速的数据结构对象
可以将不同格式的数据文件加载到内存中
可处理时间序列或非时间序列数据
可基于标签来切片索引，获得大数据集子集
可进行高性能数据分组、聚合、添加、删除
未对齐及索引方式不同的数据可按轴自动对齐
灵活处理数据缺失、重组、空格

2、Pandas安装

# python -m pip会使用您指定为python的Python解释器来执行pip
python -m pip install pandas

3、Series数据结构

Series类似一维数组，数组由数据与其索引标签组成，索引在左侧，值在右侧。

3.1、创建Series数组

import pandas as pd
import numpy as np

# 创建Series数组
s1 = pd.Series([1,2,3,4])
print("s1:",s1)
# 创建Series数组并设置index参数
s2 = pd.Series([1,2,3,4],index=['一','二','三','四'])
print("s2:",s2)

3.2、Series的索引和切片

通过Series的value和index属性可以获取Series中的索引和数值

# Series索引和切片
print('s2的索引：',s2.index)
print('s2的值：',s2.values)

# 通过索引获取值或者修改（索引是不可以修改的）
# 单索引
print('s2中二对应的值',s2['二'])
s2['二'] = 5
print('s2中二对应的值',s2['二'])

# 多索引
print('s2中二、四对应的值',s2[['二','四']])
# 对于连续索引可以使用冒号
print('s2中二到四对应的值',s2['二':'四'])

3.3、字典类型数据创建Series

# 字典类型数据创建Series
week_dict = {'星期一':1,'星期二':2,'星期三':3,'星期四':4,'星期五':5,'星期六':6,'星期日':7}
s3 = pd.Series(week_dict)
print('s3: ',s3)

# 按照指定顺序将字典类型转换为Series
s4 = pd.Series(week_dict,index=['星期日','星期一','星期二','星期三','星期四','星期五','星期六'])
print('s4: ',s4)

# 查看某些元素是否在Series数组中
print('s4中含有星期八','星期八' in s4)
print('s4中不含有星期八','星期八' not in s4)

# 查看是否存在缺失值
s5 = pd.Series(week_dict,index=['星期八','星期一','星期二','星期三','星期四','星期五','星期六'])
print('s5: ',s5)
print('s5数据缺失',s5.isnull())
print('s5数据不缺失',s5.notnull())

3.4、Series的算术运算

# Series数组运算数据自动对齐(不存在的索引做NaN缺失处理)
print('s4+s5:',s4+s5)

4、DataFrame数据结构

DataFrame是二维表格型数据结构，行索引和列索引都有，每一列的元素可能是不同类型的数据

4.1、DataFrame的构建

# DataFrame的创建
student_dict={
  '姓名':['张三','李四','王五','麻六'],
  '性别':['男','女','女','男'],
  '年龄':[20,18,21,22]
}
df = pd.DataFrame(student_dict)
print('df:',df)

# 指定columns的顺序
df2 = pd.DataFrame(student_dict,columns=['性别','年龄','姓名'])
print('df2:',df2)
# columns中含有值与字典key值不匹配时，NaN处理
df3 = pd.DataFrame(student_dict,columns=['性别','年龄','姓名','班级'])
print('df3:',df3)

#设置DataFrame的表头（列名称和行索引名称）
df3.index.name ='序列'
df3.columns.name = '属性'
print('df3:',df3)

# values函数获取DataFrame中所用数据
print('df3的values值:',df3.values)

4.2、DataFrame的索引

#列
print('df3中姓名列：',df3['姓名'])
print('df3中姓名列：',df3.姓名)
#行
print('df3中序号是2的行：',df3.loc[2])

#索引修改值
df3['班级'] =np.arange(4)
print('df3:',df3)

# 或者
df3['班级'] =pd.Series([2,4],index=[0,2])
print('df3:',df3)

# 不存在的columns赋值时会创建新列
df3['表现'] = pd.Series(['好','良好','良好','差'])
print('df3:',df3)

4.3、统计计算

常用的DataFrame数据统计函数:

函数	说明
mean	均值
median	中位数
count	非缺失值数量
min、max	最小值、最大值
describe	汇总统计
var	方差
std	标准差
skew	偏度
kurt	峰度
diff	一阶差分
cummin、cummax	累计最小值、累计最大值
cumsum、sumprod	累计和、累计积
cov、corr	协方差、相关系数

# DataFrame 统计运算
df4 = pd.DataFrame([[1,2,3,4],[4,3,2,1],[1,2,3,4],[4,3,2,1]],
           index=['a','b','c','d'],columns=['一','二','三','四'])
print("df4:" ,df4)

# sum()求和(如果数据中存在缺失值，计算时会自动跳过缺失值)
print('df4按列求和：',df4.sum())
print('df4按行求和：',df4.sum(axis=1))

# cumsum() 累计求和
print('df4从上到下累计求和：',df4.cumsum())
print('df4从左到右累计求和：',df4.cumsum(axis=1))

......
其他函数自己实践

4.4、DataFrame的文件操作

读取文件

常用的读取文件函数(基于pandas)：

函数	说明
read_csv(filename)	从csv文件读取数据，默认分隔符为`,`
read_table(filename)	从文本文件读取数据，默认分隔符为制表符
read_excel(filename)	从Excel中读取数据
read_sql(query, connection_object)	从SQL表/库读取数据
read_json(json_string)	从json文件中读取数据
read_html(url)	解析url、字符串或者html文件，提取数据表格
DataFrame(dict)	从字典对象中读取数据

# 读取文件
df5 =  pd.read_csv('df4.csv',encoding='utf-8')
print("df5:",df5)

写入文件

常用的写入文件函数(基于DataFrame)：

函数	说明
to_csv(filename)	写入数据到csv文件
to_excel(filename)	写入数据到Excel文件
to_sql(table_name,connection_object)	写入数据到SQL表
to_json(filename)	写入数据到json文件
to_html(filename)	写入数据到html文件
to_clipboard(filename)	写入数据到剪切贴板中

# 写文件
df4.to_csv('df4.csv',sep=',',encoding='utf-8')

5、数据处理

5.1、缺失值处理

缺失值在数据中的主要三种表现：

不存在型空值，无法获取的值
存在型空值，样本的该特征是存在的，只是暂时无法获取数据
占位型空值，无法确定是不存在型空值还是存在型空值，最不确定的一种

5.2、查找缺失值

# 查找缺失值
df6 = pd.DataFrame([[1,2,3,4],[4,np.nan,2,1],[1,2,np.nan,4],[4,3,2,1]],
           index=['a','b','c','d'],columns=['一','二','三','四'])
print("df6:" ,df6)
print('判断df6中缺失值：',df6.isnull())
print('输出含有缺失值的行：',df6[df6.isnull().any(axis=1)])

5.3、过滤缺失值

# 过滤缺失值
df8 = pd.DataFrame([[1,2,3,4],[4,np.nan,2,1],[1,2,np.nan,4],[4,3,2,1]],
           index=['a','b','c','d'],columns=['一','二','三','四'])
df7 = pd.Series([1,2,3,np.nan,5,6])
print("df7:",df7)
print("过滤df7缺失值：",df7.dropna())
print("df8:" ,df8)
print("过滤df8缺失值：",df8.dropna())

# 删除全为缺失值的行或者列
df8['五'] =np.NAN
print("df8:" ,df8)
print('删除全为缺失值的列:',df8.dropna(how='all',axis=1))

5.4、填充缺失值

# 填充缺失值
df9 = pd.DataFrame([[1,2,3,4],[4,np.nan,2,1],[1,2,np.nan,4],[4,3,2,1]],
           index=['a','b','c','d'],columns=['一','二','三','四'])
print('df9：',df9)
print('使用0填充缺失值：',df9.fillna(0))
print('中位数填充缺失值：',df9.fillna(df9.median()))
print('向上填充缺失值：',df9.ffill())
print('向下填充缺失值：',df9.bfill())

5.5、重复值处理

查找重复值
去除重复值

# 查找重复值
df10 = pd.DataFrame([[1,2,3,4],[4,3,2,1],[1,2,3,4],[4,3,2,1]],
           index=['a','b','c','d'],columns=['一','二','三','四'])
print('df10：',df10)
print('是否存在重复：',df10[df10.duplicated()])
print('是否前两列存在重复：',df10[df10.duplicated(subset=['一','二'])])

# 去除重复值
print('去除重复值：',df10.drop_duplicates(subset=['一','二'],keep='first'))

5.6、数据记录合并与分组

使用append函数合并数据
使用concat函数合并数据
使用merge函数合并数据

df11 = pd.DataFrame([[1,2,3,4],[2,3,2,1],[3,2,3,4],[4,3,2,1]],
           index=['a','b','c','d'],columns=['一','二','三','四'])

df12 = pd.DataFrame([[1,6],[2,7],[3,8],[4,9]],
           index=['a','b','c','d'],columns=['一','八'])

print('append函数合并记录:',df11.append(df12))
print('concat函数合并记录,df11和df12上下连接:',pd.concat([df11,df12]))
print('concat函数合并记录,df11和df12左右连接:',pd.concat([df11,df12],axis=1,sort=False))
print('merge函数合并记录:',pd.merge(df11,df12,left_on='一',right_on='一',how='left'))