在数据处理的过程中，很多数据集存在数据缺失、错误、异常等情况，这些数据被称为脏数据，数据清洗的过程就是处理这些脏数据的过程。如无特殊说明，本章所使用数据为 尿检结果.xls：

异常处理

缺失数据处理

1. isnull/isna
   Pandas 的isnull方法等于isna方法（推荐用isna），是用来判断缺失值的，如果返回True则该单元格为空，返回False则该单元格非空。

1
2

data['血红蛋白'].isna() # 找出该列所有缺失值
data[data['血红蛋白'].isna()] # 取出缺失值所在行

2. notnull/notna
   Pandas 的notnull方法等于notna方法（推荐用notna），是用来判断非缺失值的，如果返回True则该单元格为非空，返回False则该单元格空。

1
2

data['血红蛋白'].notna() # 找出该列所有非缺失值
data[data['血红蛋白'].notna()] # 取出非缺失值所在行

3. dropna
   本方法主要用于删除缺失值所在的行/列，函数原型为DataFrame.dropna(axis=0, how='any', thresh=None, subset=None, inplace=False)，其中主要参数：

   参数	类型	解释
   how	{any, all}，默认any	any代表删除所有存在缺失值的行/列，all表示删除全部为缺失值的行/列
   thresh	int	某行/列的非空值超过thresh时不删除
   subset	array	允许我们drop的行/列索引

4. fillna
   本方法主要用于填充缺失值所在的行/列，函数原型为DataFrame.fillna(value=None, method=None, axis=None, inplace=False, limit=None, downcast=None)，其中主要参数：

   参数	类型	解释
   value	{scalar, dict, Series, DataFrame}	用于填充空单元格的值（scalar），或者指定为每个索引（Series）或列（DataFrame）使用哪个dict/Serise/DataFrame的值，不在dict/Serise/DataFrame的值不会填充
   method	{'bfill','ffill', None}	用缺失值后面（bfill）或前面（fill）的值填充
   limit	int	最大填充次数

重复数据处理

1. duplicated
   本方法主要用于查找重复值所在的行/列，函数原型为DataFrame.duplicated(subset=None, keep='first')，将重复的数据设置为True，其中主要参数：

   参数	类型	解释
   subset	index	检查的列索引，默认检查所有
   keep	{'first','last',False}	第一次/最后一个重复值不设置为True；所有重复值设为True

2. drop_duplicated 本方法主要用于删除重复值所在的行/列，函数原型为DataFrame.drop_duplicates(subset=None, keep='first', inplace=False, ignore_index=False)，其中主要参数：

   参数	类型	解释
   subset	索引	同上
   keep	{'first','last',False}	同上
   inplace	bool, default False	是否在原数据上修改

数据合并

contact

本方法主要用于合并不同Pandas数据，函数原型为pd.concat(objs, axis=0, join='outer', join_axes=None, ignore_index=False,keys=None, levels=None, names=None, erify_integrity=False, copy=True)，其中主要参数¹：

merge

本方法主要用于合并不同Pandas数据，函数原型为pandas.merge(left, right, how='inner', on=None, left_on=None, right_on=None, left_index=False, right_index=False, sort=False)，其中主要参数²：

join

本方法主要用于合并不同Pandas数据（与merge类似），函数原型为DataFrame.join(other, on=None, how='left', lsuffix='', rsuffix='', sort=False)，其中主要参数：

append

本方法主要用于合并不同Pandas数据，函数原型为DataFrame.append(other, ignore_index=False, verify_integrity=False, sort=False)，是concat的简略形式，只能在axis=0上进行合并

参考