这是来自Kaggle的Data Cleaning Challenge For 5 Days!

Kaggle是国外著名的数据竞赛分析平台，对新手十分友好，这里主要记录我在这个小挑战中学到一些数据清洗方法。

第一天：缺失数据的处理（Missing Values）

查看缺失数据：

data.isnull().sum()

填充缺失数据：

# 用0填充

data.fillna(0)

# 直接使用相同标签下下一个数据填充

#再用 0 填充

data.fillna(method = 'bfill', axis=0).fillna(0)

删除缺失数据

data.dropna()

第二天：数据缩放和归一化（Scale and Nomarlization Data）

Scale:

# 导入 min_max scaling

from mlxtend.preprocessing import minmax_scaling

# 缩放数据使之处于0到1之间

scaled_data = minmax_scaling(original_data, columns = [0])

Nomarlization

# 导入 Box-Cox Transformation

from scipy import stats

# 归一化数据

normalized_data = stats.boxcox(original_data)

第三天：日期时间的统一化（Parsing Dates）

pd.to_datetime

pandas 中有一个特别的时间类型datetime64, to_datetime就是将object类型转换为datetime64。

landslides['date_parsed'] = pd.to_datetime(landslides['date'], format = "%m/%d/%y")

image

earthquakes['date_parsed'] = pd.to_datetime(earthquakes['Date'],infer_datetime_format=True)

image

万能的infer_datetime_format=True，pandas自己推断日期类型，优点是可兼容多格式的日期处理，缺点是降低处理速度。

datetime64可以用来干什么？

例：

#获得每一月同一天的统计数据

day_of_month_landslides = landslides['date_parsed'].dt.day

自设格式的日期数据处理

例如：

image

for i in range(len(volcanos.index)):

temp = volcanos['Last Known Eruption'].values[i]

if temp == 'Unknown':

volcanos['Last Known Eruption'].values[i] = None

elif "CE" in temp:

volcanos['Last Known Eruption'].values[i] = "-" + temp[0:5]

else:

volcanos['Last Known Eruption'].values[i] = temp[0:5]

image

第四天：字符编码（Character Encodings）

encode（编码）：

#将str编码为bytes类，但在编码€时出现了错误

before = "This is the euro symbol: €"

after = before.encode("utf-8", errors = "replace")

这里utf-8也可以为ascii、gbk等。

decode（解码）:

after.decode("utf-8")

注：

(1)编码方式要和解码方式保持一致，否则会出现 UnicodeDecodeError

(2)有时候，编码会导致数据丢失

出现其他编码时：

1）第一步：猜测字符编码

import chardet

#以二进制方式读取文件

with open("../input/kickstarter-projects/ks-projects-201801.csv", 'rb') as rawdata:

result = chardet.detect(rawdata.read(10000))

print(result)

#当10k的编码结果不正确，可变化read()中的大小，如read(100000)

出现结果：{'encoding': 'Windows-1252', 'confidence': 0.73, 'language': '}

2）第二步：根据所得编码

kickstarter_2016 = pd.read_csv("../input/kickstarter-projects/ks-projects-201612.csv", encoding='Windows-1252')

编码保存至文件

#默认encoding = ‘utf-8’

kickstarter_2016.to_csv("ks-projects-201801-utf8.csv")

第五天：不一致的输入数据（Inconsistent Data Entry)

数据观察：

cities = suicide_attacks['City'].unique() #选出City字段中不重复值

cities.sort() #排序

cities

统一大小写

例：全部小写

suicide_attacks['City'] = suicide_attacks['City'].str.lower()

去除字符串两边的空格

suicide_attacks['City'] = suicide_attacks['City'].str.strip()

模糊匹配：

例如：d.i khan 和d. i khan

import fuzzywuzzy

from fuzzywuzzy import process

#与d.i khan相近的前10个字符串

matches = fuzzywuzzy.process.extract("d.i khan", cities, limit=10, scorer=fuzzywuzzy.fuzz.token_sort_ratio)

marches 的结果是一个包含十个元组的列表：[('d. i khan', 100), ('d.i khan', 100), ('d.g khan', 88)……]。所以需要重新去定义一个函数来处理它们。

def replace_matches_in_column(df, column, string_to_match, min_ratio = 90):

# 获取不重复的值

strings = df[column].unique()

# 获取前10个相近的字符串

matches = fuzzywuzzy.process.extract(string_to_match, strings,

limit=10, scorer=fuzzywuzzy.fuzz.token_sort_ratio)

# 只有当相近匹配 > 90

close_matches = [matches[0] for matches in matches if matches[1] >= min_ratio]

# 获取dataframe中所有相近的rows

rows_with_matches = df[column].isin(close_matches)

# 替换这些rows 至目标值

df.loc[rows_with_matches, column] = string_to_match

# 提示过程结束

print("All done!")

致谢：

也可以从这里学到SQL、R的知识呦！