数分一般步骤——数据清洗/预处理
【代码】数分一般步骤——数据清洗/预处理。
·
导入数据
df = pd.read_csv('path_to_file.csv')
df = pd.read_excel('path_to_file.xls', sheet_name='Sheet1',engine=None)
df = pd.read_json(f_path,encoding='utf-8')
查看数据概况
df.shape
df.columns
df.info()
df.dtypes
data.head()
data.describe().T
df.isna()
查询数据
data_0 = df.loc[20:30,['地区','年份']]
data_0 = df.iloc[400:500,0:5]
删除重复值
df = df.drop_duplicates(inplace=True)
缺失值处理(删除or替换)
对连续特征使用中位数
对分类特征使用众数
df.isna()
df = df.dropna(axis=0, how='any', inplace=False)
异常值处理(删除)
写入数据
df.to_csv('path_to_file.csv', index=True)
df.to_excel('path_to_file.xlsx', sheet_name='Sheet1')
魔乐社区(Modelers.cn) 是一个中立、公益的人工智能社区,提供人工智能工具、模型、数据的托管、展示与应用协同服务,为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作,由全产业链共同建设、共同运营、共同享有,推动国产AI生态繁荣发展。
更多推荐

所有评论(0)