PostgreSQL编写Python函数进行简单数据清洗
·
一、需求描述
去掉字段中多余的空格、首尾空格、回车、换行等字符,具体可以在函数体中添加规则,通过正则表达式等方式进行替换为""
二、自定义Python函数
import re
def Data_cleaning(arguments):#数据清洗函数
arguments=str(arguments)
arguments=re.sub('[ \s]+',' ',arguments)#去掉多余空格,保留一个
arguments=re.sub('[\n\t\r]','',arguments)#去掉回车换行
arguments=arguments.strip(' ,')#去掉首尾空格等
if arguments==''or arguments=='None':
arguments=None
return arguments
二、在PostgreSQL中创建Python函数
-- 数据清洗
DROP FUNCTION IF EXISTS pycleaning;
CREATE FUNCTION pycleaning(arguments text)
RETURNS text
AS $$
global arguments
import re
arguments=str(arguments)
arguments=re.sub('[ \s]+',' ',arguments)#去掉多余空格,保留一个
arguments=re.sub('[\n\t\r]','',arguments)#去掉回车换行
arguments=arguments.strip(' ,')#去掉首尾空格等
if arguments==''or arguments=='None':
arguments=None
return arguments
$$ LANGUAGE plpython3u;
三、自定义函数的使用
UPDATE
"表名"
SET
"清洗后字段名"=pycleaning("清洗前字段名");
四、效果展示

魔乐社区(Modelers.cn) 是一个中立、公益的人工智能社区,提供人工智能工具、模型、数据的托管、展示与应用协同服务,为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作,由全产业链共同建设、共同运营、共同享有,推动国产AI生态繁荣发展。
更多推荐


所有评论(0)