一、需求描述

去掉字段中多余的空格、首尾空格、回车、换行等字符,具体可以在函数体中添加规则,通过正则表达式等方式进行替换为""

二、自定义Python函数

import re
def Data_cleaning(arguments):#数据清洗函数
    arguments=str(arguments)
    arguments=re.sub('[ \s]+',' ',arguments)#去掉多余空格,保留一个
    arguments=re.sub('[\n\t\r]','',arguments)#去掉回车换行

    arguments=arguments.strip(' ,')#去掉首尾空格等
    if arguments==''or arguments=='None':
        arguments=None
    return arguments

二、在PostgreSQL中创建Python函数

-- 数据清洗
DROP FUNCTION IF EXISTS pycleaning;
CREATE FUNCTION pycleaning(arguments text)
  RETURNS text
AS $$
global arguments
import re
arguments=str(arguments)
arguments=re.sub('[ \s]+',' ',arguments)#去掉多余空格,保留一个
arguments=re.sub('[\n\t\r]','',arguments)#去掉回车换行

arguments=arguments.strip(' ,')#去掉首尾空格等
if arguments==''or arguments=='None':
    arguments=None
return arguments
$$ LANGUAGE plpython3u;

三、自定义函数的使用

UPDATE
"表名"
SET
"清洗后字段名"=pycleaning("清洗前字段名");

四、效果展示

Logo

魔乐社区(Modelers.cn) 是一个中立、公益的人工智能社区,提供人工智能工具、模型、数据的托管、展示与应用协同服务,为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作,由全产业链共同建设、共同运营、共同享有,推动国产AI生态繁荣发展。

更多推荐