python数据清洗代码_微博数据清洗(Python版)
本文是Python版本的介绍,只有数据清洗部分不含对Excel的操作,包含去除html标签和去掉信息里的url地址。
Python的代码相对java简明了太多
# -*- coding: UTF-8 -*-
'''
Created on 2013年12月10日
@author: daT dev.tao@gmail.com
'''
import re
def dealHtmlTags(html):
'''
去掉html标签
'''
from HTMLParser import HTMLParser
html=html.strip()
html=html.strip("\n")
result=[]
parse=HTMLParser()
parse.handle_data=result.append
parse.feed(html)
parse.close()
return "".join(result)
def dealUrl(text):
'''
去掉微博信息中的url地址
'''
return re.sub('''http[s]?://(?:[a-zA-Z]|[0-9]|[$-_@.&+]|[!*\(\),]|(?:%[0-9a-fA-F][0-9a-fA-F]))+''', '',text)
if __name__== "__main__":
html = """接下来一年,我希望在惠普电脑看到更人性化,各科技化的东西,更能提升视觉享受的东西。 地址:http://t.cn/8kUAX2z
"""
html = dealHtmlTags(html)
print dealUrl(html)
魔乐社区(Modelers.cn) 是一个中立、公益的人工智能社区,提供人工智能工具、模型、数据的托管、展示与应用协同服务,为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作,由全产业链共同建设、共同运营、共同享有,推动国产AI生态繁荣发展。
更多推荐



所有评论(0)