本文是Python版本的介绍,只有数据清洗部分不含对Excel的操作,包含去除html标签和去掉信息里的url地址。

Python的代码相对java简明了太多

# -*- coding: UTF-8 -*-

'''

Created on 2013年12月10日

@author: daT dev.tao@gmail.com

'''

import re

def dealHtmlTags(html):

'''

去掉html标签

'''

from HTMLParser import HTMLParser

html=html.strip()

html=html.strip("\n")

result=[]

parse=HTMLParser()

parse.handle_data=result.append

parse.feed(html)

parse.close()

return "".join(result)

def dealUrl(text):

'''

去掉微博信息中的url地址

'''

return re.sub('''http[s]?://(?:[a-zA-Z]|[0-9]|[$-_@.&+]|[!*\(\),]|(?:%[0-9a-fA-F][0-9a-fA-F]))+''', '',text)

if __name__== "__main__":

html = """接下来一年,我希望在惠普电脑看到更人性化,各科技化的东西,更能提升视觉享受的东西。 地址:http://t.cn/8kUAX2z

"""

html = dealHtmlTags(html)

print dealUrl(html)

Logo

魔乐社区(Modelers.cn) 是一个中立、公益的人工智能社区,提供人工智能工具、模型、数据的托管、展示与应用协同服务,为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作,由全产业链共同建设、共同运营、共同享有,推动国产AI生态繁荣发展。

更多推荐