这里我们主要介绍的 一种简便的,实用的,逻辑清晰,代码量少的

import requests #请求网页

from bs4 import BeautifulSoup #分析html的结构

我们主要利用到2个库:requests,bs4

库的用法,读者请自行百度。

tips:bs4库非内置库,需要另行安装:pip3 install beautifulsoup4

然后,我们再对目标进行写入:

with open('picfile','wb') as f:#这里的picfile为存放文件

f.write(pic) #这里pic为请求到的图片对象

ok,这样爬取到的pic就存到了picfile文件里了,这里介绍的为单目标存放,实际中都是多目标文件的,所以,接下来,我们将用到for循环进行处理:

(请读者自行思考,如何加for循环)

爬虫代码如下:

import requests

pic = requests.get('网址')#改成需要爬取的网址

with open('picfile','wb') as f:

f.write(pic.content)#前面有个缩进

#注:爬取成功后改一下文件名

这是最简单的入门例子,实际中,是多个内容一起爬取,下一步就是增加bs4库针对网站进行过滤,然后再加for循环进行批量存储,请读者进行思考bde17a3393024f068dfd516e39010437.png这里是代码,运行过程

e49e8c4b6987f0af49d84ee6757db391.png爬的是我个人博客,没有侵权

58231d3b4f7b833d83b504f72ef9d0e8.png爬取的文件,改成了rtf文档,用wps打开

4571d919412ee9c40dddd5246fbc6565.png网页与文件比较,除了格式,其他还好。

Logo

魔乐社区(Modelers.cn) 是一个中立、公益的人工智能社区,提供人工智能工具、模型、数据的托管、展示与应用协同服务,为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作,由全产业链共同建设、共同运营、共同享有,推动国产AI生态繁荣发展。

更多推荐