1.什么是网络爬虫？

网络爬虫（又被称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。

换言之，如果我们把互联网比作一张大的蜘蛛网，数据便是存放于蜘蛛网的各个节点，而爬虫就是一只小蜘蛛，沿着网络抓取自己的猎物（数据）爬虫指的是：向网站发起请求，获取资源后分析并提取有用数据的程序；从技术层面来说就是 通过程序模拟浏览器请求站点的行为，把站点返回的HTML代码/JSON数据/二进制数据（图片、视频） 爬到本地，进而提取自己需要的数据，存放起来使用。

2.软件环境

Anaconda Navigator软件

此软件区分32位和64位（本机为64位）

2.网络爬虫怎么使用？

使用网络爬虫爬取国防科技大学本科招生信息网中2016年录取分数

1）爬取国防科技大学本科招生信息网import urllib.request as req

url = 'http://www.gotonudt.cn/site/gfkdbkzsxxw/lqfs/info/2017/717.html'

webpage = req.urlopen(url) # 根据超链访问链接的网页

data = webpage.read() # 读取超链网页数据

data = data.decode('utf-8') # byte类型解码为字符串

print(data)

这一份代码所爬取的是网页所有信息

运行结果为：

可以很明显的看到我们爬取网页的所有信息

2）根据我们需要的信息寻找关键词

我们所需要的只是其中的2016年录取分数线统计，所以我们需要进行剪裁

打开网页按f12键查看网页代码，找到所需列表的代码行然后寻找代码的关键词，最后进行剪裁

提取信息的正规表达式为：'

(.*?)'

代码为：table = re.findall(r'

firsttable = table[0]

# 数据清洗，将表中的&nbsp，\u3000，和空格号去掉

firsttable = firsttable.replace(' ', '')

firsttable = firsttable.replace('\u3000', '')

firsttable = firsttable.replace(' ', '')

print(table[0])

经过一次剪裁之后可以明显的看到我们需要的信息

但是其中信息还是太斑驳了，所以我们需要再进行剪裁，一步一步的提取信息

3）再次剪裁直到得到需要的精简信息def step3():

score = []

# 1.按tr标签对获取表格中所有行，保存在列表rows中：

rows = re.findall(r'

# 2.迭代rows中的所有元素，获取每一行的td标签内的数据，并把数据组成item列表，将每一个item添加到scorelist列表：

scorelist = []

for row in rows:

items = []

tds = re.findall(r'

(.*?)', row, re.S)

for td in tds:

rightindex = td.find('') # 返回-1表示没有找到

leftindex = td[:rightindex].rfind('>')

items.append(td[leftindex+1:rightindex])

scorelist.append(items)

# 3.将由省份，分数组成的8元列表（分数不存在的用/代替）作为元素保存到新列表score中，不要保存多余信息

for record in scorelist[3:]:

record.pop()

score.append(record)

return score

print (step3())

运行结果为:

此代码成功的洗练了我们的信息，使得信息达到最简化程度

4）爬虫思路：

我们爬取一份自己信息时往往带者许多的无用信息，这时我们应该一步一步的洗练我们爬取的信息，先截取出我们所需信息所在的大类中，然后从这个大类中慢慢取得自己所需的信息