python爬虫网站链接_python爬虫入门---第一篇:获取某一网站所有超链接
bs4 def getHTMLText(url):try:#获取服务器的响应内容,并设置最大请求时间为6秒res = requests.get(url,timeout = 6)#判断返回状态码是否为200res.raise_for_status()#设置真正的编码res.encoding = res.apparent_encoding#返回网页HTML代码return res.te...
bs4 def getHTMLText(url):try:#获取服务器的响应内容,并设置最大请求时间为6秒
res = requests.get(url,timeout = 6)
#判断返回状态码是否为200
res.raise_for_status()
#设置真正的编码
res.encoding = res.apparent_encoding
#返回网页HTML代码
return res.text
except:
return '产生异常'
#目标网页
url = 'https://www.cnblogs.com/huwt/'
demo = getHTMLText(url)
#解析HTML代码
soup = BeautifulSoup(demo,'html.parser')
#模糊搜索HTML代码的所有标签
a_labels = soup.find_all('a')
#获取所有标签中的href对应的值,即超链接
for a in a_labels:
print(a.get('href'))
魔乐社区(Modelers.cn) 是一个中立、公益的人工智能社区,提供人工智能工具、模型、数据的托管、展示与应用协同服务,为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作,由全产业链共同建设、共同运营、共同享有,推动国产AI生态繁荣发展。
更多推荐



所有评论(0)