bs4 def getHTMLText(url):try:#获取服务器的响应内容,并设置最大请求时间为6秒

res = requests.get(url,timeout = 6)

#判断返回状态码是否为200

res.raise_for_status()

#设置真正的编码

res.encoding = res.apparent_encoding

#返回网页HTML代码

return res.text

except:

return '产生异常'

#目标网页

url = 'https://www.cnblogs.com/huwt/'

demo = getHTMLText(url)

#解析HTML代码

soup = BeautifulSoup(demo,'html.parser')

#模糊搜索HTML代码的所有标签

a_labels = soup.find_all('a')

#获取所有标签中的href对应的值,即超链接

for a in a_labels:

print(a.get('href'))

Logo

魔乐社区(Modelers.cn) 是一个中立、公益的人工智能社区,提供人工智能工具、模型、数据的托管、展示与应用协同服务,为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作,由全产业链共同建设、共同运营、共同享有,推动国产AI生态繁荣发展。

更多推荐