先自我介绍一下,小编浙江大学毕业,去过华为、字节跳动等大厂,目前阿里P7

深知大多数程序员,想要提升技能,往往是自己摸索成长,但自己不成体系的自学效果低效又漫长,而且极易碰到天花板技术停滞不前!

因此收集整理了一份《2024年最新Python全套学习资料》,初衷也很简单,就是希望能够帮助到想自学提升又不知道该从何学起的朋友。
img
img



既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,涵盖了95%以上Python知识点,真正体系化!

由于文件比较多,这里只是将部分目录截图出来,全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频,并且后续会持续更新

如果你需要这些资料,可以添加V获取:vip1024c (备注Python)
img

正文

return response

def get_id(html_url):

response = get_response(html_url)

result = re.findall(‘“jobid”:“(\d+)”’, response.text)

print(response.text)

print(result)

if name == ‘main’:

url = ‘https://search.51job.com/list/010000%252C020000%252C030200%252C040000%252C090200,000000,0000,00,9,99,python,2,1.html’

get_id(url)

❤简单总结❤

打印 response.text 可以在pycharm里面使用正则匹配规则,可以测试是否有匹配到数据。详情如下图所示

在这里插入图片描述

三、💥解析招聘信息数据,提取内容


在这里插入图片描述

每页第一个招聘信息是没有薪资的,没有薪资待遇的,对于没有薪资的招聘信息,我们就自动跳过就好了,所以需要先判断一下。

其次前面有说过,网页查看内容是有乱码的,需要进行转码。

def get_content(html_url):

result = get_id(html_url)

for i in result:

page_url = f’https://jobs.51job.com/shanghai-xhq/{i}.html?s=01&t=0’

response = get_response(page_url)

进行转码

response.encoding = response.apparent_encoding

html_data = response.text

selector = parsel.Selector(html_data)

薪资

money = selector.css(‘.cn strong::text’).get()

判断如果有薪资继续提取相关内容

if money:

标题

title = selector.css(‘.cn h1::attr(title)’).get()

公司

cname = selector.css(‘.cname a:nth-child(1)::attr(title)’).get()

上海-徐汇区 | 5-7年经验 | 本科 | 招1人 | 01-25发布

info_list = selector.css(‘p.msg.ltype::attr(title)’).get().split(’ | ')

city = info_list[0] # 城市

exp = info_list[1] # 经验要求

edu = info_list[2] # 学历要求

people = info_list[3] # 招聘人数

date = info_list[4] # 发布时间

福利

boon_list = selector.css(‘.t1 span::text’).getall()

boon_str = ‘|’.join(boon_list)

岗位职责: 任职要求:

position_list = selector.css(‘.job_msg p::text’).getall()

position = ‘\n’.join(position_list)

dit = {

‘标题’: title,

‘公司’: cname,

‘城市’: city,

‘经验要求’: exp,

‘学历要求’: edu,

‘薪资’: money,

‘福利’: boon_str,

‘招聘人数’: people,

‘发布时间’: date,

‘详情地址’: page_url,

}

四、💥保存数据(数据持久化)


关于薪资待遇、公司地址这些就用csv保存,岗位职责和任职要求就保存文本格式吧,这样看起来会稍微舒服一些。

保存csv💨

f = open(‘python招聘.csv’, mode=‘a’, encoding=‘utf-8’, newline=‘’)

csv_writer = csv.DictWriter(f, fieldnames=[‘标题’, ‘公司’, ‘城市’, ‘经验要求’, ‘学历要求’,

‘薪资’, ‘福利’, ‘招聘人数’, ‘发布时间’,

‘详情地址’])

csv_writer.writeheader()

保存txt💨

txt_filename = ‘岗位职责\’ + f’{cname}招聘{title}信息.txt’

with open(txt_filename, mode=‘a’, encoding=‘utf-8’) as f:

f.write(position)

五、💥多页数据爬取


‘’’

if name == ‘main’:

‘’’

第一页地址:

https://search.51job.com/list/010000%252c020000%252c030200%252c040000%252c090200,000000,0000,00,9,99,python,2,1.html

第二页地址:

https://search.51job.com/list/010000%252c020000%252c030200%252c040000%252c090200,000000,0000,00,9,99,python,2,2.html

第三页地址:

https://search.51job.com/list/010000%252c020000%252c030200%252c040000%252c090200,000000,0000,00,9,99,python,2,3.html

‘’’

for page in range(1, 11):

url = f’https://search.51job.com/list/010000%252C020000%252C030200%252C040000%252C090200,000000,0000,00,9,99,python,2,{page}.html’

get_content(url)

💥实现效果


在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

💥补充代码


正则匹配替换特殊字符

def change_title(title):

pattern = re.compile(r"[/\😗?“<>|]”) # ‘/ \ : * ? " < > |’

new_title = re.sub(pattern, “_”, title) # 替换为下划线

return new_title

主函数代码

def main(html_url):

result = get_id(html_url)

for i in result:

page_url = f’https://jobs.51job.com/shanghai-xhq/{i}.html?s=01&t=0’

response = get_response(page_url)

response.encoding = response.apparent_encoding

html_data = response.text

selector = parsel.Selector(html_data)

薪资

money = selector.css(‘.cn strong::text’).get()

判断如果有薪资继续提取相关内容

if money:

标题

title = selector.css(‘.cn h1::attr(title)’).get()

公司

cname = selector.css(‘.cname a:nth-child(1)::attr(title)’).get()

上海-徐汇区 | 5-7年经验 | 本科 | 招1人 | 01-25发布

info_list = selector.css(‘p.msg.ltype::attr(title)’).get().split(’ | ')

学好 Python 不论是就业还是做副业赚钱都不错,但要学会 Python 还是要有一个学习规划。最后大家分享一份全套的 Python 学习资料,给那些想学习 Python 的小伙伴们一点帮助!

一、Python所有方向的学习路线

Python所有方向路线就是把Python常用的技术点做整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照上面的知识点去找对应的学习资源,保证自己学得较为全面。

二、学习软件

工欲善其事必先利其器。学习Python常用的开发软件都在这里了,给大家节省了很多时间。

三、全套PDF电子书

书籍的好处就在于权威和体系健全,刚开始学习的时候你可以只看视频或者听某个人讲课,但等你学完之后,你觉得你掌握了,这时候建议还是得去看一下书籍,看权威技术书籍也是每个程序员必经之路。

四、入门学习视频

我们在看视频学习的时候,不能光动眼动脑不动手,比较科学的学习方法是在理解之后运用它们,这时候练手项目就很适合了。

五、实战案例

光学理论是没用的,要学会跟着一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。

六、面试资料

我们学习Python必然是为了找到高薪的工作,下面这些面试题是来自阿里、腾讯、字节等一线互联网大厂最新的面试资料,并且有阿里大佬给出了权威的解答,刷完这一套面试资料相信大家都能找到满意的工作。

网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。

需要这份系统化的资料的朋友,可以添加V获取:vip1024c (备注python)
img

一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!
-blog.csdnimg.cn/img_convert/6c361282296f86381401c05e862fe4e9.png)

网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。

需要这份系统化的资料的朋友,可以添加V获取:vip1024c (备注python)
[外链图片转存中…(img-xnPQZeWa-1713177182090)]

一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!

Logo

魔乐社区(Modelers.cn) 是一个中立、公益的人工智能社区,提供人工智能工具、模型、数据的托管、展示与应用协同服务,为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作,由全产业链共同建设、共同运营、共同享有,推动国产AI生态繁荣发展。

更多推荐