这种问法是初接触者的困惑,尤其是现在铺天盖地的python机器学习课程,会让人以为python就是工作中主流了,那spark是干什么呢,Scala这个名字好像也听过。

以下摘自一段相对好理解的回答:

    spark是用在大数据场景中的,python机器学习侧重数据分析场景,一般都是在本地机器上运行,常用的python库有sklearn,以及深度学习库tf, keras等。使用python的场合多是初学者入门教学,做算法原型,本机数据分析,也可进行科学计算科研场景。spark是当前分布式计算引擎的标杆,Python是一个语言二者不可直接比较。对于大数据这种实际工程场景,会使用spark,而spark支持的编程接口主要有Python和scala。

    所以,反映在招聘需求中,也不会是不同段位工资的差异,光会python是不行的,python只限于刚接触数据的一两年还行,往专业走还是要会spark,自然用Scala语言跟spark更相配。

Logo

魔乐社区(Modelers.cn) 是一个中立、公益的人工智能社区,提供人工智能工具、模型、数据的托管、展示与应用协同服务,为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作,由全产业链共同建设、共同运营、共同享有,推动国产AI生态繁荣发展。

更多推荐