IDEA+Maven配置spark的pom.xml以及踩的一个坑
需要两个spark库,而不是一个
<dependency>
<groupId>org.apache.spark</groupId>
<artifactId>spark-core_2.11</artifactId>
<version>2.1.0</version>
</dependency>
<!-- https://mvnrepository.com/artifact/org.apache.spark/spark-sql -->
<dependency>
<groupId>org.apache.spark</groupId>
<artifactId>spark-sql_2.11</artifactId>
<version>2.1.0</version>
</dependency>
之前反复纠结找不到SparkSession,原来是忘了找下面的spark-sql!
在Spark Core的基础上,Spark提供了一系列面向不同应用需求的组件,主要有Spark SQL、Spark Streaming、MLlib、GraphX。
此外,一度遇到
“maven配置,以及项目"Dependency 'xxxx‘ not found
的问题。然而spark的这两个库都在central里啊
于是到Maven目录下,打开这个库的位置,有个pom.update文件,显示:
#NOTE: This is an Aether internal implementation file, its format can be changed without prior notice.
#Mon Jul 19 16:00:11 CST 2021
@default-central-https\://repo.maven.apache.org/maven2/.lastUpdated=1626681611987
https\://repo.maven.apache.org/maven2/.error=Could not transfer artifact org.apache.spark\:spark-sql_2.11\:pom\:2.1.0 from/to central (https\://repo.maven.apache.org/maven2)\: Connection reset
原来是没找到。
把这个文件删了,重新import,就行了。反正一次不行就多次嘛,又不是说这个库没有,也不是说company不能连接到maven。
魔乐社区(Modelers.cn) 是一个中立、公益的人工智能社区,提供人工智能工具、模型、数据的托管、展示与应用协同服务,为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作,由全产业链共同建设、共同运营、共同享有,推动国产AI生态繁荣发展。
更多推荐


所有评论(0)