需要两个spark库,而不是一个

<dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-core_2.11</artifactId>
            <version>2.1.0</version>
        </dependency>

        <!-- https://mvnrepository.com/artifact/org.apache.spark/spark-sql -->
        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-sql_2.11</artifactId>
            <version>2.1.0</version>
        </dependency>

之前反复纠结找不到SparkSession,原来是忘了找下面的spark-sql!

在Spark Core的基础上,Spark提供了一系列面向不同应用需求的组件,主要有Spark SQL、Spark Streaming、MLlib、GraphX。

此外,一度遇到

“maven配置,以及项目"Dependency 'xxxx‘ not found

的问题。然而spark的这两个库都在central里啊

于是到Maven目录下,打开这个库的位置,有个pom.update文件,显示:

#NOTE: This is an Aether internal implementation file, its format can be changed without prior notice.
#Mon Jul 19 16:00:11 CST 2021
@default-central-https\://repo.maven.apache.org/maven2/.lastUpdated=1626681611987
https\://repo.maven.apache.org/maven2/.error=Could not transfer artifact org.apache.spark\:spark-sql_2.11\:pom\:2.1.0 from/to central (https\://repo.maven.apache.org/maven2)\: Connection reset

原来是没找到。

把这个文件删了,重新import,就行了。反正一次不行就多次嘛,又不是说这个库没有,也不是说company不能连接到maven。
 

Logo

魔乐社区(Modelers.cn) 是一个中立、公益的人工智能社区,提供人工智能工具、模型、数据的托管、展示与应用协同服务,为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作,由全产业链共同建设、共同运营、共同享有,推动国产AI生态繁荣发展。

更多推荐