今天使用scala 写点spark代码时发现, dataFrame.count()
报了这个错。猜测是jar包冲突了。
在这里插入图片描述

也在网上找了很多,但只单个方法是没解决。
后面将各位大佬的解决方法结合了起来,完美解决,方法如下:

首先,屏蔽掉hadoop所有的jackson依赖

	<dependency>
			<groupId>org.apache.hadoop</groupId>
			<artifactId>hadoop-common</artifactId>
			<version>3.3.1</version>
			<exclusions>
				<exclusion>
					<groupId>com.fasterxml.jackson.module</groupId>
					<artifactId>*</artifactId>
				</exclusion>
				<exclusion>
					<groupId>com.fasterxml.jackson.core</groupId>
					<artifactId>*</artifactId>
				</exclusion>
			</exclusions>
		</dependency>

然后,单独引入两个jackson的依赖:

	<dependency>
			<groupId>com.fasterxml.jackson.core</groupId>
			<artifactId>jackson-core</artifactId>
			<version>2.10.0</version>
		</dependency>
		<dependency>
			<groupId>com.fasterxml.jackson.core</groupId>
			<artifactId>jackson-databind</artifactId>
			<version>2.10.0</version>
		</dependency>

至此,完美解决

Logo

魔乐社区(Modelers.cn) 是一个中立、公益的人工智能社区,提供人工智能工具、模型、数据的托管、展示与应用协同服务,为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作,由全产业链共同建设、共同运营、共同享有,推动国产AI生态繁荣发展。

更多推荐