2.1.3 RDD的创建-从外部存储系统的数据集创建

2.1.3 RDD的创建-从外部存储系统的数据集创建1、从外部文件创建RDD，外部文件可以是：本地文件，支持Hadoop的文件系统（如Hbase，HDFS等）2、准备外部数据（HDFS上面的话，需要有准确的目录及文件路径）def main(args :Array[String]):Unit = {val conf :SparkConf = new SparkConf().setAppName(“自

大数据赵轩

645人浏览 · 2021-04-21 22:20:46

大数据赵轩 · 2021-04-21 22:20:46 发布

2.1.3 RDD的创建-从外部存储系统的数据集创建

1、从外部文件创建RDD，外部文件可以是：本地文件，支持Hadoop的文件系统（如Hbase，HDFS等）

2、准备外部数据（HDFS上面的话，需要有准确的目录及文件路径）

def main(args :Array[String])  :Unit = {
val conf :SparkConf = new SparkConf().setAppName(“自定义App名字”).setMaster(“local[*]”)
val sc :SparkContext = new SparkContext(conf)
val linerdd1 :RDD[String] = sc.textFile(“准确的文件路径及文件名”)
linerdd1.saveAsTextFile(“输出的准确路径及目录名”)
sc.stop()
}