用Python代码实现spark消费kafka数据并写入到mysql中
from pyspark import SparkContextfrom pyspark.streaming import StreamingContextfrom pyspark.streaming.kafka import KafkaUtilsfrom pyspark.sql import SQLContextfrom pyspark.sql.types import *sc = Sp...
·
from pyspark import SparkContext from pyspark.streaming import StreamingContext from pyspark.streaming.kafka import KafkaUtils from pyspark.sql import SQLContext from pyspark.sql.types import *sc = SparkContext("local[2]", "KafkaToMySQL") ssc = StreamingContext(sc, 10) sqlContext = SQLContext(sc)#设
魔乐社区（Modelers.cn) 是一个中立、公益的人工智能社区，提供人工智能工具、模型、数据的托管、展示与应用协同服务，为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作，由全产业链共同建设、共同运营、共同享有，推动国产AI生态繁荣发展。
更多推荐
0
0- 0
已为社区贡献3条内容
所有评论(0)