编写python代码连接kafka,将任意数据发送到kafka,用flume读取kafka中的数据
第六步:编写python代码(创建生产者,向kafka中传入数据)第五步:查看主题数据(这时候是没有数据的,因为我们并没有传入数据)第二步:在kafka的路径下,启动zookeeper。就可以看见第五步那边主题数据里面有输出。第一步:安装kafka-python。第七步:创建flume配置文件。第四步:建立一个topic。第三步:启动kafka。第九步:运行python。第八步:运行配置文件。py
第一步:安装kafka-python
命令:
pip install kafka-python --trusted-host pypi.python.org --trusted-host pypi.org --trusted-host=files.pythonhosted.org
第二步:在kafka的路径下,启动zookeeper
命令:
bin/zookeeper-server-start.sh config/zookeeper.properties
第三步:启动kafka
命令:
bin/kafka-server-start.sh config/server.properties
第四步:建立一个topic
命令:
bin/kafka-topics.sh --create --topic topicname --bootstrap-server localhost:9092
第五步:查看主题数据(这时候是没有数据的,因为我们并没有传入数据)
命令:
bin/kafka-console-consumer.sh --topic topicname --from-beginning --bootstrap-server localhost:9092
第六步:编写python代码(创建生产者,向kafka中传入数据)
第七步:创建flume配置文件
第八步:运行配置文件
命令:
bin/flume-ng agent --conf conf --conf-file example.conf --name agent1
第九步:运行python
命令:
python 文件名
就可以看见第五步那边主题数据里面有输出

魔乐社区(Modelers.cn) 是一个中立、公益的人工智能社区,提供人工智能工具、模型、数据的托管、展示与应用协同服务,为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作,由全产业链共同建设、共同运营、共同享有,推动国产AI生态繁荣发展。
更多推荐
所有评论(0)