第一步:安装kafka-python

命令:

pip install kafka-python --trusted-host pypi.python.org --trusted-host pypi.org --trusted-host=files.pythonhosted.org

a2e4e56a8f354249a588a6b9e3369e38.png

第二步:在kafka的路径下,启动zookeeper 

命令:

bin/zookeeper-server-start.sh config/zookeeper.properties

2a10c0a2e6d4414c82e19834aa85fb78.png

 第三步:启动kafka

命令:

bin/kafka-server-start.sh config/server.properties

3f933a02f1a24571a22a2c4fce42c4b5.png

 第四步:建立一个topic

命令:

bin/kafka-topics.sh --create --topic topicname --bootstrap-server localhost:9092

第五步:查看主题数据(这时候是没有数据的,因为我们并没有传入数据)

命令:

bin/kafka-console-consumer.sh --topic topicname --from-beginning --bootstrap-server localhost:9092

d2825341d70544c385fb0aefc68ee2b1.png

第六步:编写python代码(创建生产者,向kafka中传入数据) 

abad191ab1a54a58b961583349d726bd.png 

 第七步:创建flume配置文件

8d53df53e3804d4bb8db077a5ea1f5a5.png

 第八步:运行配置文件

命令:

bin/flume-ng agent --conf conf --conf-file example.conf --name agent1

第九步:运行python

命令:

python 文件名

 

就可以看见第五步那边主题数据里面有输出

 

Logo

魔乐社区(Modelers.cn) 是一个中立、公益的人工智能社区,提供人工智能工具、模型、数据的托管、展示与应用协同服务,为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作,由全产业链共同建设、共同运营、共同享有,推动国产AI生态繁荣发展。

更多推荐