日志数据产生 ——flume采集数据——kafka存储数据——flume消费kafka数据——hdfs
一、说明：1. 搭建flume 用来监控日志生成目录，将日志数据sink到kafka2. kafka 存储数据，方便后续flume消费。另外也可以供spark streaming 消费。3. 消费flume，消费kafka的数据，然后sink到hdfs二、步骤1.启动集群2.清理log数据，即lg.sh 产生的数据psall.sh rm -rf /tmp/logs...
·
一、说明：
1. 搭建flume 用来监控日志生成目录，将日志数据sink到kafka
2. kafka 存储数据，方便后续flume消费。另外也可以供spark streaming 消费。
3. 消费flume，消费kafka的数据，然后sink到hdfs
二、步骤
1.启动集群
2. 清理log数据，即lg.sh 产生的数据
psall.sh rm -rf /tmp/logs/*
3. 生成日志数据
lg.sh
魔乐社区（Modelers.cn) 是一个中立、公益的人工智能社区，提供人工智能工具、模型、数据的托管、展示与应用协同服务，为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作，由全产业链共同建设、共同运营、共同享有，推动国产AI生态繁荣发展。
更多推荐
0
0- 0
已为社区贡献1条内容
所有评论(0)