flume采集日志发送至kafka
flume采集数据源为lo日志
·
1、在flumue创建log-to-kafka.conf
vim log-to-kafka.conf
a1.sources = r1
#-----配置source
a1.sources.r1.filegroups=f1
#读取日志文件的文件目录
a1.sources.r1.filegroups.f1=/home/wucf/flume/data/log/app.*
#日志位置
a1.sources.r1.positionFile=/home/wucf/flume/data/log/path.json
#配置拦截器
#a1.sources.r1.interceptors =i1
#a1.sources.r1.interceptors.i1.type= com.fcw.flume.interceptor.MyInterceptor$Builder
#------配置sink
#a1.sinks.k1.type = logger
#------配置channel
a1.channels = c1
a1.channels.c1.type = org.apache.flume.channel.kafka.KafkaChannel
#kafka集群地址
a1.channels.c1.kafka.bootstrap.servers = server200:9092,server200:9093
#发送主题
a1.channels.c1.kafka.topic = topic-log
a1.channels.c1.kafka.consumer.group.id = topic-log
a1.channels.c1.parseAsFlumeEvent=false
#----绑定source和channel
a1.sources.r1.channels = c1
2、创建flume启动脚本 start-log-to-kafka.sh
vim start-log-tokfka.sh
#!/bin/bash
./bin/flume-ng agent -n a1 -c conf/ -f job/log-to-kafka.conf -Dflume.root.logger=info,console ./log/log-to-kafka.log 2>&1 &
魔乐社区(Modelers.cn) 是一个中立、公益的人工智能社区,提供人工智能工具、模型、数据的托管、展示与应用协同服务,为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作,由全产业链共同建设、共同运营、共同享有,推动国产AI生态繁荣发展。
更多推荐

所有评论(0)