1、在flumue创建log-to-kafka.conf

     vim  log-to-kafka.conf

a1.sources = r1
#-----配置source
a1.sources.r1.filegroups=f1
#读取日志文件的文件目录
a1.sources.r1.filegroups.f1=/home/wucf/flume/data/log/app.*
#日志位置
a1.sources.r1.positionFile=/home/wucf/flume/data/log/path.json
#配置拦截器
#a1.sources.r1.interceptors =i1
#a1.sources.r1.interceptors.i1.type= com.fcw.flume.interceptor.MyInterceptor$Builder

#------配置sink
#a1.sinks.k1.type = logger

#------配置channel
a1.channels = c1
a1.channels.c1.type = org.apache.flume.channel.kafka.KafkaChannel
#kafka集群地址
a1.channels.c1.kafka.bootstrap.servers = server200:9092,server200:9093
#发送主题
a1.channels.c1.kafka.topic = topic-log
a1.channels.c1.kafka.consumer.group.id = topic-log
a1.channels.c1.parseAsFlumeEvent=false

#----绑定source和channel
a1.sources.r1.channels = c1

 

2、创建flume启动脚本 start-log-to-kafka.sh

    vim  start-log-tokfka.sh

#!/bin/bash
./bin/flume-ng  agent -n   a1  -c conf/  -f  job/log-to-kafka.conf   -Dflume.root.logger=info,console   ./log/log-to-kafka.log 2>&1 &

 

Logo

魔乐社区(Modelers.cn) 是一个中立、公益的人工智能社区,提供人工智能工具、模型、数据的托管、展示与应用协同服务,为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作,由全产业链共同建设、共同运营、共同享有,推动国产AI生态繁荣发展。

更多推荐