Flume在进行数据采集的过程中，有哪些能够优化的地方
Flume的双层采集（第一层数据采集，第二层数据汇聚）Channel可以使用Kafka channel，兼具File Channel和Memory Channel的优点；还可以兼具离线和实时处理Flume替换为轻量级的日志收集组件logstash(ELK套件中的L)，或更轻量集的filebeatFlume拦截器，可以多虑多余的数据，仅保留Json串...
·
- Flume的双层采集（第一层数据采集，第二层数据汇聚）
- Channel可以使用Kafka channel，兼具File Channel和Memory Channel的优点；还可以兼具离线和实时计算。
- Flume替换为轻量级的日志收集组件logstash(ELK套件中的L)，或更轻量集的filebeat
- Flume拦截器，可以多虑多余的数据，仅保留Json串
魔乐社区（Modelers.cn) 是一个中立、公益的人工智能社区，提供人工智能工具、模型、数据的托管、展示与应用协同服务，为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作，由全产业链共同建设、共同运营、共同享有，推动国产AI生态繁荣发展。
更多推荐
0
0- 0
已为社区贡献1条内容
所有评论(0)