kettle数据采集三大流程-增量采集
kettle数据采集三大流程-增量采集
·
1、增量流程入口
注意:相比原来的增加了采集错误,日志回传到原来表中,降低任务暂停或取消,日志被误删除。
具体的请参考案例:导入案例脚本即可。
2、XX_LOG日志采集到临时表XX_LOG_T中,并删除
3、增量采集主流程
备注:如果表比较多,建议设置并发执行。
4、第一种(不含删除 不太推荐):人员信息单表采集
备注:主键是通过这种函数拼接或者调用函数生成的,前面就不要配置删除了,直接按照上面流程配置即可。数据主键类型与对账一样,有number类型的,SQL中必须to_number()。
5、第二种(含删除 推荐):报告单明细
备注:先进行删除操作,再进行新增、修改操作。删除前的步骤,同样的要保证number类型的进行转换。同上设置一样的如果设置并发,提交数量需改为1。
备注:主键值下面要选择N,表示不需要更新。建议主键/关键字段不要更新了,否则影响采集效率。
6、删除XX_LOG_T表采集成功的数据
7、历史数据增量采集
将日常正能量采集流程脚本重命名导出并导入指定文件夹下,然后进行修改即可。
删除插入更新前的控件操作,保留后如下:(使用插入更新的方式进行操作)

魔乐社区(Modelers.cn) 是一个中立、公益的人工智能社区,提供人工智能工具、模型、数据的托管、展示与应用协同服务,为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作,由全产业链共同建设、共同运营、共同享有,推动国产AI生态繁荣发展。
更多推荐
所有评论(0)