kettle数据采集三大流程-全量采集
kettle数据采集三大流程-全量采集
·
一、全量采集流程
表对表数据的快速抽取,实现历史数据简单、高效、快速抽取,并实现字典及数据的抽取、清洗、转换、入库等功能。可以从备份库(镜像库)获取数据,大大降低了对原业务库的影响。支持多种数据库、并发执行。图中并发数量可以根据实际情况进行调整设置。具体流程参考如下:
二、导入或备份kettle资源仓库
1、导出备份资源仓库:
建立job流程,利用导出资源库到XML文件插件,将资源仓库中的采集流程脚本进行导出备份,便于后面导入使用,建议采用此方法备份、导入导出。
2、导入资源仓库:
将1中备份的资源仓库文件,导入到新的资源仓库地址中。

魔乐社区(Modelers.cn) 是一个中立、公益的人工智能社区,提供人工智能工具、模型、数据的托管、展示与应用协同服务,为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作,由全产业链共同建设、共同运营、共同享有,推动国产AI生态繁荣发展。
更多推荐
所有评论(0)