大数据组件学习3 —— Kettle
·
Kettle, 现名 PDI ，是一款开源的ETL工具，基本概念包括
1. Transformation 和 Job
Transformation, 转换, 处理各阶段对数据行的操作，并行处理组件.
基本分发方式
- 分发：以轮流的方式将一行数据发个一个一个数据流
- 复制：将一行数据发给所有数据流
基本组成部分
- 步骤(steps)：每一个步骤都对应一个独立的线程，所有步骤以并发方式进行。转换一旦启动，所有步骤同时运行，从输入条读取数据，将处理过的数据输出到输出跳
- 跳(hops) ： 步骤之间的连线
2. Job 作业
Job作业是一种串行执行操作的组件。
组成部分
- 作业项
- 作业跳
默认情况下，所有作业项以串行方式执行
魔乐社区（Modelers.cn) 是一个中立、公益的人工智能社区，提供人工智能工具、模型、数据的托管、展示与应用协同服务，为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作，由全产业链共同建设、共同运营、共同享有，推动国产AI生态繁荣发展。
更多推荐
0
0- 0
已为社区贡献2条内容
所有评论(0)