数据同步

界面如下:

6d549f7ad6ef81718b87a1554169cc93.png

具体流程:

1、使用ExecuteSQL连接mysql数据库,通过写sql查询所需要的数据

2、nifi默认查出来的数据为Avro格式,所以需要ConvertAvroToJSON把Avro格式转化为json格式的数据

3、使用ConvertJSONToSQL把json数据转化为sql语句

4、使用PutSQL把数据存入数据库。

5、同步的数据重复插入数据库,需要对数据进行更新操作,SplitJson对json进行拆分

6、EvaluateJsonPath提取json中的某个属性作为参数

7、ReplaceText根据参数编写update语句进行更新操作

8、PutSQL更新数据库

传递关系时注意:本例仅传递成功的数据,失败的不传递

ExecuteSQL

815c4dca5548dbb6396ad3d9d4b11d94.png

DBCPConnectionPool

1fb3ce97375c646b35db4a9833601eb1.png

ConvertAvroToJSON

7e259754c2d293d73b8c5169355beb1e.png

ConvertJSONToSQL

79ad19b62faa36b3009f9f24025b7337.png

PutSQL

7015474bcde7d540c7cc92867fdff48a.png

SplitJson

fe524714027137da11da70277a5324f7.png

EvaluateJsonPath

9e3a7a3ec693d176eae5a59a0791bb10.png

ReplaceText

7898d3261f9b9e221dc76349592bea72.png

PutSQL

ba262c58a1b705bb63563491023710e7.png

连接各个组件,然后启动所有组件,即可运行

Logo

魔乐社区(Modelers.cn) 是一个中立、公益的人工智能社区,提供人工智能工具、模型、数据的托管、展示与应用协同服务,为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作,由全产业链共同建设、共同运营、共同享有,推动国产AI生态繁荣发展。

更多推荐