数据数据采集之表同步策略
·
数仓数据数据采集之表同步策略
-
全量同步: 每天都将Mysql表中所有的数据同步到hive的分区中[hive的每个分区中的数据都是当天的全量数据]
适用场景: 表的数据量不大,每天既有新增也有修改数据 -
新增同步: 每天将mysql中当天新增的数据同步到hive的分区中
适用场景: 表数据量比较大,每天只有新增数据 -
新增及变化同步: 每天将mysql中当天新增数据以及修改的数据同步到hive的分区中
适用场景: 表数据量比较大,每天既有新增也有修改数据 -
特殊同步: 表的数据基本不会怎么改变，此时可以将mysql表的数据直接同步到hive表中[特殊同步的时候hive表一般是没有分区],特殊同步一般只是同步一次不需要每天都同步
魔乐社区（Modelers.cn) 是一个中立、公益的人工智能社区，提供人工智能工具、模型、数据的托管、展示与应用协同服务，为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作，由全产业链共同建设、共同运营、共同享有，推动国产AI生态繁荣发展。
更多推荐
0
0- 0
已为社区贡献3条内容
所有评论(0)