Datax抽取oracle大表问题
最近经常用到datax从oracle抽取大表到数仓hive当表的数据量超过千万 很容易卡住 一直抽不过来经过测试可以在querysql上加并行抽取/*+ parallel(n) */基于并行查询要启动并行进程、分配任务与系统资源、合并结果集一般而言主要在如下情况使用parallel1.表的数据量很大,超过一千万;2.数据库主机是多个CPU;3.系统的当前负载较低;但这个容易直接把资源占死 导致别人
·
最近经常用到datax从oracle抽取大表到数仓hive
当表的数据量超过千万 很容易卡住 一直抽不过来
经过测试可以在querysql上加并行抽取
/*+ parallel(n) */
基于并行查询要启动并行进程、分配任务与系统资源、合并结果集
一般而言主要在如下情况使用parallel
1.表的数据量很大,超过一千万;
2.数据库主机是多个CPU;
3.系统的当前负载较低;
但这个容易直接把资源占死 导致别人无法抽取业务数据库 需要做测试再正式上线
魔乐社区（Modelers.cn) 是一个中立、公益的人工智能社区，提供人工智能工具、模型、数据的托管、展示与应用协同服务，为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作，由全产业链共同建设、共同运营、共同享有，推动国产AI生态繁荣发展。
更多推荐
0
0- 0
已为社区贡献1条内容
所有评论(0)