pgloader迁移mysql数据到postgressql
·
使用pgloader作为迁移工具,迁移mysql数据到pgsql。
这里我推荐使用pgloader docker 方式迁移数据。
- 拉取pgloader镜像
docker pull dimitri/pgloader
- 准备load文件,mysql_to_pgsql.load
LOAD DATABASE
FROM mysql://report:xxxxxxxxx@mysql-host:3306/db_name
INTO postgresql://report:xxxxxxxxxx@pgsql-host:5432/db_name
INCLUDING ONLY TABLE NAMES MATCHING 'table_name'
WITH data only,create no tables,create no indexes,reset sequences,truncate
SET work_mem to '50MB', maintenance_work_mem to '256MB' -- 优化导入性能
BEFORE LOAD DO
$$ SET search_path TO public; $$;
具体的迁移以及转换规则可以根据pgload的文档中,根据自己的需求添加或更改。这里不再赘述,参考文档
https://pgloader.readthedocs.io/en/latest/ref/mysql.html
- 执行迁移命令
docker run --rm --name pgloader -v /data/pgloader/mysql_to_pgsql.load:/pgloader/loadfile.load dimitri/pgloader pgloader /pgloader/loadfile.load
- 注意事项
在迁移某些数据量大的表时出现了,pgloader:Heap exhausted ,game over的问题。查询资料,调整各种loadfiel中的迁移参数,没有起到作用。如 调整workers,rows per range,batch_size等。查询资料后,了解到是pgloader 垃圾回收器的问题,有一篇文章中提到了
https://blog.csdn.net/weixin_43735309/article/details/121751164
解决办法:
更换pgloader镜像
docker pull dimitri/pgloader:ccl.latest
重新执行迁移命令,没有再出现pgloader:Heap exhausted 的问题。
魔乐社区(Modelers.cn) 是一个中立、公益的人工智能社区,提供人工智能工具、模型、数据的托管、展示与应用协同服务,为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作,由全产业链共同建设、共同运营、共同享有,推动国产AI生态繁荣发展。
更多推荐


所有评论(0)