使用pgloader作为迁移工具,迁移mysql数据到pgsql。
这里我推荐使用pgloader docker 方式迁移数据。

  1. 拉取pgloader镜像
docker pull dimitri/pgloader
  1. 准备load文件,mysql_to_pgsql.load
LOAD DATABASE
    FROM mysql://report:xxxxxxxxx@mysql-host:3306/db_name
    INTO postgresql://report:xxxxxxxxxx@pgsql-host:5432/db_name
    INCLUDING ONLY TABLE NAMES MATCHING 'table_name'
    WITH data only,create no tables,create no indexes,reset sequences,truncate
    SET work_mem to '50MB', maintenance_work_mem to '256MB'  -- 优化导入性能
    BEFORE LOAD DO
        $$ SET search_path TO public; $$;

具体的迁移以及转换规则可以根据pgload的文档中,根据自己的需求添加或更改。这里不再赘述,参考文档

https://pgloader.readthedocs.io/en/latest/ref/mysql.html

  1. 执行迁移命令
docker run --rm --name pgloader  -v /data/pgloader/mysql_to_pgsql.load:/pgloader/loadfile.load   dimitri/pgloader  pgloader /pgloader/loadfile.load
  1. 注意事项
    在迁移某些数据量大的表时出现了,pgloader:Heap exhausted ,game over的问题。查询资料,调整各种loadfiel中的迁移参数,没有起到作用。如 调整workers,rows per range,batch_size等。查询资料后,了解到是pgloader 垃圾回收器的问题,有一篇文章中提到了

https://blog.csdn.net/weixin_43735309/article/details/121751164

解决办法:
更换pgloader镜像

docker pull dimitri/pgloader:ccl.latest

重新执行迁移命令,没有再出现pgloader:Heap exhausted 的问题。

Logo

魔乐社区(Modelers.cn) 是一个中立、公益的人工智能社区,提供人工智能工具、模型、数据的托管、展示与应用协同服务,为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作,由全产业链共同建设、共同运营、共同享有,推动国产AI生态繁荣发展。

更多推荐