mysql中查询遇到longtext类型，查询效率很低。

场景在做mysql库表同步任务的时候，其中有一张表的数据量30万条，其中有两个字段是text, longtext类型。在利用第三方的同步工具做数据同步的时，出现Io异常，效率很低。解决方案首先尝试在text，longtext类型的字段上面加索引，发现在工具中执行同步的任务，加索引起不到效率提升的作用。主要是在select a,b 这两个字段的时候，msyql底层并没有走index。思路2：考虑把这

Bonyin

4830人浏览 · 2021-08-05 19:35:12

Bonyin · 2021-08-05 19:35:12 发布

场景

在做mysql库表同步任务的时候，其中有一张表的数据量30万条，其中有两个字段是text, longtext类型。在利用第三方的同步工具做数据同步的时，出现Io异常，效率很低。

解决方案

首先尝试在text，longtext类型的字段上面加索引，发现在工具中执行同步的任务，加索引起不到效率提升的作用。主要是在select a,b 这两个字段的时候，msyql底层并没有走index。
思路2：考虑把这个两个text类型的字段抽取到一个临时表里面，临时表中创建整型主键索引，查询效率会非常高。同步任务把这两个临时表搬迁过去。最后在数据仓库侧做一个多表关联。

魔乐社区

魔乐社区（Modelers.cn) 是一个中立、公益的人工智能社区，提供人工智能工具、模型、数据的托管、展示与应用协同服务，为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作，由全产业链共同建设、共同运营、共同享有，推动国产AI生态繁荣发展。

更多推荐

【计算机视觉】Pixel逐像素分类&Mask掩码分类理解摘要

魔乐社区

计算机视觉（opencv）实战三十二——CascadeClassifier 人脸微笑检测（摄像头）

本文从原理到实现，详细介绍了基于 OpenCV Haar 分类器的人脸与微笑检测：讲解了 Haar 特征和级联检测原理。对代码逐行拆解并解释参数含义。画出完整流程图，帮助理解执行过程。给出了常见问题和优化建议，甚至扩展到深度学习方法。这种方法简单、轻量、实时性好，非常适合入门和小型应用项目。但如果需要更高准确率和更强鲁棒性，建议使用深度学习检测器替代 Haar 分类器。