欢迎关注笔者的公众号:【阿飞的博客】,首发都在这里!!!

什么?你们的测试是小哥哥?那就不要往下看了,让他怎么难怎么来。

建议

根据你的业务特点,单表 > 分区 > 单库分表 > 分库分表,在满足业务前提下,优先级从左到右,不接受任何反驳。嘿嘿

背景

做过分表的(单库分表或者分库分表)都知道,在你没有依赖任何中间件之前,使用Navicat或者其他类似工具操作MySQL,那将是灾难,如下图所示:

0e3f770eb489

sharding table view

如果是类似取模这类简单算法分表还好说,能一眼根据分片键知道分表结,比如根据用户ID对128取模分表,那么用户ID为128的用户数据就在表tb_user_0中。但是如果是采用类似一致性hash算法或者更复杂的分表算法,那么我们首先需要利用程序根据分片键算出分表结果,然后再到Navicat中对该表进行CRUD。开发尚且如此困难,测试小姐姐估计要崩溃了哈。哪里有困难,哪里就有机会。所以,这就是你和测试小姐姐拉近机会、表现自己的时候。

本文要介绍的,能解决这个问题的工具就是sharding-proxy(MyCAT也有类似工具,只是易用性简直就是渣渣),看看部署sharding-proxy后使用Navicat访问MySQL的效果图,开不开森,激不激动:

0e3f770eb489

image.png

所以,sharding-proxy能带来什么呢?先说优点吧:

完全屏蔽sharding细节,把它当做一张普通的表增删改查即可(分表算法集成在sharding-proxy的配置文件中,用户不需要care)

打开数据库后,不再是看到满屏的表,而是只有几张简单的表(如上图左侧所示)。

一个sharding-proxy可以代理多个数据源,测试只需要对接一个sharding-proxy即可。

再说缺点:

无法操作"设计表",即不能看到DDL。但是可以通过F6快捷键后show create table table_name查看表结果(以Navicat为例);

sharding-sphere不支持的语法(非常有限),也不能在Navicate上操作。

是不是感觉很厉害的样子,OK,让我们花10分钟给测试小姐姐一个惊喜吧(部署sharding-proxy)。

sharding-proxy

部署sharding-proxy非常简单,只需如下几个简单的步骤。另外,本次部署以sharding-proxy-3.0.0版本为例。

下载

下载后解压,我们看到只有简单的三个目录:lib目录就是sharding-proxy核心代码,以及依赖的JAR包;bin目录就是存放启停脚本的;conf目录就是存放所有配置文件,包括sharding-proxy服务的配置文件、数据源以及sharding规则配置文件和项目日志配置文件。

lib目录没什么好说的,就是sharding-proxy项目以及依赖的jar包。bin目录里面就是window或者Linux环境启停脚本。sharding-proxy启动的默认端口是3307,如果要自定义端口(以3308),执行sh start.sh 3308即可(window环境修改start.bat即可)。所有重要的配置都在conf目录下。

配置

logback.xml

首先就是最简单的日志配置文件logback.xml,笔者对其简单的修改了一下,你可以任意自定义,这个没什么好说的,非常简单。

server.xml

接下来就是与sharding-proxy服务相关的配置文件server.yaml,笔者的配置文件如下所示:

orchestration:

name: orchestration_afei

overwrite: true

registry:

# zk地址,建议集群

serverLists: 127.0.0.1:2181

namespace: orchestration_afei

# 用户通过Navicat访问sharding-proxy的用户名密码

authentication:

username: afei

password: afei

# sharding-proxy相关配置,建议sql.show设置为true,方便定位问题

props:

max.connections.size.per.query: 1

acceptor.size: 16

executor.size: 16

proxy.transaction.enabled: false

proxy.opentracing.enabled: false

sql.show: true

config.xml

接下来就是最重要的数据源以及sharding规则配置文件config-.xml了。需要说明的是,一个sharding-proxy实例能支持多个数据源*。

配置参考

schemaName: afei

dataSources:

afei:

url: jdbc:mysql://172.0.0.1:3306/afei?serverTimezone=UTC&useSSL=false

username: afei

password: afei

autoCommit: true

connectionTimeout: 10000

idleTimeout: 60000

maxLifetime: 1800000

maximumPoolSize: 50

shardingRule:

tables:

# tb_afei的分表算法是根据trade_id对128取模

tb_afei:

actualDataNodes: afeidb.tb_afei_${0..127}

tableStrategy:

inline:

shardingColumn: trade_id

algorithmExpression: tb_afei_${trade_id % 128}

# afei_fenbiao的分表算法是在AfeiFenbiaoShardingAlgorithm中自定义

afei_fenbiao:

actualDataNodes: afeidb.afei_fenbiao_${1..127}

tableStrategy:

standard:

shardingColumn: id

preciseAlgorithmClassName: com.afei.sjdbc.proxy.AfeiFenbiaoShardingAlgorithm

bindingTables:

# 默认数据库没有分的策略

defaultDatabaseStrategy:

none:

# 默认表没有分的策略

defaultTableStrategy:

none:

defaultKeyGeneratorClassName: io.shardingsphere.core.keygen.DefaultKeyGenerator

对应自定义分表算法,只需要将对应算法编译后的class文件放到conf目录下即可,参考目录结构:

com

├── afei/sjdbc/proxy/AfeiFenbiaoShardingAlgorithm.class

config-pay.yaml

config-account.yaml

logback.xml

server.yaml

其源码只需要参考io.shardingsphere.core.routing.strategy.ShardingAlgorithm.java的实现类即可,例如PreciseOrderShardingAlgorithm.java。

Navicat

接下来只需要让测试小姐姐用Navicat连接上sharding-proxy即可,至于分库分表这些细节本来就应该对用户是屏蔽的,是不是测试小姐姐会感觉你棒棒哒:

0e3f770eb489

Navicat connect sharding proxy

0e3f770eb489

我的微信公众号

Logo

魔乐社区(Modelers.cn) 是一个中立、公益的人工智能社区,提供人工智能工具、模型、数据的托管、展示与应用协同服务,为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作,由全产业链共同建设、共同运营、共同享有,推动国产AI生态繁荣发展。

更多推荐