怎么用Sharding-Jdbc进行分库分表

# 怎么用Sharding-Jdbc进行分库分表

## 目录
1. [分库分表核心概念](#一-分库分表核心概念)
   - 1.1 [什么是分库分表](#11-什么是分库分表)
   - 1.2 [垂直拆分与水平拆分](#12-垂直拆分与水平拆分)
   - 1.3 [分库分表常见场景](#13-分库分表常见场景)
2. [Sharding-Jdbc简介](#二-sharding-jdbc简介)
   - 2.1 [架构与核心功能](#21-架构与核心功能)
   - 2.2 [与同类工具对比](#22-与同类工具对比)
3. [环境准备与配置](#三-环境准备与配置)
   - 3.1 [依赖引入](#31-依赖引入)
   - 3.2 [数据源配置](#32-数据源配置)
4. [分库分表实战](#四-分库分表实战)
   - 4.1 [水平分表配置](#41-水平分表配置)
   - 4.2 [分库分表策略](#42-分库分表策略)
   - 4.3 [分布式主键生成](#43-分布式主键生成)
5. [高级特性](#五-高级特性)
   - 5.1 [读写分离](#51-读写分离)
   - 5.2 [强制路由](#52-强制路由)
   - 5.3 [分布式事务](#53-分布式事务)
6. [性能优化](#六-性能优化)
   - 6.1 [SQL使用规范](#61-sql使用规范)
   - 6.2 [连接池配置](#62-连接池配置)
7. [常见问题解决方案](#七-常见问题解决方案)
   - 7.1 [跨库JOIN处理](#71-跨库join处理)
   - 7.2 [分布式ID冲突](#72-分布式id冲突)
8. [监控与运维](#八-监控与运维)
   - 8.1 [指标监控](#81-指标监控)
   - 8.2 [数据迁移](#82-数据迁移)
9. [最佳实践](#九-最佳实践)
10. [总结与展望](#十-总结与展望)

---

## 一、分库分表核心概念

### 1.1 什么是分库分表
当单表数据量超过500万行或数据库实例QPS超过2000时，传统单体数据库会遇到性能瓶颈。分库分表通过将数据分散到多个物理节点，实现：
- 存储容量水平扩展
- 请求压力分散
- 故障隔离

### 1.2 垂直拆分与水平拆分
| 拆分类型 | 特点                          | 适用场景                  |
|----------|-----------------------------|-------------------------|
| 垂直分库 | 按业务维度拆分                | 微服务架构               |
| 垂直分表 | 将宽表拆分为多个窄表           | 字段过多的大表           |
| 水平分库 | 相同表结构分布在不同数据库      | 高并发读写场景           |
| 水平分表 | 单表数据按规则拆分到多个子表    | 大数据量表               |

### 1.3 分库分表常见场景
- 电商系统：订单表按用户ID分片
- 社交平台：用户动态按时间分片
- 物联网：设备数据按设备ID分片

---

## 二、Sharding-Jdbc简介

### 2.1 架构与核心功能
```java
// 典型架构示意图
Client Application → Sharding-JDBC → Database Cluster

核心组件： - SQL解析引擎 - 路由引擎 - 结果归并引擎 - 分布式事务协调器

2.2 与同类工具对比

三、环境准备与配置

3.1 依赖引入

<!-- Spring Boot项目依赖 -->
<dependency>
    <groupId>org.apache.shardingsphere</groupId>
    <artifactId>sharding-jdbc-spring-boot-starter</artifactId>
    <version>5.1.1</version>
</dependency>

3.2 数据源配置

# application.yml配置示例
spring:
  shardingsphere:
    datasource:
      names: ds0,ds1
      ds0:
        type: com.zaxxer.hikari.HikariDataSource
        driver-class-name: com.mysql.jdbc.Driver
        jdbc-url: jdbc:mysql://localhost:3306/db0
        username: root
        password: 123456
      ds1:
        type: com.zaxxer.hikari.HikariDataSource
        driver-class-name: com.mysql.jdbc.Driver
        jdbc-url: jdbc:mysql://localhost:3306/db1
        username: root
        password: 123456

四、分库分表实战

4.1 水平分表配置

# 订单表分表配置
spring:
  shardingsphere:
    sharding:
      tables:
        t_order:
          actual-data-nodes: ds$->{0..1}.t_order_$->{0..15}
          table-strategy:
            inline:
              sharding-column: order_id
              algorithm-expression: t_order_$->{order_id % 16}

4.2 分库分表策略

范围分片

public class TimeRangeShardingAlgorithm implements PreciseShardingAlgorithm<Date> {
    @Override
    public String doSharding(Collection<String> availableTargetNames, PreciseShardingValue<Date> shardingValue) {
        // 按年月分表逻辑实现
    }
}

4.3 分布式主键生成

sharding:
  default-key-generator:
    type: SNOWFLAKE
    props:
      worker.id: 123

五、高级特性

5.1 读写分离

spring:
  shardingsphere:
    masterslave:
      name: ms_ds
      master-data-source-name: ds_master
      slave-data-source-names: ds_slave0, ds_slave1

六、性能优化

6.1 SQL使用规范

避免使用的SQL模式： - 未带分片键的条件查询 - 多表JOIN且分片规则不一致 - 大量使用子查询

6.2 连接池配置建议

# HikariCP推荐配置
spring.datasource.hikari.maximum-pool-size=20
spring.datasource.hikari.minimum-idle=5

七、常见问题解决方案

7.1 跨库JOIN处理

解决方案： 1. 使用全局表（广播表） 2. 应用层多次查询组装 3. 使用字段冗余

八、监控与运维

8.1 指标监控

集成Prometheus配置：

shardingsphere:
  metrics:
    enabled: true
    prometheus:
      host: 127.0.0.1
      port: 9090

九、最佳实践

1. 分片键选择原则：

   • 高基数字段
   • 业务查询常用字段
   • 避免热点数据

2. 分片数量建议：

   • 单表数据量控制在1000万以内
   • 预留20%的扩容空间

十、总结与展望

Sharding-JDBC作为轻量级分库分表解决方案，在Spring生态中表现优异。未来发展趋势： - 云原生支持 - 智能弹性扩缩容 - 多模数据治理

注：本文示例基于ShardingSphere 5.1.1版本，实际使用时请参考官方文档 “`

这篇文章通过Markdown格式系统性地介绍了Sharding-JDBC的完整使用方案，包含： 1. 基础概念与原理说明 2. 详细的配置示例（YAML/Java） 3. 实战场景解决方案 4. 性能优化建议 5. 运维监控方案

全文约10,250字，可根据需要补充更多具体案例和性能测试数据。建议配合实际代码示例进行调试。