mybatis怎么样批量插入大量数据

# MyBatis怎么样批量插入大量数据

## 一、引言

在大数据时代，处理海量数据已成为开发中的常见需求。MyBatis作为Java生态中广泛使用的ORM框架，其批量数据插入性能直接影响系统整体效率。本文将深入探讨MyBatis实现高效批量插入的七大方案，通过原理分析、代码示例和性能对比，帮助开发者选择最适合业务场景的解决方案。

## 二、基础批量插入方法

### 1. 循环单条插入（对比基准）

```java
// 反例：性能最差的方式
@Insert("<script>" +
        "INSERT INTO user (name,age) VALUES " +
        "<foreach collection='list' item='item' separator=','>" +
        "(#{item.name},#{item.age})" +
        "</foreach>" +
        "</script>")
void batchInsert(@Param("list") List<User> users);

问题分析： - 每次插入都需建立/关闭JDBC连接 - 无法利用数据库的批量处理机制 - 事务开销大（若未显式启用事务）

2. 真正批量模式（推荐）

// 使用ExecutorType.BATCH
SqlSession sqlSession = sqlSessionFactory.openSession(ExecutorType.BATCH);
try {
    UserMapper mapper = sqlSession.getMapper(UserMapper.class);
    for (User user : userList) {
        mapper.insert(user);
        if (i % 1000 == 0) {
            sqlSession.flushStatements();
        }
    }
    sqlSession.commit();
} finally {
    sqlSession.close();
}

优化点： - 通过BATCH执行器减少JDBC交互次数 - 每1000条刷新一次避免内存溢出 - 统一事务提交

三、高级优化方案

3. 多值插入SQL

INSERT INTO table (col1,col2) 
VALUES (v1,v2),(v3,v4),(v5,v6)...

实现代码：

@Insert({"<script>",
         "INSERT INTO user (name, age) VALUES ",
         "<foreach collection='list' item='item' separator=','>",
         "(#{item.name}, #{item.age})",
         "</foreach>",
         "</script>"})
int batchInsert(@Param("list") List<User> users);

注意事项： - SQL长度限制（MySQL默认4MB） - 建议每批500-1000条 - 需要拼接动态SQL

4. 使用BulkExecutor（MyBatis 3.5+）

@Autowired
private SqlSessionFactory sqlSessionFactory;

public void bulkInsert(List<User> users) {
    try (SqlSession sqlSession = sqlSessionFactory.openSession(ExecutorType.BATCH)) {
        BulkExecutor bulkExecutor = sqlSession.getMapper(BulkExecutor.class);
        bulkExecutor.insertUsers(users);
        sqlSession.commit();
    }
}

特性： - 专门优化的批量处理器 - 减少反射开销 - 支持更智能的刷新策略

四、数据库特性利用

5. JDBC批量参数

// jdbc.url增加参数
rewriteBatchedStatements=true&allowMultiQueries=true

MySQL优化参数： - rewriteBatchedStatements：重写批量语句 - useServerPrepStmts：启用服务器端预处理 - cachePrepStmts：缓存预处理语句

6. 存储过程调用

<select id="batchInsertProc" statementType="CALLABLE">
    {call batch_insert_user(
        #{list,mode=IN,jdbcType=ARRAY,typeHandler=org.apache.ibatis.type.ArrayTypeHandler}
    )}
</select>

优势： - 避免网络往返开销 - 可利用数据库内部优化 - 适合超大数据量（10万+）

五、性能对比测试

六、Spring集成方案

7. 声明式批量处理

@Transactional
public void transactionalBatchInsert(List<User> users) {
    SqlSessionTemplate sqlSessionTemplate = new SqlSessionTemplate(sqlSessionFactory, ExecutorType.BATCH);
    UserMapper mapper = sqlSessionTemplate.getMapper(UserMapper.class);
    
    users.forEach(user -> {
        mapper.insert(user);
        if(counter++ % 500 == 0) {
            sqlSessionTemplate.flushStatements();
        }
    });
}

最佳实践： 1. 合理设置批处理大小（500-2000） 2. 监控内存使用情况 3. 考虑使用连接池配置：

   spring:
     datasource:
       hikari:
         maximum-pool-size: 20
         connection-timeout: 30000

七、异常处理机制

try {
    // 批量操作代码
} catch (BatchUpdateException e) {
    int[] updateCounts = e.getUpdateCounts();
    for (int i = 0; i < updateCounts.length; i++) {
        if (updateCounts[i] == Statement.EXECUTE_FLED) {
            log.error("第{}条记录插入失败", i);
        }
    }
} finally {
    sqlSession.rollback();
}

关键点： - 精确识别失败记录 - 部分失败时的事务回滚 - 重试机制设计

八、总结建议

1. 10万条以下：多值插入SQL + JDBC参数优化
2. 10-50万条：BulkExecutor + 分批提交
3. 50万+条：考虑使用存储过程或导出文件+LOAD DATA

终极优化策略：

// 组合方案示例
public void superBatchInsert(List<User> users) {
    int batchSize = 1000;
    List<List<User>> partitions = Lists.partition(users, batchSize);
    
    partitions.forEach(partition -> {
        try (SqlSession session = sqlSessionFactory.openSession(ExecutorType.BATCH)) {
            UserMapper mapper = session.getMapper(UserMapper.class);
            partition.forEach(mapper::insert);
            session.flushStatements();
            session.commit();
        }
    });
}

通过合理选择方案，MyBatis批量插入性能可提升10-50倍。建议在实际环境中进行基准测试，根据具体数据库版本、网络环境和硬件配置选择最佳实践。 “`

注：本文实际约2500字，完整3000字版本可扩展以下内容： 1. 各数据库方言差异（Oracle、PostgreSQL等） 2. 与Spring Data JPA的批量插入对比 3. 分布式环境下的批量插入挑战 4. 更详细的内存优化技巧 5. 完整的性能测试报告数据