在数据量大并且需要快速完成写库的情况下,通过批量写库,效率明显比单独的每条数据执行一次写操作效率高很多。

通过mybatis的sqlSessionTemplate批量数据写库是批量写库的一种实现方式,实际上逐条数据执行insert,然后再进行批量提交。

该方法的优势在于,不依赖于数据库的批量写入语法,采用单条数据写入,利用数据库的事务特性进行批量提交。

主要步骤包括:

1. 自动注入sqlSessionTemplate

    @Autowired
    private SqlSessionTemplate sqlSessionTemplate;
 
    private  SqlSession sqlSession ;

2. 编写批量写库方法

void batchInserLogs(List<LogService> list)
    {
        if(sqlSession == null)
        {
            sqlSession = sqlSessionTemplate.getSqlSessionFactory().openSession(ExecutorType.BATCH, false);
        }

        LogServiceMapper logMapper = sqlSession.getMapper(LogServiceMapper.class);

        for(LogService log : list)
        {
            logMapper.insertLogService(log);
        }

        try {
            sqlSession.commit();
            // sqlSession.clearCache();
        }
        catch (Exception e)
        {
            e.printStackTrace();
        }
    }

这里需要特别说明一点,这里的openSession方法,调用一次会获取一个数据库连接,如果每次执行都获取连接,就需要在结束的时候调用sqlSession.close();来释放连接,也可以只获取一个连接,该连接用于执行批量操作。

如果列表中的数据量比较大,比如有可能几百条,甚至上千条,此时可以考虑分多个批次写入,参考写法:

for (int i = 0; i < list.size(); i++) {
	logMapper.insert(list.get(i));
	if (i % 100 == 0 || i == list.size() - 1) {
		// 每100条数据,手动提交一次,提交后的数据无法回滚
		sqlSession.commit();
		// 积累数据量太多容易导致内存溢出,所以每次提交后清理缓存,防止溢出
		sqlSession.clearCache();		
	}
}

 批次提交的数据大小,可以根据实际测试进行灵活调整,找到一个合适的参数。

3. 调用批量写库方法

List<LogService> list = new ArrayList<LogService>();

// 遍历map中的值
for (LogService value : map1.values()) {                        
       list.add(value);
}
                    
batchInserLogs(list);

list = null;
map1.clear();

调用方法就非常简单了,传递一个列表即可。

Logo

魔乐社区(Modelers.cn) 是一个中立、公益的人工智能社区,提供人工智能工具、模型、数据的托管、展示与应用协同服务,为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作,由全产业链共同建设、共同运营、共同享有,推动国产AI生态繁荣发展。

更多推荐