您当前的位置:首页 > 电脑百科 > 程序开发 > 语言 > Python

对比 MyBatis 和 MyBatis-Plus 批量插入、批量更新的性能和区别

时间:2023-09-08 12:21:05  来源:今日头条  作者:架构浅水湾

1 环境准备

1.1 搭建 MyBatis-Plus 环境

  1. 创建 maven springboot 工程
  2. 导入依赖:web 启动器、jdbc、、JAVA 连接 MySQL、Lombok、druid 连接池启动器、mybatis-plus 启动器
  3. 编写 yaml 配置文件,配置 druid 数据源、mybatis-plus

注意要点:

  1. mApper 接口继承 BaseMapper<实体类>
  2. service 接口继承 IService<实体类>
  3. service 接口实现类继承 ServiceImpl<mapper 接口, 实体类> 实现 service 接口

1.2 批量插入测试接口

  1. MyBatis 批量插入接口
@GetMapping("/mybatis-batch-insert") public String mybatisBatchInsert(){ // 开始时间 long stime = System.currentTimeMillis(); // 批量插入 orderService.mySaveBatch(list); // 结束时间 long etime = System.currentTimeMillis(); return "mybatis 批量插入 1w 条数据的时间: " + (etime - stime) / 1000.0 + "秒"; }
对比 MyBatis 和 MyBatis-Plus 批量插入、批量更新的性能和区别

 


 
  1. Mybatis 的批量插入是调用 mapper 的批量插入接口,使用 标签拼接 sql 进行插入
  2. Mybatis-Plus 批量插入接口
  3. @GetMapping("/mybatis-batch-insert") public String mybatisBatchInsert(){ // 开始时间 long stime = System.currentTimeMillis(); // 批量插入 orderService.mySaveBatch(list); // 结束时间 long etime = System.currentTimeMillis(); return "mybatis 批量插入 1w 条数据的时间: " + (etime - stime) / 1000.0 + "秒"; }
  4. MyBatis-Plus 的批量插入是调用 mybatis-plus 的 IService 接口的 saveBatch 进行批量插入

1.3 批量更新测试接口

  1. MyBatis 批量更新接口
  2. @GetMapping("/mybatis-batch-update") public String mybatisBatchUpdate(){ long stime = System.currentTimeMillis(); orderService.myUpdateBatchById(updateList); long etime = System.currentTimeMillis(); return "mybatis 批量更新 1w 条数据的时间: " + (etime - stime) / 1000.0 + "秒"; }
  3. MyBatis 的批量插入是调用 mapper 的批量更新接口,使用 标签拼接 sql 进行更新,是将多个更新语句拼接在同一个 mapper 接口中,需要在数据库连接 url 添加 allowMultiQueries=true 开启多查询
  4. MyBatis-Plus 批量更新接口
  5. @GetMapping("/mybatis-plus-batch-update") public String mybatisPlusBatchUpdate(){ long stime = System.currentTimeMillis(); orderService.updateBatchById(updateList); long etime = System.currentTimeMillis(); return "mybatis plus 批量更新 1w 条数据的时间: " + (etime - stime) / 1000.0 + "秒"; }
  6. MyBatis -Plus 的批量更新是调用 mybatis-plus 的 IService 接口的 updateBatchById 进行批量更新

2. 性能对比

经过预热,尽量避免了缓存的影响。

2.1 批量插入性能对比

对比 MyBatis 和 MyBatis-Plus 批量插入、批量更新的性能和区别

 

数据量:1w 条数据,每条数据 4 个字段

测试结果:

  • MyBatis:5 次运行平均耗时:0.3212 秒
  • MyBatis-Plus:5次运行平均耗时:1.35 秒
  • MyBatis-Plus(开启批处理):5次运行平均耗时:0.2424 秒

2.2 批量更新性能对比

对比 MyBatis 和 MyBatis-Plus 批量插入、批量更新的性能和区别

 

数据量:1w 条数据,每条数据更新 4 个字段

测试结果:

  • MyBatis:5 次运行平均耗时:1.0378 秒
  • MyBatis-Plus:5次运行平均耗时:1.6448 秒
  • MyBatis-Plus(开启批处理):5次运行平均耗时:0.743 秒

3. 原理探究

3.1 批量插入

3.1.1 MyBatis

MyBatis 的批量插入 xml

<insert id="mySaveBatch">
    insert into order_table(id, product_id, total_amount, status) values
    <foreach collection="list" separator="," item="item">
        (#{item.id}, #{item.productId}, #{item.totalAmount}, #{item.status})
    </foreach>
</insert>

通过 标签,将插入的数据拼接成一条 SQL 语句,一次性进行插入操作,拼接完的 SQL 语句如下例子:

insert into order_table(id, product_id, total_amount, status) values(1, 2. 2.0, 1),(2, 2, 2.0, 1);

3.1.2 MyBatis-Plus

MyBatis-Plus 的批量插入本质采用 for 遍历每条数据依次插入,但使用了批处理优化,默认是每 1000 条数据,刷新一次 statement 提交到数据库,执行插入操作。

注意:批处理需要在数据库连接中添加 rewriteBatchedStatements=true 否则 jdbc 驱动在默认情况下会无视executeBatch() 语句

源码如下:

@Transactional(rollbackFor = Exception.class)   // 开启事务
@Override
public boolean saveBatch(Collection<T> entityList, int batchSize) {
    String sqlStatement = getSqlStatement(SqlMethod.INSERT_ONE);    // 获得插入 statement
    // 执行批处理操作
    // 参数是:待插入集合,批次大小(默认1000),函数式接口 accept
    return executeBatch(entityList, batchSize, (sqlSession, entity) ->  sqlSession.insert(sqlStatement, entity)); 
}
public static <E> boolean executeBatch(Class<?> entityClass, Log log, Collection<E> list, int batchSize, BiConsumer<SqlSession, E> consumer) {
    Assert.isFalse(batchSize < 1, "batchSize must not be less than one");
    return !CollectionUtils.isEmpty(list) && executeBatch(entityClass, log, sqlSession -> {
        int size = list.size();
        int idxLimit = Math.min(batchSize, size);
        int i = 1;
        // 遍历插入
        for (E element : list) {
            // 调用 sqlSession.insert(sqlStatement, entity)); 
            // 对元素执行插入操作,但此时数据库还没真正执行插入语句
            consumer.accept(sqlSession, element);   
            // 计数达到 1000 或者 集合结束
            if (i == idxLimit) {        
                 // 刷新 statement 提交批处理语句,数据库真正执行 SQL
                sqlSession.flushStatements();
                idxLimit = Math.min(idxLimit + batchSize, size);
            }
            i++;
        }
    });
}

3.2 批量更新

3.2.1 MyBatis

MyBatis 的批量更新 xml

<update id="myUpdateBatchById">
    <foreach collection="list" item="item" index="index" open="" close="" separator=";">
        update order_table
        <set>
            product_id = #{item.productId},
            total_amount = #{item.totalAmount},
            status = #{item.status}
        </set>
        where id = #{item.id}
    </foreach>
</update>

通过 标签,拼接成多条更新的 SQL 语句,一次性提交数据库执行。语句例子如下:

update order_table set product_id = 1, total_amount = 2, status = 1 where id = 1;
update order_table set product_id = 1, total_amount = 2, status = 1 where id = 2;

3.1.2 MyBatis-Plus

MyBatis-Plus 批量更新的原理基本和其批量插入的原理一致,都是调用 executeBatch 执行批处理操作。

4. 优缺点分析

4.1 批量插入

对于批量插入,MyBatis 拼接 SQL 的写法比 MyBatis-Plus 的批量插入方法有明显更高的性能。
但在开启批处理优化之后,MyBatis-Plus 的方法性能更高了。

MyBatis:

  • 优点:性能较高
  • 缺点:在处理大数据量(SQL 语句大于 64MB 时)会报错,MySQL 8.0.33 默认最大 SQL 大小为 64MB
    也要考虑内存异常等问题。

MyBatisPlus:

  • 优点:分组提交,适用于大数据量的处理
  • 缺点:单条插入语句执行,性能较低

总结:

  • 没开启批处理时:10w 数据量以下建议使用 MyBatis、10w 数据量以上建议使用 MyBatis-Plus
  • 开启批处理时:建议使用 MyBatis-Plus

4.2 批量更新

对于批量更新,MyBatis 拼接 SQL 的写法与 MyBatis-Plus 的批量更新方法无明显的性能差别.
大于大数据量,拼接写法甚至容易出现内存耗尽等问题,相比之下 MyBatis-Plus 的方法更优。

总结:建议使用 MyBatis-Plus



Tags:MyBatis   点击:()  评论:()
声明:本站部分内容及图片来自互联网,转载是出于传递更多信息之目的,内容观点仅代表作者本人,不构成投资建议。投资者据此操作,风险自担。如有任何标注错误或版权侵犯请与我们联系,我们将及时更正、删除。
▌相关推荐
Mybatis参数映射搞不明白?来试试这个工具吧!
之前在《使用技巧-Mybatis参数映射》《使用技巧-Mybatis参数映射(2)》提到了Mybatis的一些参数映射技巧,但是平时使用的时候有些小伙伴可能不知道自己写的#{}表达式能不能获取...【详细内容】
2024-02-28  Search: MyBatis  点击:(31)  评论:(0)  加入收藏
如何在Spring项目中配置MP(MyBatis-Plus)集成?
在Spring项目中集成MP,需要进行以下配置:1. 引入依赖:在项目的pom.xml文件中添加MP相关依赖,例如:```xml<dependency> <groupId>com.baomidou</groupId> <artifactId>mybatis-plu...【详细内容】
2024-01-09  Search: MyBatis  点击:(86)  评论:(0)  加入收藏
Mybatis占位符#和$的区别?源码解读
本文针对笔者日常开发中对 Mybatis 占位符 #{} 和 ${} 使用时机结合源码,思考总结而来 &bull; Mybatis 版本 3.5.11 &bull; Spring boot 版本 3.0.2 &bull; mybatis-spring...【详细内容】
2023-10-27  Search: MyBatis  点击:(399)  评论:(0)  加入收藏
看完这篇文章,你也可以手写MyBatis部分源码(JDBC)
一、持久化机制持久化(persistence): 把数据保存到可调电式存储设备中以供之后使用。大多数情况下,特别是企业级应用,数据持久化意味着将内存中的数据保存到硬盘上加以”固化...【详细内容】
2023-10-09  Search: MyBatis  点击:(332)  评论:(0)  加入收藏
Mybatis-Flex初体验
本篇文章内容主要包括: MyBatis-Flex 介绍MyBatis-Flex 是一个优雅的 MyBatis 增强框架,它非常轻量、同时拥有极高的性能与灵活性。我们可以轻松的使用 Mybaits-Flex 链接任何...【详细内容】
2023-09-24  Search: MyBatis  点击:(196)  评论:(0)  加入收藏
MyBatis简单易用的背后隐藏的挑战
MyBatis,作为一款备受欢迎的持久层框架,它的简单易用以及灵活的配置吸引了无数的开发者。然而,随着项目的不断发展,规模的逐渐扩大,MyBatis的一些挑战也开始逐渐浮出水面。首先,由...【详细内容】
2023-09-15  Search: MyBatis  点击:(242)  评论:(0)  加入收藏
MyBatis缓存机制
MyBatis 的缓存机制属于本地缓存,适用于单机系统,它的作用是减少数据库的查询次数,提高系统性能。MyBaits 中包含两级本地缓存: 一级缓存:SqlSession 级别的,是 MyBatis 自带的缓...【详细内容】
2023-09-12  Search: MyBatis  点击:(229)  评论:(0)  加入收藏
对比 MyBatis 和 MyBatis-Plus 批量插入、批量更新的性能和区别
1 环境准备1.1 搭建 MyBatis-Plus 环境 创建 maven springboot 工程 导入依赖:web 启动器、jdbc、、java 连接 mysql、Lombok、druid 连接池启动器、mybatis-plus 启动器 编...【详细内容】
2023-09-08  Search: MyBatis  点击:(191)  评论:(0)  加入收藏
Spring Data JPA 和 MyBatis 谁更强?
我无法明确的告诉你JPA和MyBatis在国内哪个会更流行,我本人更喜欢JPA,但是我本人日常开发用MyBatis多。但是我的回答绝对不是在划水,而是我多年来自己的一点小小的思考。MyBati...【详细内容】
2023-08-22  Search: MyBatis  点击:(335)  评论:(0)  加入收藏
Mybatis-Plus可能会导致数据库死锁
一、场景还原1.版本信息MySQL版本:5.6.36-82.1-logMybatis-Plus的starter版本:3.3.2存储引擎:InnoDB2.死锁现象A同学在生产环境使用了Mybatis-Plus提供的com.baomidou.mybatisp...【详细内容】
2023-08-14  Search: MyBatis  点击:(171)  评论:(0)  加入收藏
▌简易百科推荐
Python 可视化:Plotly 库使用基础
当使用 Plotly 进行数据可视化时,我们可以通过以下示例展示多种绘图方法,每个示例都会有详细的注释和说明。1.创建折线图import plotly.graph_objects as go# 示例1: 创建简单...【详细内容】
2024-04-01  Python技术    Tags:Python   点击:(8)  评论:(0)  加入收藏
Python 办公神器:教你使用 Python 批量制作 PPT
介绍本文将介绍如何使用openpyxl和pptx库来批量制作PPT奖状。本文假设你已经安装了python和这两个库。本文的场景是:一名基层人员,要给一次比赛活动获奖的500名选手制作奖状,并...【详细内容】
2024-03-26  Python技术  微信公众号  Tags:Python   点击:(16)  评论:(0)  加入收藏
Python实现工厂模式、抽象工厂,单例模式
工厂模式是一种常见的设计模式,它可以帮助我们创建对象的过程更加灵活和可扩展。在Python中,我们可以使用函数和类来实现工厂模式。一、Python中实现工厂模式工厂模式是一种常...【详细内容】
2024-03-07  Python都知道  微信公众号  Tags:Python   点击:(31)  评论:(0)  加入收藏
不可不学的Python技巧:字典推导式使用全攻略
Python的字典推导式是一种优雅而强大的工具,用于创建字典(dict)。这种方法不仅代码更加简洁,而且执行效率高。无论你是Python新手还是有经验的开发者,掌握字典推导式都将是你技能...【详细内容】
2024-02-22  子午Python  微信公众号  Tags:Python技巧   点击:(32)  评论:(0)  加入收藏
如何进行Python代码的代码重构和优化?
Python是一种高级编程语言,它具有简洁、易于理解和易于维护的特点。然而,代码重构和优化对于保持代码质量和性能至关重要。什么是代码重构?代码重构是指在不改变代码外部行为的...【详细内容】
2024-02-22  编程技术汇    Tags:Python代码   点击:(33)  评论:(0)  加入收藏
Python开发者必备的八个PyCharm插件
在编写代码的过程中,括号几乎无处不在,以至于有时我们会拼命辨别哪个闭合括号与哪个开头的括号相匹配。这款插件能帮助解决这个众所周知的问题。前言在PyCharm中浏览插件列表...【详细内容】
2024-01-26  Python学研大本营  微信公众号  Tags:PyCharm插件   点击:(84)  评论:(0)  加入收藏
Python的Graphlib库,再也不用手敲图结构了
Python中的graphlib库是一个功能强大且易于使用的工具。graphlib提供了许多功能,可以帮助您创建、操作和分析图形对象。本文将介绍graphlib库的主要用法,并提供一些示例代码和...【详细内容】
2024-01-26  科学随想录  微信公众号  Tags:Graphlib库   点击:(86)  评论:(0)  加入收藏
Python分布式爬虫打造搜索引擎
简单分布式爬虫结构主从模式是指由一台主机作为控制节点负责所有运行网络爬虫的主机进行管理,爬虫只需要从控制节点那里接收任务,并把新生成任务提交给控制节点就可以了,在这个...【详细内容】
2024-01-25  大雷家吃饭    Tags:Python   点击:(58)  评论:(0)  加入收藏
使用Python进行数据分析,需要哪些步骤?
Python是一门动态的、面向对象的脚本语言,同时也是一门简约,通俗易懂的编程语言。Python入门简单,代码可读性强,一段好的Python代码,阅读起来像是在读一篇外语文章。Python这种特...【详细内容】
2024-01-15  程序员不二    Tags:Python   点击:(162)  评论:(0)  加入收藏
Python语言的特点及应用场景, 同其它语言对比优势
Python语言作为一种高级编程语言,具有许多独特的特点和优势,这使得它在众多编程语言中脱颖而出。在本文中,我们将探讨Python语言的特点、应用场景以及与其他语言的对比优势。一...【详细内容】
2024-01-09    今日头条  Tags:Python语言   点击:(252)  评论:(0)  加入收藏
站内最新
站内热门
站内头条