您当前的位置:首页 > 电脑百科 > 数据库 > 百科

原来Mybatis执行一个sql有这么多类型

时间:2020-09-02 09:50:23  来源:  作者:

Executor 执行器

今天分享一下 Executor。它在框架中是具体sql的执行器,sqlSession(门面模式)封装通用的api,把具体操作委派给 Executor 执行,Executor协同BoundSql,StatementHandler,ParameterHandler 和 ResultSetHandler 完成工作。

它使用装饰器的方式组织 Executor 对象。如 CachingExecutor 装饰了SimpleExecutor 提供二级缓存功能。

可以通过插件机制扩展功能。MyBatisplus 就是通过插件机制扩展的功能。

下面是更新流程,Executor 处于流程中间蓝色部分,缓存执行器,基础执行器,简单执行器三个 Executor 通过责任链的方式组织起来,各司其职,一同完成执行工作。,可以感受到它的作用是承上启下。

来,全搞懂,原来Mybatis执行一个sql有这么多类型,绝

 

执行器介绍

来,全搞懂,原来Mybatis执行一个sql有这么多类型,绝

 

Mybatis 一共提供了四种执行器的实现和一个模板类:

  • 基础执行器 BaseExecutor:实现Executor接口的抽象类,实现了框架逻辑,具体的逻辑委派给子类实现。一级缓存也是在这里实现的。
  • 缓存执行器 CachingExecutor:实现了二级缓存,是jvm级别的全局缓存。
  • 简单执行器 SimpleExecutor:继承自 BaseExecutor,具体执行逻辑的实现。
  • 重用执行器 ReuseExecutor:相同的 sql 只会预编译一次。
  • 批处理执行器 BatchExecutor:批处理执行器 使用 JDBC 的batch API 执行 SQL 的批量操作,如insert 或者 update。select的逻辑和 SimpleExecutor 的实现一样。

今天介绍 SimpleExecutor,ReuseExecutor 和 BatchExecutor 三个执行器的特定和逻辑, CachingExecutor 的功能是提供二级缓存,暂时不在这里介绍。

SimpleExecutor

简单执行器顾名思义,处理的逻辑比较简单直接,来一个 sql 预编译一个,处理一个。 示例代码如下:

// 创建 SimpleExecutor 
SimpleExecutor simpleExecutor = new SimpleExecutor(sessionFactory.getConfiguration(),
jdbcTransaction);
// 获取 MAppedStatement 
final MappedStatement ms = sessionFactory.getConfiguration().getMappedStatement("example.mapper.UserMapper.getUserByID");
final BoundSql boundSql = ms.getBoundSql(1);
// 执行 2 次查询
simpleExecutor.doQuery(ms, 1, RowBounds.DEFAULT, Executor.NO_RESULT_HANDLER, boundSql);
simpleExecutor.doQuery(ms, 1, RowBounds.DEFAULT, Executor.NO_RESULT_HANDLER, boundSql);

执行结果:


[DEBUG][main] o.a.i.l.j.BaseJdbcLogger.debug ==>  Preparing: select * from `user` where id = ? 
[DEBUG][main] m.p.ThresholdInterceptor.intercept ThresholdInterceptor plugin... 
[DEBUG][main] o.a.i.l.j.BaseJdbcLogger.debug ==> Parameters: 1(Integer) 
[DEBUG][main] o.a.i.l.j.BaseJdbcLogger.debug <==      Total: 1 

[DEBUG][main] o.a.i.l.j.BaseJdbcLogger.debug ==>  Preparing: select * from `user` where id = ? 
[DEBUG][main] m.p.ThresholdInterceptor.intercept ThresholdInterceptor plugin... 
[DEBUG][main] o.a.i.l.j.BaseJdbcLogger.debug ==> Parameters: 1(Integer) 
[DEBUG][main] o.a.i.l.j.BaseJdbcLogger.debug <==      Total: 1 

通过日志看到,虽然执行相同的 sql 但是每次都要执行预编译。这是一个需要优化的点。

ReuseExecutor

ReuseExecutor 对相同 SQL 重复编译做了优化,相同的 sql 的 Statement 只创建一个。

示例代码上面一样,只是把 SimpleExecutor 换成 ReuseExecutor 。 从执行我们看到,Preparing 只有一次,执行结果也是正确的:

[DEBUG][main] o.a.i.l.j.BaseJdbcLogger.debug ==>  Preparing: select * from `user` where id = ? 
[DEBUG][main] m.p.ThresholdInterceptor.intercept ThresholdInterceptor plugin... 
[DEBUG][main] o.a.i.l.j.BaseJdbcLogger.debug ==> Parameters: 1(Integer) 
[DEBUG][main] o.a.i.l.j.BaseJdbcLogger.debug <==      Total: 1 

[DEBUG][main] m.p.ThresholdInterceptor.intercept ThresholdInterceptor plugin... 
[DEBUG][main] o.a.i.l.j.BaseJdbcLogger.debug ==> Parameters: 1(Integer) 
[DEBUG][main] o.a.i.l.j.BaseJdbcLogger.debug <==      Total: 1 

他是怎么做到的呢?翻开代码看看实现,其实逻辑也很简单,用 SQL 当作 key 保存对应的 Statement 来实现重用。

  private Statement prepareStatement(StatementHandler handler, Log statementLog) throws SQLException {
    Statement stmt;
    BoundSql boundSql = handler.getBoundSql();
    String sql = boundSql.getSql();
    // 关键逻辑,通过 sql 判断是否已经创建了 Statement,如果有则重用。
    if (hasStatementFor(sql)) {
      stmt = getStatement(sql);
      applyTransactionTimeout(stmt);
    } else {
      Connection connection = getConnection(statementLog);
      stmt = handler.prepare(connection, transaction.getTimeout());
      putStatement(sql, stmt);
    }
    handler.parameterize(stmt);
    return stmt;
  }
  private final Map<String, Statement> statementMap = new HashMap<>();
  private boolean hasStatementFor(String sql) {
    try {
      Statement statement = statementMap.get(sql);
      return statement != null && !statement.getConnection().isClosed();
    } catch (SQLException e) {
      return false;
    }
  }

BatchExecutor

有些场景下,我们要批量保存或者删除,更新数据,这时候我们一条一条的执行效率就会很低,需要一个批量执行的机制。

JDBC 批量操作

批量操作可以把相关的sql打包成一个 batch,一次发送到服务器,减少和服务器的交互,也就是 RTT 时间。

使用批量操作前要确认服务器是否支持批量操作,可通过 DatabaseMetaData.supportsBatchUpdates() 方法的返回值来判断。

实例代码,通过 JDBC 提供的 API 执行批量操作。

Connection conn = DriverManager.getConnection(DB_URL, USER, PASS);

DatabaseMetaData metaData = conn.getMetaData();
System.out.println("metaData.supportsBatchUpdates() = " + metaData.supportsBatchUpdates());

//执行 sql
System.out.println("Creating statement...");
String sql = "update user set name=? where id = ?";
pstmt = conn.prepareStatement(sql);

// 设置变量
pstmt.setString(1, "Pappu");
pstmt.setInt(2, 1);
// 添加到 batch
pstmt.addBatch();

// 设置变量
pstmt.setString(1, "Pawan");
pstmt.setInt(2, 2);
// 添加到 batch
pstmt.addBatch();

//执行,并获取结果
int[] count = pstmt.executeBatch();

Mybatis 如何实现

Mybatis 只有对 update 有支持批量操作,并且需要手动 flushStatements。

insert、delete、update,都是update操作

    BatchExecutor batchExecutor = new BatchExecutor(configuration, jdbcTransaction);

    final MappedStatement update = configuration
        .getMappedStatement("dm.UserMapper.updateName");
    final MappedStatement delete = configuration
        .getMappedStatement("dm.UserMapper.deleteById");
    final MappedStatement get = sessionFactory.getConfiguration()
        .getMappedStatement("dm.UserMapper.getUserByID");
    final MappedStatement insertUser = sessionFactory.getConfiguration()
        .getMappedStatement("dm.UserMapper.insertUser");

    // query
    batchExecutor.doUpdate(insertUser, new User().setName("" + new Date()));
    batchExecutor.doUpdate(insertUser, new User().setName("" + new Date()));

    // batch update
    User user = new User();
    user.setId(2);
    user.setName("" + new Date());
    batchExecutor.doUpdate(update, user);

    user.setId(3);
    batchExecutor.doUpdate(update, user);

    batchExecutor.doUpdate(insertUser, new User().setName("" + new Date()));

    //
    final List<BatchResult> batchResults = batchExecutor.flushStatements(false);
    jdbcTransaction.commit();
    printBatchResult(batchResults);

执行日志:

[DEBUG][main] o.a.i.l.j.BaseJdbcLogger.debug ==>  Preparing: insert into `user` (name) values(?); 
[DEBUG][main] o.a.i.l.j.BaseJdbcLogger.debug ==> Parameters: Sat Jul 04 15:07:30 CST 2020(String) 
[DEBUG][main] o.a.i.l.j.BaseJdbcLogger.debug ==> Parameters: Sat Jul 04 15:07:30 CST 2020(String) 
[DEBUG][main] o.a.i.l.j.BaseJdbcLogger.debug ==>  Preparing: update `user` set name=? where id = ? 
[DEBUG][main] o.a.i.l.j.BaseJdbcLogger.debug ==> Parameters: Sat Jul 04 15:07:30 CST 2020(String), 2(Integer) 
[DEBUG][main] o.a.i.l.j.BaseJdbcLogger.debug ==> Parameters: Sat Jul 04 15:07:30 CST 2020(String), 3(Integer) 
[DEBUG][main] o.a.i.l.j.BaseJdbcLogger.debug ==>  Preparing: insert into `user` (name) values(?); 
[DEBUG][main] o.a.i.l.j.BaseJdbcLogger.debug ==> Parameters: Sat Jul 04 15:07:30 CST 2020(String) 
[DEBUG][main] o.a.i.t.j.JdbcTransaction.commit Committing JDBC Connection [com.MySQL.cj.jdbc.ConnectionImpl@4b3ed2f0] 
第 1 个结果
[1, 1]
第 2 个结果
[1, 1]
第 3 个结果
[1]

从日志可以看到看到清晰的执行过程。

  • 第一个insert语句后面跟着两个参数,是一个statement。对应第 1 个结果
  • 第二个update语句后面跟着两个参数,是一个statement。对应第 2 个结果
  • 第三个insert语句后面跟着两个参数,是一个statement。对应第 3 个结果

整体逻辑和程序是一致的,但是有个问题,为什么三个相同的 insert,会分开两个结果返回呢?

这是因为 Mybatis 为了保证批次和逻辑顺序一致做了优化,并不是相同的sql就放到相同的statement。而是要按照执行顺序把相同的sql当作一个批次。

从代码中可以看到这部分逻辑:

public int doUpdate(MappedStatement ms, Object parameterObject) throws SQLException {
  if (sql.equals(currentSql) && ms.equals(currentStatement)) {
    使用当前的 statement
  } else {
    创建新的statement
  }
}

总结

网络上有些文章介绍使用 foreach 的方式执行批量操作,我个人不建议这样操作。

  1. 因为 JDBC 已经提供了批量操作的接口,符合规范,兼容性和性能更好。
  2. foreach拼接的 sql 比较长,会增加网络流量,而且驱动对sql长度是有限制的,并且要增加allowMultiQueries参数。
  3. foreach 拼接的 sql 每次都不一定相同,服务器会重新编译。

Mysql 的 sql 执行流程是连接器,查询缓存,分析器,优化器,执行器。分析器先会做“词法分析”。优化器是在表里面有多个索引的时候,决定使用哪个索引;或者在一个语句有多表关联(join)的时候,决定各个表的连接顺序。在适合的场景使用 ReuseExecutor 或 BatchExecutor 不仅可以提高性能,还可以减少对 Mysql 服务器的压力。


作者:但莫
链接:https://juejin.im/post/6854573210420772877
来源:掘金



Tags:Mybatis   点击:()  评论:()
声明:本站部分内容及图片来自互联网,转载是出于传递更多信息之目的,内容观点仅代表作者本人,如有任何标注错误或版权侵犯请与我们联系(Email:2595517585@qq.com),我们将及时更正、删除,谢谢。
▌相关推荐
本篇文章主要介绍了使用MyBatis框架完成数据库的增、删、改、查操作。准备工作运行schema.sql和data.sql脚本文件中的 SQL 语句创建t_user表并添加部分测试数据。schema.sql...【详细内容】
2022-07-15  Tags: Mybatis  点击:(0)  评论:(0)  加入收藏
简介MetaObject 是 MyBatis 中的反射工具类,用于获取和设置对象的属性值。示例List<Order> orders = new ArrayList<>(2);orders.add(new Order("1", "001", "美的电压力锅")...【详细内容】
2022-07-06  Tags: Mybatis  点击:(18)  评论:(0)  加入收藏
简介SqlRunner,一个非常实用的、用于操作数据库的工具类。该类对JDBC进行了很好的封装,结合SQL工具类,能够很方便地通过Java代码执行SQL语句并检索SQL执行结果。SqlRunner提供...【详细内容】
2022-07-05  Tags: Mybatis  点击:(19)  评论:(0)  加入收藏
1. If 语句需求:根据作者名字和博客名字来查询博客!如果作者名字为空,那么只根据博客名字查询,反之,则根据作者名字来查询<!--需求1:根据作者名字和博客名字来查询博客!如果作者名...【详细内容】
2022-06-30  Tags: Mybatis  点击:(25)  评论:(0)  加入收藏
在进行持久层数据维护(新增或修改)的时候,我们通常需要记录一些非业务字段,比如:create_time、update_time、update_by、create_by等用来维护数据记录的创建时间、修改时间、修改...【详细内容】
2022-06-20  Tags: Mybatis  点击:(23)  评论:(0)  加入收藏
Mybatis 是 Java 中一个非常好用的数据库框架,这儿记录一下在使用过程中遇到的坑。官方中文文档地址:http://www.mybatis.org/mybatis-3/zh/getting-started.html1、在Mybatis...【详细内容】
2022-06-20  Tags: Mybatis  点击:(34)  评论:(0)  加入收藏
今天介绍一个 MyBatis - Plus 官方发布的神器:mybatis-mate 为 mp 企业级模块,支持分库分表,数据审计、数据敏感词过滤(AC算法),字段加密,字典回写(数据绑定),数据权限,表结构自动生成...【详细内容】
2022-06-17  Tags: Mybatis  点击:(43)  评论:(0)  加入收藏
1. Mybatis 存在的痛点我们知道 MyBatis 是一个基于 java 的持久层框架,它内部封装了 jdbc,极大提高了我们的开发效率。但是使用 Mybatis 开发也有很多痛点: 每个 Dao 接口都需...【详细内容】
2022-06-14  Tags: Mybatis  点击:(37)  评论:(0)  加入收藏
MybatisPlus是国产的第三方插件, 它封装了许多常用的CURDapi,免去了我们写mapper.xml的重复劳动,这里介绍了基本的整合SpringBoot和基础用法。2|0引入依赖在项目中pom文件引入m...【详细内容】
2022-05-05  Tags: Mybatis  点击:(52)  评论:(0)  加入收藏
一、前言我们在日常开发中经常使用ORM框架,比如Mybatis、tk.Mybatis、Mybatis-Plus。不过最广泛的还是Mybatis-Plus,我们的一些表,都会有创建时间、更新时间、创建人、更新人。...【详细内容】
2022-04-24  Tags: Mybatis  点击:(172)  评论:(0)  加入收藏
▌简易百科推荐
俗话说,天下大势,合久必分、分久必合。数据库领域同样如此。过去五十余年,数据库经历OLTP和OLAP两种需求漫长的融合-分离-再融合的过程。究其原因,数据库的发展始终与用户场景需...【详细内容】
2022-07-14  大数据在线    Tags:HTAP数据库   点击:(4)  评论:(0)  加入收藏
导读:Apache HBase(Hadoop Database),是一个基于Google BigTable论文设计的高可靠性、高性能、可伸缩的分布式存储系统。全文将围绕以下几个方面展开: HBase是什么 HBase社区的发...【详细内容】
2022-07-08  DataFunTalk    Tags:Apache HBase   点击:(10)  评论:(0)  加入收藏
TimescaleDB 超表TimescaleDB 中使用称为 hypertables 的数据表来存储数据。hypertable(超表)是与数据交互的主要点,因为它提供了可以通过标准 SQL 查询的标准表抽象。 在 Time...【详细内容】
2022-07-07  IT职业教育    Tags:TimescaleDB   点击:(19)  评论:(0)  加入收藏
使用like、between、in进行模糊查询select * from Studentswhrere 姓名 like &#39;张%&#39;通配符:_ 一个字符,% 任意长度的字符串,[] 括号中所指定的范围内的一个字符,[^]不在...【详细内容】
2022-07-07  新米米    Tags:数据库   点击:(15)  评论:(0)  加入收藏
oracle经常需要查数据库表空间大小,使用率,加表空间等,这里总结我经常使用的语句。一、数据表空间相关:查询所有表空间的使用情况:SELECT d.tablespace_name "Name", d.status "S...【详细内容】
2022-07-07  运维Danrtsey    Tags:数据表   点击:(15)  评论:(0)  加入收藏
导读:本文将介绍Apache IoTDB,它是一个基于开放数据格式的数据库。今天的介绍会围绕下面四点展开: Apache IoTDB 简介 时序文件格式 TsFile 基于开放文件的数据库架构 开源社区...【详细内容】
2022-07-06  DataFunTalk    Tags:时序数据库   点击:(22)  评论:(0)  加入收藏
一、问题 在好大夫在线内部,S3系统负责各业务方操作日志的集中存储、查询和管理。目前,该系统日均查询量数千万次,插入量数十万次。随着日志量的不断累积,主表已经达到数十亿,单...【详细内容】
2022-07-05  dbaplus社群    Tags:MongoDB   点击:(16)  评论:(0)  加入收藏
文丨刘雨琦马云曾说,数据是当下“最贵”的资产,若阿里巴巴不搞云计算,可能就会死掉。而数据库作为整个数据行业的基础软件,正在迎来它的春天。国产数据库的接连上市,为信创风口...【详细内容】
2022-07-05  光锥智能    Tags:数据库   点击:(20)  评论:(0)  加入收藏
导读:埋点数据是数据分析、推荐、运营的基础,低延时、稳定、高效的埋点数据流对提高用户体验有着非常重要的作用。而随着流量的增大,埋点的增多,在大流量场景下,埋点数据流的建设...【详细内容】
2022-07-05  DataFunTalk    Tags:数据   点击:(22)  评论:(0)  加入收藏
作为轻量级的本地存储方式,对于构建不依赖服务器的小型项目,用LowDB存储和管理数据是十分理想的选择。在Nodejs, Electron and browser等一些小型项目中经常能看到LowDB的身影...【详细内容】
2022-07-04    效能哥  Tags:数据库   点击:(30)  评论:(0)  加入收藏
站内最新
站内热门
站内头条