您当前的位置:首页 > 电脑百科 > 数据库 > MYSQL

带你读 MySQL 源码:Select *

时间:2023-04-17 14:05:04  来源:微信公众号  作者:一树一溪

1、整体介绍

对于 select * from table 中的星号,我们再熟悉不过了:它告诉 MySQL 返回表所有字段的内容。

MySQL 服务端收到 select 语句之后,会在 server 层把星号展开为表中的所有字段,然后告诉存储引擎返回这些字段的内容。

对于存储引擎来说,它只需要按照 server 层的要求返回指定字段的内容即可,它不知道(也不需要知道)客户端是要求返回表中所有字段,还是部分字段的内容。

select * 中的星号展开为表中所有字段涉及 2 个阶段:

  • 词法 & 语法分析阶段:标记 select 字段列表中包含几个星号。
  • 查询准备阶段:把星号展开为表中所有字段。

2、源码分析

(1)Item_asterisk::itemize()

// sql/item.cc
bool Item_asterisk::itemize(Parse_context *pc, Item **res) {
  ...
  pc->select->with_wild++;
  return false;
}

多表连接时,select 字段列表中可能会包含多个星号,词法 & 语法分析阶段,每碰到 select 字段列表中的一个星号,Item_asterisk::itemize() 就会给 pc->select->with_wild 属性加 1。

pc->select 是 Query_block 对象的指针,定义如下:

 
// sql/parse_tree_node_base.h
struct Parse_context {
  ...
  Query_block *select; ///< Current Query_block object
  ...
};

后面 Query_block::prepare() 访问的 with_wild 属性就是这里的 pc->select->with_wild。

(2)Query_block::prepare()

// sql/sql_resolver.cc
bool Query_block::prepare(THD *thd, mem_root_deque<Item *> *insert_field_list) {
  ...
  if (with_wild && setup_wild(thd)) return true;
  ...
}

prepare() 方法中,关于 select * 的逻辑比较简单,就这一行。

如果 with_wild 大于 0,则调用 setup_wild(thd),处理 select 字段列表中星号展开为表中所有字段的逻辑。

(3)Query_block::setup_wild()

 
// sql/sql_resolver.cc
bool Query_block::setup_wild(THD *thd) {
  ...
  // 从 select 字段列表中的第 1 个字段开始处理
  // 满足 2 个条件中的任意一个就结束循环:
  // 1. with_wild > 0 为 false,
  //    说明已处理完所有星号,结束循环
  // 2. it != fields.end() 为 false,
  //    说明已经处理了所有字段,结束循环
  for (auto it = fields.begin(); with_wild > 0 && it != fields.end(); ++it) {
    Item *item = *it;
    // item->hidden = true
    // 表示 select 字段列表中的这个字段
    // 是查询优化器给【偷偷】加上的
    // 肯定不会是星号,直接跳过
    if (item->hidden) continue;
    Item_field *item_field;
    // Item::FIELD_ITEM 说明当前循环的字段
    // 是个普通字段,不是函数、子查询等
    // 那它就有可能是星号,需要通过 item_field->is_asterisk() 
    // 进一步判断是否是星号
    if (item->type() == Item::FIELD_ITEM &&
        (item_field = down_cast<Item_field *>(item)) &&
        // 如果 item_field 对应的字段是星号
        // item_field->is_asterisk() 会返回 true
        item_field->is_asterisk()) {
      assert(item_field->field == nullptr);
      // 只有 create view as ... 中的 select 语句
      // any_privileges 为 true
      // 其它情况下,它的值为 false
      // insert_fields() 方法中会用到
      const bool any_privileges = item_field->any_privileges;
      // 如果当前 Query_block 对应的是子查询
      // master_query_expression()->item
      // 指向主查询中该子查询所属的 where 条件
      Item_subselect *subsel = master_query_expression()->item;
      ...
      // 当前 Query_block 是 exists 子查询
      // 并且子查询中不包含 having 子句
      // 则可以把子查询中的星号替换为常量
      if (subsel && subsel->substype() == Item_subselect::EXISTS_SUBS &&
          !having_cond()) {
        ...
        *it = new Item_int(NAME_STRING("Not_used"), 1,
                           MY_INT64_NUM_DECIMAL_DIGITS);
      } else {
      // 不满足 if 中的条件
      // 则需要调用 insert_fields()
      // 把星号展开为表中所有字段
        assert(item_field->context == &this->context);
        if (insert_fields(thd, this, item_field->db_name,
                          item_field->table_name, &fields, &it, any_privileges))
          return true;
      }

      // 每处理完 select 字段列表中的一个星号
      // with_wild 就减 1
      // 减到 0 之后,就说明所有星号都已经处理过了
      with_wild--;
    }
  }

  return false;
}

Query_block::setup_wild() 的主体逻辑是迭代 select 字段列表中的每个字段,遇到星号就处理,不是星号就忽略,星号的处理逻辑有 2 种:

第 1 种:满足 if (subsel && ...) 条件,说明 select 语句是 where 条件中的 exists 子查询,并且子查询中不包含 having 子句。这种场景下,select 字段列表中的星号可以被替换为常量,而不需要展开为表的所有字段。

*it = new Item_int(...)​ 创建了一个代表常量的字段对象,字段名为 Not_used​,字段值为 1,用于替换 select 字段列表中的星号。

这种场景的示例 SQL 如下:

select st1, i1 from t1 where exists(
  select * from t2 where t1.i1 = t2.i1
)

子查询只需要判断 t2 表中是否存在满足 t1.i1 = t2.i1 的记录,而不需要读取 t2 表的所有字段,因为读取了所有字段,也用不上,纯属浪费,所以,星号也就可以被替换成常量了。替换之后的 SQL 相当于这样:

select st1, i1 from t1 where exists(
  select 1 from t2 where t1.i1 = t2.i1
)

实际上,子查询执行过程中,server 层会要求存储引擎返回 t2 表的 i1 字段内容,用于判断 t2 表中是否存在满足 t1.i1 = t2.i1​ 的记录。这个逻辑是 server 层自主实现的,和 ​select * 中的星号展开为表中所有字段的逻辑不相关,我们知道有这个逻辑就可以,不展开介绍了。

第 2 种:不满足 if (subsel && ...)​ 条件,就需要调用 insert_fields(),把 select 字段列表中的星号展开为表的所有字段。

(4)insert_fields()

 
// sql/sql_base.cc
bool insert_fields(THD *thd, Query_block *query_block, const char *db_name,
                   const char *table_name, mem_root_deque<Item *> *fields,
                   mem_root_deque<Item *>::iterator *it, bool any_privileges) {
  ...
  bool found = false;

  Table_ref *tables;
  // 按照 select 语句中表的出现顺序
  // 初始化表的迭代器
  Tables_in_user_order_iterator user_it;
  user_it.init(query_block, table_name != nullptr);

  while (true) {
    // 从迭代器中获取下一个需要处理的表
    tables = user_it.get_next();
    // tables == nullptr 说明迭代结束,结束循环
    if (tables == nullptr) break;
    // 表中的字段迭代器
    Field_iterator_table_ref field_iterator;
    TABLE *const table = tables->table;

    assert(tables->is_leaf_for_name_resolution());

    // if 进行 2 个条件判断,任何一个不满足则跳过当前表:
    // 1. table_name 不为 NULL 说明星号前面指定了表名
    //    比较星号前面的表名和当前迭代的表名是否相同
    // 2. db_name 不为 NULL 说明星号前面指定了数据库名
    //    比较星号前面的数据库名和当前迭代的表所属的数据库名是否相同
    if ((table_name &&
         my_strcasecmp(table_alias_charset, table_name, tables->alias)) ||
        (db_name && strcmp(tables->db, db_name))) 
      continue;

    // 以下 2 种情况都满足,需要检查
    // 当前连接用户是否有表中所有字段的 select 权限:
    // 1. !any_privileges 为 true
    //    说明当前 select 语句
    //    不是 create view as ... 中的 select 语句
    // 2. 当前连接用户没有表的 select 权限,
    if (!any_privileges && !(tables->grant.privilege & SELECT_ACL)) {
      field_iterator.set(tables);
      if (check_grant_all_columns(thd, SELECT_ACL, &field_iterator))
        return true;
    }
    ...
    // 初始化字段迭代器
    field_iterator.set(tables);
    // 迭代当前表的每一个字段
    for (; !field_iterator.end_of_fields(); field_iterator.next()) {
      // 根据字段对象创建 Item
      Item *const item = field_iterator.create_item(thd);
      if (!item) return true; /* purecov: inspected */
      assert(item->fixed);
      ...
      // found 的初始值为 false,
      // 表示这是表中第 1 个字段
      // 用该字段的 Item 对象替换星号的 Item 对象
      if (!found) {
        found = true;
        **it = item; /* Replace '*' with the first found item. */
      } else {
      // 表中第 2 个及以后的字段时,
      // Item 对象赋值给 it + 1 指向的位置
      // 也就是加入了 select 字段列表
        /* Add 'item' to the SELECT list, after the current one. */
        *it = fields->insert(*it + 1, item);
      }
      ...
    }
  }
  ...

insert_fields() 的主要逻辑如下:

按照 select 语句中表的出现顺序迭代每个表,每迭代一个表,都会判断该表名和星号前面的表名(如果有)是否相同,以及该表所属的数据库名和星号前面的数据库名是否相同(如果有)。

如果当前迭代的表名、表所属的数据库名和星号前面的表名、数据库名都相同,接下来会进行访问权限检查。

如果当前连接用户有表的 select 权限,说明它对表中的所有列都有查询权限,否则,需要调用 check_grant_all_columns(...),检查它对表中每一个字段是否有 select 权限。

通过权限检查之后,就开始迭代表中的每个字段,每迭代一个字段,都根据该字段构造一个 Item 对象,并把 Item 对象加入 select 字段列表。

3、总结

select * 中的星号展开为表中所有字段涉及词法 & 语法分析阶段、查询准备阶段,总结如下:

  • 迭代 select 字段列表中的每个字段。
  • 碰到星号会判断是否需要展开为表的所有字段。
  • 如果需要展开,则按照 select 语句中表的出现顺序迭代每个表。
  • 迭代每个表时,检查当前连接用户是否有该表或表中所有字段的 select 权限。
  • 通过权限检查之后,把当前迭代的表的字段逐个加入 select 字段列表。

本文转载自微信公众号「一树一溪」



Tags:MySQL   点击:()  评论:()
声明:本站部分内容及图片来自互联网,转载是出于传递更多信息之目的,内容观点仅代表作者本人,不构成投资建议。投资者据此操作,风险自担。如有任何标注错误或版权侵犯请与我们联系,我们将及时更正、删除。
▌相关推荐
MySQL 核心模块揭秘
server 层会创建一个 SAVEPOINT 对象,用于存放 savepoint 信息。binlog 会把 binlog offset 写入 server 层为它分配的一块 8 字节的内存里。 InnoDB 会维护自己的 savepoint...【详细内容】
2024-04-03  Search: MySQL  点击:(6)  评论:(0)  加入收藏
MySQL 核心模块揭秘,你看明白了吗?
为了提升分配 undo 段的效率,事务提交过程中,InnoDB 会缓存一些 undo 段。只要同时满足两个条件,insert undo 段或 update undo 段就能被缓存。1. 关于缓存 undo 段为了提升分...【详细内容】
2024-03-27  Search: MySQL  点击:(11)  评论:(0)  加入收藏
从 MySQL 到 ByteHouse,抖音精准推荐存储架构重构解读
ByteHouse是一款OLAP引擎,具备查询效率高的特点,在硬件需求上相对较低,且具有良好的水平扩展性,如果数据量进一步增长,可以通过增加服务器数量来提升处理能力。本文将从兴趣圈层...【详细内容】
2024-03-22  Search: MySQL  点击:(24)  评论:(0)  加入收藏
我们一起聊聊MySQL 索引的底层逻辑
数据结构以及算法索引的本质其实就是一种数据结构。我们都希望查询数据的速度能尽可能的快,因此数据库系统的设计者会从查询算法的角度进行优化。最基本的查询算法当然是顺序...【详细内容】
2024-01-03  Search: MySQL  点击:(85)  评论:(0)  加入收藏
MySQL 记录、页、索引的数据结构简析
引言本文在介绍 MySQL 内存中记录、页、索引、游标的数据结构的基础上,通过简单分析插入操作过程中行格式的转换介绍了不同数据结构的关系,其中不涉及加锁相关逻辑。原理记录...【详细内容】
2023-12-28  Search: MySQL  点击:(68)  评论:(0)  加入收藏
数据恢复新姿势:使用MySQL Shell进行更高效灵活的数据恢复
上篇文章(转战MySQL Shell!数据库备份新姿势,轻松搞定备份操作!)简单介绍了使用MySQL Shell进行数据库备份,本文基于上文的备份进行数据恢复演示操作。一、恢复单表因为上次备份的...【详细内容】
2023-12-19  Search: MySQL  点击:(114)  评论:(0)  加入收藏
如何解决 MySQL 主从延时问题?
最近面试了十几个同学,关于 MySQL 主从延时问题,笔者一般都会问。 MySQL 主从延时的原因是什么? 具体哪个环节发生延时? 如何解决呢?对于这“三连问”,极少有同学能通关,甚至有同学...【详细内容】
2023-12-13  Search: MySQL  点击:(121)  评论:(0)  加入收藏
MySQL Repeatable-Read 实现的一些误解
背景首先1992 年发表的SQL Standard 对隔离级别进行的定义是根据几个异象(Dirty Read, Non-Repeatable Read, Phantom Read) , 当然这个定义非常模糊, 后面Jim Grey 也有文...【详细内容】
2023-12-12  Search: MySQL  点击:(139)  评论:(0)  加入收藏
为何在中国 MySQL 远比 PostgreSQL 流行?
首先在全球范围内,MySQL 一直是领先于 PostgreSQL (下文简称 PG) 的。下图是 DB-Engines 的趋势图,虽然 PG 是近 10 年增长最快的数据库,但 MySQL 依然保持着优势。再来看一下...【详细内容】
2023-12-11  Search: MySQL  点击:(196)  评论:(0)  加入收藏
浅析 MySQL 代价模型:告别盲目使用 EXPLAIN,提前预知索引优化策略
背景 在 MySQL 中,当我们为表创建了一个或多个索引后,通常需要在索引定义完成后,根据具体的数据情况执行 EXPLAIN 命令,才能观察到数据库实际使用哪个索引、是否使用索引。这使...【详细内容】
2023-12-07  Search: MySQL  点击:(180)  评论:(0)  加入收藏
▌简易百科推荐
MySQL 核心模块揭秘
server 层会创建一个 SAVEPOINT 对象,用于存放 savepoint 信息。binlog 会把 binlog offset 写入 server 层为它分配的一块 8 字节的内存里。 InnoDB 会维护自己的 savepoint...【详细内容】
2024-04-03  爱可生开源社区    Tags:MySQL   点击:(6)  评论:(0)  加入收藏
MySQL 核心模块揭秘,你看明白了吗?
为了提升分配 undo 段的效率,事务提交过程中,InnoDB 会缓存一些 undo 段。只要同时满足两个条件,insert undo 段或 update undo 段就能被缓存。1. 关于缓存 undo 段为了提升分...【详细内容】
2024-03-27  爱可生开源社区  微信公众号  Tags:MySQL   点击:(11)  评论:(0)  加入收藏
MySQL:BUG导致DDL语句无谓的索引重建
对于5.7.23之前的版本在评估类似DDL操作的时候需要谨慎,可能评估为瞬间操作,但是实际上线的时候跑了很久,这个就容易导致超过维护窗口,甚至更大的故障。一、问题模拟使用5.7.22...【详细内容】
2024-03-26  MySQL学习  微信公众号  Tags:MySQL   点击:(10)  评论:(0)  加入收藏
从 MySQL 到 ByteHouse,抖音精准推荐存储架构重构解读
ByteHouse是一款OLAP引擎,具备查询效率高的特点,在硬件需求上相对较低,且具有良好的水平扩展性,如果数据量进一步增长,可以通过增加服务器数量来提升处理能力。本文将从兴趣圈层...【详细内容】
2024-03-22  字节跳动技术团队    Tags:ByteHouse   点击:(24)  评论:(0)  加入收藏
MySQL自增主键一定是连续的吗?
测试环境:MySQL版本:8.0数据库表:T (主键id,唯一索引c,普通字段d)如果你的业务设计依赖于自增主键的连续性,这个设计假设自增主键是连续的。但实际上,这样的假设是错的,因为自增主键不...【详细内容】
2024-03-10    dbaplus社群  Tags:MySQL   点击:(6)  评论:(0)  加入收藏
准线上事故之MySQL优化器索引选错
1 背景最近组里来了许多新的小伙伴,大家在一起聊聊技术,有小兄弟提到了MySQL的优化器的内部策略,想起了之前在公司出现的一个线上问题,今天借着这个机会,在这里分享下过程和结论...【详细内容】
2024-03-07  转转技术  微信公众号  Tags:MySQL   点击:(28)  评论:(0)  加入收藏
MySQL数据恢复,你会吗?
今天分享一下binlog2sql,它是一款比较常用的数据恢复工具,可以通过它从MySQL binlog解析出你要的SQL,并根据不同选项,可以得到原始SQL、回滚SQL、去除主键的INSERT SQL等。主要...【详细内容】
2024-02-22  数据库干货铺  微信公众号  Tags:MySQL   点击:(46)  评论:(0)  加入收藏
如何在MySQL中实现数据的版本管理和回滚操作?
实现数据的版本管理和回滚操作在MySQL中可以通过以下几种方式实现,包括使用事务、备份恢复、日志和版本控制工具等。下面将详细介绍这些方法。1.使用事务:MySQL支持事务操作,可...【详细内容】
2024-02-20  编程技术汇    Tags:MySQL   点击:(53)  评论:(0)  加入收藏
MySQL数据库如何生成分组排序的序号
经常进行数据分析的小伙伴经常会需要生成序号或进行数据分组排序并生成序号。在MySQL8.0中可以使用窗口函数来实现,可以参考历史文章有了这些函数,统计分析事半功倍进行了解。...【详细内容】
2024-01-30  数据库干货铺  微信公众号  Tags:MySQL   点击:(54)  评论:(0)  加入收藏
mysql索引失效的场景
MySQL中索引失效是指数据库查询时无法有效利用索引,这可能导致查询性能显著下降。以下是一些常见的MySQL索引失效的场景:1.使用非前导列进行查询: 假设有一个复合索引 (A, B)。...【详细内容】
2024-01-15  小王爱编程  今日头条  Tags:mysql索引   点击:(85)  评论:(0)  加入收藏
站内最新
站内热门
站内头条