ACMUG的故事(7)

#CMUG##ACMUG# No.7:缘起。大概是2012年的时候,@拉风_zhang  张海 同学跟Oracle官方组织IOUC联系注册了CMUG。这样CMUG就正式固定了下来,它跟FFDC的活动几乎是同样的性质和内容,组织和参加活动的也大部分是一拨人,鉴于大家都是利用业余的时间组织活动,精力有限,于是二者非常自然的走在了一起,形成了今天的统一的MySQL社区组织,目前主要活跃在北京等少数几个城市。在2013年的时候,金官丁同学 @mysqlops 着手组织以上海为核心的中华数据库协会,在这个过程中CMUG的核心人员也积极参与其中,为中华数据库协会的顺利组建也贡献了自己的力量。这样,在全国范围内,MySQL的线下社区活动正在慢慢蔓延,相信不久的将来会有燎原之势。

 

 

ACMUG的故事(6)

#CMUG##ACMUG# No.6:缘起。我们有文献记载的活动资料是从2011.10开始,但实际上,在此若干年之前,就有小规模的活动了,在国内几个早期知名DBA的带领下,由@吴炳锡 同学召集,非定期的线下版聚,讨论最新的技术进展和自己的心得。在这种聚会的过程中,很多人收益匪浅,这也促使更多的人加入。

ACMUG的故事(4)

#ACMUG##CMUG#No.4:a,active,积极地,活跃的。CMUG是一个活跃的技术交流小组,它由几个热心的核心组织者组成,每年都会举办几次高质量的技术交流活动,大概是一个季度或者两个季度一次,这些活动的分享者也是来自目前一线互联网公司的一线技术人员,分享干货的成色完全不逊于全国性的各个大会,并且由于每次分享仅有几十人参与,大家可以充分的,欢乐的进行深度的讨论,每次讨论的热烈也让人心潮澎湃,受益匪浅。这是每次分享的不完全list:http://acmug.com/activity-list/

 

 

ACMUG的故事(3)

#ACMUG##CMUG#No.3:a,all;所有的,CMUG是所有的中国爱好MySQL和周边技术的技术极客追求者的活动家园。这个用户组不需要注册入会,只要你喜欢分享,只要你喜欢讨论技术,你就是我们的一员。欢迎所有追求技术进步的同道中人加入,让我们一起携手成长。

 

 

ACMUG的故事(2)

#ACMUG##CMUG#No.2:a, another;从最早的MySQL专家组QQ群,到后来的FFDC活动,到CMUG,再到现在的统一的CMUG,或者你可以叫它another CMUG,这是一个薪火传承的活动,一群无私的技术爱好者把技术分享过程当做享受,只有兴趣,才能有无私的奉献,只有热爱,才有长达数年的坚持!@MySQL中国用户组

ACMUG的故事(1)

#ACMUG#No.1:a, art.一(个);acmug,一个普通的中国MySQL用户组.是中国MySQL爱好者自发形成的一个组织,是IOUC官方注册的社区组织。CMUG的是把全国范围内MySQL爱好者的知识和力量集合起来,共同创建一个开放、友好、免费的分享平台,让MySQL爱好者们在互相交流中共同进步、收获快乐。

8.4.4 How MySQL Uses Internal Temporary Tables注释

8.4.4 How MySQL Uses Internal Temporary Tables

这是MySQL手册中的一节,尝试补充了一些解释。用的版本是MySQL5.6.15社区版

In some cases, the server creates internal temporary tables while processing queries. Such a table can be held in memory and processed by the MEMORY storage engine, or stored on disk and processed by the MyISAM storage engine. The server may create a temporary table initially as an in-memory table, then convert it to an on-disk table if it becomes too large. Users have no direct control over when the server creates an internal temporary table or which storage engine the server uses to manage it.

Temporary tables can be created under conditions such as these:

  • UNION queries use temporary tables.
    union all,顺序把各select的所有记录写入一个临时表,都写完了,再查出来发送给客户端;
    union,与上面类似,不同的是,临时表是有唯一键的,重复数据只记录一条;
  • Some views require temporary tables, such those evaluated using the TEMPTABLE algorithm, or that use UNION or aggregation.
  • If there is an ORDER BY clause and a different GROUP BY clause, or if the ORDER BY or GROUP BY contains columns from tables other than the first table in the join queue, a temporary table is created.
    即使只有一个group by,如果用不上索引,也会需要临时表;此时临时表有一个唯一键,即group by的列;还保存有select的列,包括聚合函数的列,比如sum的值;
    如果order by时出现filesort,此时不一定有临时表;filesort有单独的排序区sort buffer,和临时文件保存排序数据,数据量大时,会保存在硬盘;filesort和临时表不是一个概念,没有必然联系;
    mysql> show create table three\G
    *************************** 1. row ***************************
    Table: three
    Create Table: CREATE TABLE `three` (
    `id3` int(11) DEFAULT NULL,
    `name3` varchar(10) DEFAULT NULL,
    `age` tinyint(4) DEFAULT NULL,
    KEY `i_id3` (`id3`)
    ) ENGINE=InnoDB DEFAULT CHARSET=latin1
    1 row in set (0.00 sec)mysql> explain select avg(age),name3 from three group by name3;
    +—-+————-+——-+——+—————+——+———+——+——+———————————+
    | id | select_type | table | type | possible_keys | key  | key_len | ref  | rows | Extra                           |
    +—-+————-+——-+——+—————+——+———+——+——+———————————+
    |  1 | SIMPLE      | three | ALL  | NULL          | NULL | NULL    | NULL |    7 | Using temporary; Using filesort |
    +—-+————-+——-+——+—————+——+———+——+——+———————————+
    1 row in set (0.08 sec)

    mysql> explain select avg(age),name3 from three group by name3 order by null;
    +—-+————-+——-+——+—————+——+———+——+——+—————–+
    | id | select_type | table | type | possible_keys | key  | key_len | ref  | rows | Extra           |
    +—-+————-+——-+——+—————+——+———+——+——+—————–+
    |  1 | SIMPLE      | three | ALL  | NULL          | NULL | NULL    | NULL |    7 | Using temporary |
    +—-+————-+——-+——+—————+——+———+——+——+—————–+
    1 row in set (0.00 sec)

    mysql> explain select avg(age),name3 from three group by name3 order by age;
    +—-+————-+——-+——+—————+——+———+——+——+———————————+
    | id | select_type | table | type | possible_keys | key  | key_len | ref  | rows | Extra                           |
    +—-+————-+——-+——+—————+——+———+——+——+———————————+
    |  1 | SIMPLE      | three | ALL  | NULL          | NULL | NULL    | NULL |    7 | Using temporary; Using filesort |
    +—-+————-+——-+——+—————+——+———+——+——+———————————+
    1 row in set (0.00 sec)

    mysql> explain select avg(age) avgage,name3 from three group by name3 order by avgage;
    +—-+————-+——-+——+—————+——+———+——+——+———————————+
    | id | select_type | table | type | possible_keys | key  | key_len | ref  | rows | Extra                           |
    +—-+————-+——-+——+—————+——+———+——+——+———————————+
    |  1 | SIMPLE      | three | ALL  | NULL          | NULL | NULL    | NULL |    7 | Using temporary; Using filesort |
    +—-+————-+——-+——+—————+——+———+——+——+———————————+
    1 row in set (0.02 sec)
    只要group by用不上索引,就需要临时表来解决去重和计算聚合函数;
    加上索引,执行计划就有所变化了:
    mysql> alter table three add key i_name3(name3);
    Query OK, 0 rows affected (0.51 sec)
    Records: 0  Duplicates: 0  Warnings: 0

    mysql> show create table three\G
    *************************** 1. row ***************************
    Table: three
    Create Table: CREATE TABLE `three` (
    `id3` int(11) DEFAULT NULL,
    `name3` varchar(10) DEFAULT NULL,
    `age` tinyint(4) DEFAULT NULL,
    KEY `i_id3` (`id3`),
    KEY `i_name3` (`name3`)
    ) ENGINE=InnoDB DEFAULT CHARSET=latin1
    1 row in set (0.00 sec)

    mysql> explain select avg(age),name3 from three group by name3;
    +—-+————-+——-+——-+—————+———+———+——+——+——-+
    | id | select_type | table | type  | possible_keys | key     | key_len | ref  | rows | Extra |
    +—-+————-+——-+——-+—————+———+———+——+——+——-+
    |  1 | SIMPLE      | three | index | i_name3       | i_name3 | 13      | NULL |    7 | NULL  |
    +—-+————-+——-+——-+—————+———+———+——+——+——-+
    1 row in set (0.00 sec)

    上面这个SQL用到了索引,利用innodb b+tree的特性,按顺序读取name3的值,并计算其聚合函数;当读取的name3的值发生变化时,就表示变化发生前的那个name3的值对应的聚合函数值计算完了,发送给网络接口;由此就不需要用临时表来去掉name3重复值,以及计算聚合函数值了;
    下面这个SQL也用到了索引,但是按照聚合函数值排序,就比上面多了临时表和filesort;
    mysql> explain select avg(age) avgage,name3 from three group by name3 order by avgage;
    +—-+————-+——-+——-+—————+———+———+——+——+———————————+
    | id | select_type | table | type  | possible_keys | key     | key_len | ref  | rows | Extra                           |
    +—-+————-+——-+——-+—————+———+———+——+——+———————————+
    |  1 | SIMPLE      | three | index | i_name3       | i_name3 | 13      | NULL |    7 | Using temporary; Using filesort |
    +—-+————-+——-+——-+—————+———+———+——+——+———————————+
    1 row in set (0.04 sec)
    上面这个SQL,group by使用了索引。利用索引的顺序读取name3,并计算avg(age),算好一个avgage值之后,把该avgage和name3写入临时表;
    都写完之后,从临时表读取数据,按avgage排序,然后发送结果;
    而group by与order by的列不属于同一个表时,只是多了个join过程,其他过程应该是同理的;

  • DISTINCT combined with ORDER BY may require a temporary table.
    distinct与group by同理
    mysql> show create table three\G
    *************************** 1. row ***************************
    Table: three
    Create Table: CREATE TABLE `three` (
    `id3` int(11) DEFAULT NULL,
    `name3` varchar(10) DEFAULT NULL,
    `age` tinyint(4) DEFAULT NULL,
    KEY `i_id3` (`id3`),
    KEY `i_name3` (`name3`)
    ) ENGINE=InnoDB DEFAULT CHARSET=latin1
    1 row in set (0.00 sec)mysql> explain select distinct(age) from three;
    +—-+————-+——-+——+—————+——+———+——+——+—————–+
    | id | select_type | table | type | possible_keys | key  | key_len | ref  | rows | Extra           |
    +—-+————-+——-+——+—————+——+———+——+——+—————–+
    |  1 | SIMPLE      | three | ALL  | NULL          | NULL | NULL    | NULL |    7 | Using temporary |
    +—-+————-+——-+——+—————+——+———+——+——+—————–+
    1 row in set (0.01 sec)

    mysql> explain select distinct(name3) from three;
    +—-+————-+——-+——-+—————+———+———+——+——+————-+
    | id | select_type | table | type  | possible_keys | key     | key_len | ref  | rows | Extra       |
    +—-+————-+——-+——-+—————+———+———+——+——+————-+
    |  1 | SIMPLE      | three | index | i_name3       | i_name3 | 13      | NULL |    7 | Using index |
    +—-+————-+——-+——-+—————+———+———+——+——+————-+
    1 row in set (0.04 sec)

     

  • If you use the SQL_SMALL_RESULT option, MySQL uses an in-memory temporary table, unless the query also contains elements (described later) that require on-disk storage.
  • Derived tables (subqueries in the FROM clause).
    mysql> show create table one\G
    *************************** 1. row ***************************
    Table: one
    Create Table: CREATE TABLE `one` (
    `id` int(11) DEFAULT NULL,
    `name` varchar(10) DEFAULT NULL,
    KEY `i_name` (`name`)
    ) ENGINE=InnoDB DEFAULT CHARSET=latin1
    1 row in set (0.04 sec)mysql> explain select * from (select * from one) a;
    +—-+————-+————+——+—————+——+———+——+——+——-+
    | id | select_type | table      | type | possible_keys | key  | key_len | ref  | rows | Extra |
    +—-+————-+————+——+—————+——+———+——+——+——-+
    |  1 | PRIMARY     | <derived2> | ALL  | NULL          | NULL | NULL    | NULL |    2 | NULL  |
    |  2 | DERIVED     | one        | ALL  | NULL          | NULL | NULL    | NULL |    2 | NULL  |
    +—-+————-+————+——+—————+——+———+——+——+——-+
    2 rows in set (0.00 sec)
    在执行计划里叫DERIVED,实现上就是一个临时表;
    上面SQL把one的所有记录写入临时表,然后再查出来;
  • Tables created for subquery or semi-join materialization.
    想用in看一下子查询,结果被优化成join了;
    mysql> explain select * from one where id in(select id2 from two);
    +—-+————-+——-+——+—————+——-+———+—————+——+——————————+
    | id | select_type | table | type | possible_keys | key   | key_len | ref           | rows | Extra                        |
    +—-+————-+——-+——+—————+——-+———+—————+——+——————————+
    |  1 | SIMPLE      | one   | ALL  | NULL          | NULL  | NULL    | NULL          |    2 | Using where                  |
    |  1 | SIMPLE      | two   | ref  | i_id2         | i_id2 | 5       | testdb.one.id |    1 | Using index; FirstMatch(one) |
    +—-+————-+——-+——+—————+——-+———+—————+——+——————————+
    2 rows in set (0.00 sec)
    5.6加了个firstmatch的优化,而且把subquery变成join了,效率提高不少;mysql> explain select * from one where exists (select id2 from two where one.id=two.id2);
    +—-+——————–+——-+——+—————+——-+———+—————+——+————-+
    | id | select_type        | table | type | possible_keys | key   | key_len | ref           | rows | Extra       |
    +—-+——————–+——-+——+—————+——-+———+—————+——+————-+
    |  1 | PRIMARY            | one   | ALL  | NULL          | NULL  | NULL    | NULL          |    2 | Using where |
    |  2 | DEPENDENT SUBQUERY | two   | ref  | i_id2         | i_id2 | 5       | testdb.one.id |    1 | Using index |
    +—-+——————–+——-+——+—————+——-+———+—————+——+————-+
    2 rows in set (0.04 sec)
    mysql> explain select * from one where exists (select id2 from two where one.id=two.id2) order by name;
    +—-+——————–+——-+——+—————+——-+———+—————+——+—————————–+
    | id | select_type        | table | type | possible_keys | key   | key_len | ref           | rows | Extra                       |
    +—-+——————–+——-+——+—————+——-+———+—————+——+—————————–+
    |  1 | PRIMARY            | one   | ALL  | NULL          | NULL  | NULL    | NULL          |    2 | Using where; Using filesort |
    |  2 | DEPENDENT SUBQUERY | two   | ref  | i_id2         | i_id2 | 5       | testdb.one.id |    1 | Using index                 |
    +—-+——————–+——-+——+—————+——-+———+—————+——+—————————–+
    2 rows in set (0.00 sec)
    上面这两个SQL都没有用到临时表;
    子查询用到临时表的情况需要再观察;
    semijoin的目前还不懂,后面再说了;

To determine whether a query requires a temporary table, use EXPLAIN and check the Extra column to see whether it says Using temporary (see Section 8.8.1, “Optimizing Queries with EXPLAIN”). EXPLAIN will not necessarily say Using temporary for derived or materialized temporary tables.

If an internal temporary table is created initially as an in-memory table but becomes too large, MySQL automatically converts it to an on-disk table. The maximum size for in-memory temporary tables is the minimum of the tmp_table_size and max_heap_table_size values. This differs from MEMORY tables explicitly created withCREATE TABLE: For such tables, only the max_heap_table_size system variable determines how large the table is permitted to grow and there is no conversion to on-disk format.

When the server creates an internal temporary table (either in memory or on disk), it increments theCreated_tmp_tables status variable. If the server creates the table on disk (either initially or by converting an in-memory table) it increments the Created_tmp_disk_tables status variable.

Some conditions prevent the use of an in-memory temporary table, in which case the server uses an on-disk table instead:

  • Presence of a BLOB or TEXT column in the table
  • Presence of any string column in a GROUP BY or DISTINCT clause larger than 512 bytes for binary strings or 512 characters for nonbinary strings. (Before MySQL 5.6.15, the limit is 512 bytes regardless of string type.)
  • Presence of any string column with a maximum length larger than 512 (bytes for binary strings, characters for nonbinary strings) in the SELECT list, if UNION or UNION ALL is used

 

简单地说,临时表是用来以表的形式保存中间结果的。数据少时是heap表,在内存中,数据多时是MyISAM表,在硬盘上。

注意,不是所有的中间结果都用临时表。filesort保存中间结果用的临时文件,不是临时表。