MySQL-05.存储引擎-摩杜云开发者社区

C-05.存储引擎

为了方便管理，把连接管理，查询缓存，语法解析，查询优化这些不涉及真实数据存储的功能划分为MySQL Server的功能，把真实存取数据的功能划分为存储引擎的功能。所以在MySQL Server完成了查询优化后，只需按照生成的执行计划调用底层存储引擎提供的API，获取到数据后返回给客户端就好了。

MySQL中提到了存储引擎的概念。简而言之，存储引擎就是表的类型。其实存储引擎之前叫做表处理器，后来改名为存储引擎，它的功能就是接收上层传下俩的指令，然后对表中的数据进行提取或写入操作。

1.查看存储引擎

查看存储引擎指令

show engines;

查询结果，MySQL8.0支持9种存储引擎，分别是FEDERATED，MEMORY，InnoDB，PERFORMANCE_SCHEMA，MyISAM ，MRG_MYISAM，BLACKHOLE，CSV和ARCHIVE。

Engine参数表示存储引擎名称。
Support参数表示MySQL数据库管理系统是否支持该存储引擎：YES表示支持，NO表示不支持。DEFAULT表示系统默认支持的存储引擎
Comment参数，表示对存储引擎的评论。
Transactions参数，表示是否支持事务。
XA参数，表示存储引擎所支持的分布式是否符合XA规范，YES支持，NO不支持。代表该存储引擎是否支持分布式事务。
Savepoints参数，表示存储引擎是否支持事务处理的保存点，YES支持，NO不支持。也就是说存储引擎，是否支持部分回滚事务。

mysql> show engines\G
*************************** 1. row ***************************
      Engine: FEDERATED
     Support: NO
     Comment: Federated MySQL storage engine
Transactions: NULL
          XA: NULL
  Savepoints: NULL
*************************** 2. row ***************************
      Engine: MEMORY
     Support: YES
     Comment: Hash based, stored in memory, useful for temporary tables
Transactions: NO
          XA: NO
  Savepoints: NO
*************************** 3. row ***************************
      Engine: InnoDB
     Support: DEFAULT
     Comment: Supports transactions, row-level locking, and foreign keys
Transactions: YES
          XA: YES
  Savepoints: YES
*************************** 4. row ***************************
      Engine: PERFORMANCE_SCHEMA
     Support: YES
     Comment: Performance Schema
Transactions: NO
          XA: NO
  Savepoints: NO
*************************** 5. row ***************************
      Engine: MyISAM
     Support: YES
     Comment: MyISAM storage engine
Transactions: NO
          XA: NO
  Savepoints: NO
*************************** 6. row ***************************
      Engine: MRG_MYISAM
     Support: YES
     Comment: Collection of identical MyISAM tables
Transactions: NO
          XA: NO
  Savepoints: NO
*************************** 7. row ***************************
      Engine: BLACKHOLE
     Support: YES
     Comment: /dev/null storage engine (anything you write to it disappears)
Transactions: NO
          XA: NO
  Savepoints: NO
*************************** 8. row ***************************
      Engine: CSV
     Support: YES
     Comment: CSV storage engine
Transactions: NO
          XA: NO
  Savepoints: NO
*************************** 9. row ***************************
      Engine: ARCHIVE
     Support: YES
     Comment: Archive storage engine
Transactions: NO
          XA: NO
  Savepoints: NO
9 rows in set (0.00 sec)

2.设置系统默认的存储引擎

查看默认的存储引擎

show variables like '%storage_engine%';
#或者
select @@global.default_storage_engine;

mysql> select @@global.default_storage_engine;
+---------------------------------+
| @@global.default_storage_engine |
+---------------------------------+
| InnoDB                          |
+---------------------------------+
1 row in set (0.00 sec)

修改默认的存储引擎

如果在创建表的语句中，未指定存储引擎的话，就会默认使用Innodb作为表的存储引擎。如果我们想改变表的默认存储引擎的话，可以这样在执行下面的sql语句

SET DEFAULT_STORAGE_ENGINE = MyISAM;

或者修改my.cnf文件

default-storage-engine=MyIASM #之后重启msyqld服务

如果创建表时，未指明当前表的类型(存储引擎)，则使用当前MySQL服务默认的存储引擎。

3.设置表的存储引擎

存储引擎是负责对表中的数据进行提取和写入工作的，我们可以为不同的表设置不同的存储引擎，也就是说不同的表可以有不同的物理存储结构，不同的提取和写入方式。

3.1 创建表时指定存储引擎

CREATE TABLE 表名(
	建表语句
) ENGINE = 存储引擎名称;

#例子
CREATE TABLE demo2(id int) ENGINE = myisam;

3.2 修改表的存储引擎

alter table table_name 
engine = myisam;

#例子
ALTER TABLE demo2 ENGINE = innodb;

4.引擎介绍

4.1 InnoDB引擎：具备外键支持功能的事务存储引擎(常用)

MySQL从3.23.34a开始包含Innodb存储引擎。版本大于等于5.5之后，默认采用InnoDB存储引擎。
InnoDB是MySQL的默认事务型引擎，它被设计用来处理大量的短期(short-lived)事务。可以确保事务的完整提交(Commit)和回滚(Rollback)。
除了增加和查询外，还需要更新，删除操作，则优先选择InnoDB存储引擎。
除非有非常特别的原因需要使用其他的存储引擎，否则应该优先考虑InnoDB引擎。
数据文件结构：(在《第02章_MySQL数据目录》)
- 表名.frm存储表结构(MySQL8.0时，合并在表名.ibd中)
- 表名.ibd存储数据和索引
InnoDB是为处理巨大数据量的最大性能设计。
- 在之前的版本中，字典数据以元数据文件，非事务表等来存储。现在这些元数据文件被删除了。比如：.frm，.par，.trn
  
  .isl，db.opt等在MySQL8.0中不存在了
对比MyISAM的存储引擎，InnoDB写的处理效率会差一些，并且会占用更多的磁盘空间以保存数据和索引。
MyISAM只缓存索引，不缓存真实数据；InnoDB不加缓存索引还要缓存真实数据，对内存要求较高，而且内存大小对性能有决定性的影响。

4.2 MyISAM引擎：主要的非事务处理存储引擎(常用)

MyISAM提供了大量的特性，包括全文索引，压缩，空间函数(GIS)等，但MyIASM不支持事务、行级锁、外键，有一个毫无疑问的缺陷就是崩溃后无法安全恢复。
5.5之前默认的存储引擎。
优势是访问的速度快，对事务完整性没有要求或者以SELECT，INSERT为主的应用。
针对数据统计有额外的常数存储。所以，count(*)的查询效率很高。
数据文件结构：
- 表名.frm存储表结构
- 表名.MYD存储数据(MYDATA)
- 表名.MYI存储索引(MYINDEX)
应用场景：只读应用或者以读为主的业务

4.3 Archive引擎：用于数据存档(了解)

archive是归档的意思，仅仅支持插入和查询两种功能(行数据插入后，不能修改)。
在MySQL5.5以后支持索引功能。
拥有很好的压缩机制，使用zlib压缩库，在记录请求的时候实时的进行压缩，经常被用来仓库使用。
创建Archive类型的表，存储引擎会创建名称以表名开头的文件。数据文件的扩展名为.ARZ。
根据英文的测试结论来看，同样数据量下，Archive表比MyIASM表小约75%，比支持事务处理的InnoDB表小约83%。
Archive存储引擎采用了行级锁。该Archive引擎支持AUTO_INCREMENT列属性。AUTO_INCREMENT列可以具有唯一索引或非唯一索引。尝试在任何其他列上创建索引，会导致错误。
Archive表适合日志和数据采集(档案)类应用；适合存储大量的独立的作为历史记录的数据。拥有很高的插入速度，但是对查询的支持较差。
下图展示了Archive存储引擎的功能

4.4 Blackhole引擎：丢弃写操作，读操作会返回空内容

Blackhole引擎没有实现任何存储机制，它会丢弃所有插入的数据，不做任何保存。
但服务器会记录Blackhole表的日志，所有可以用于复制数据到备库，或者简单地记录到日志。这种应用方式会有很多问题，此存储引擎不推荐使用。

4.5 CSV引擎：存储数据时，以逗号分割各个数据项(了解)

CSV引擎可以将普通的CSV文件作为MySQL的表来处理，但不支持索引。
CSV引擎可以作为一种数据交换的格式，非常有用。
CSV存储的数据直接可以在OS里，用文本编辑器，或者execl读取。
对于数据的快速导入，导出有明显的优势。

创建CSV表时，服务器会创建一个纯文本数据文件，其名称以表名开头并带有.CSV扩展名。当你将数据存储到表中时，存储引擎将其以逗号分隔值格式保存到数据文件中。

使用案例如下

注意，在创建CSV类型的表示，所有字段必须设置为非空约束。

mysql> create table CSV_demo(id int not null,name varchar(20) not null) engine = CSV;
Query OK, 0 rows affected (0.01 sec)

mysql> insert into CSV_demo(id,name) values(1,'wind'),(2,'flower');
Query OK, 2 rows affected (0.00 sec)
Records: 2  Duplicates: 0  Warnings: 0

mysql> select * from CSV_demo;
+----+--------+
| id | name   |
+----+--------+
|  1 | wind   |
|  2 | flower |
+----+--------+
2 rows in set (0.01 sec)

4.6 Memory引擎：置于内存的表(了解)

概述：

Memory采用的逻辑介质是内存，相应速度很快，但是当mysqld守护进程崩溃的时候数据会丢失。另外，要求存储的数据是数据长度不变的格式，比如，Blob和Text类型的数据不可用(长度不固定的)。

主要特征：

Memory同时支持哈希(HASH)索引和B树索引。
- 哈希索引相等条件比较快，但是对于范围的比较慢很多。
- 默认使用哈希(HASH)索引，其速度要比使用B型树(BTREE)索引快。
- 如果希望使用B树索引，可以在创建索引时选择使用。
Memory表至少比MyISAM表要快一个数量级。
MEMORY表的大小是受到限制的。表的大小主要取决于两个参数，分别是max_rows和max_heap_table_size。其中，max_rows可以在创建表时指；max_heap_table_size的大小默认为16MB，可以按需进行扩大。
数据文件与索引文件分开存储
- 每个基于MEMORY存储引擎的表实际对应一个磁盘文件，该文件的文件名与表名相同，类型为.frm类型，该文件中只存储表的结构，而其数据文件都是存储在内存中的。
- 这样有利于数据的快速处理，提高整个表的处理效率。
缺点：其数据易丢失，生命周期短。由于该缺陷，选择MEMORY存储引擎时需要特别小心。

使用Memory存储引擎的场景

1.目标数据较小，而且非常频繁的进行访问，在内存中存放数据，如果太大的数据会造成内存溢出。可以通过参数max_heap_table_size控制Memory表的大小，限制Memory表的最大值。

2.如果数据是临时的，而且必须立即可用得到，那么就可以放在内存中。

3.存储在Memory表中的数据如果突然间丢失的话也没有太大的关系。

4.7 Federated引擎：访问远程表

Federated引擎是访问其他MySQL服务器的一个代理，尽管该引擎看起来提供了一种很好的跨服务器的灵活性，但也经常带来问题，因此默认是禁用的。

4.8 Merge引擎：管理多个MyISAM表构成的表集合

4.9 NDB引擎：MySQL集群专用存储引擎

也叫做 NDB Cluster 存储引擎，主要用于MySQL Cluster分布式集群环境，类似于Oracle的 RAC 集群。

4.10 引擎对比

MySQL中同一个数据库，不同的表可以选择不同的存储引擎。如下表对常用存储引擎做出了对比。

~代表不支持

特点	MyISAM	InnoDB	Memory	MERGE	NDB
存储限制	有	64TB	有	没有	有
事务安全性	~	支持	~	~	~
锁机制	表锁，即使操作一条记录也会锁住整个表，不适合高并发的操作	行锁，操作时只锁某一行，不对其它行有影响，适合高并发的操作。注意在使用update语句，而where条件中，没有使用索引的话，行锁，会升级为表锁。	表锁	表锁	行锁
B树索引	支持	支持	支持	支持	支持
哈希索引	~	~	支持	~	支持
全文索引	支持	~	~	~	~
集群索引	~	支持	~	~	~
数据索引	~	支持	支持	~	支持
索引缓存	只缓存索引，不缓存真实数据	不仅缓存索引还要缓存真实数据，对内存要求较高，而且内存大小对性能有决定性的影响	支持	支持	支持
数据可压缩	支持	~	~	~	~
磁盘空间占用	低	高	N/A	低	低
内存占用	低	高	中等	低	高
批量插入速度	高	低	高	高	高
支持外键	~	支持	~	~	~

其实这些东西没必要立即就给记住，列出来的目的就是表示不同的存储引擎支持不同的功能。

其实我们最常用的就是InnoDB和MyISAM，有时会提一下Memory。其中InnoDB是MySQL默认的存储引擎。

5.MyISAM和InnoDB对比

对比项	MyISAM	InnoDB
外键	不支持	支持
事务	不支持	支持
行表锁	表锁，即使操作一条记录也会锁住整个表，不适合高并发操作	行锁，如果只操作某一行，只锁某一行，不对其他行有影响，适合高并发操作
缓存	只缓存索引，不缓存真实数据	不仅缓存索引，还缓存真实数据，堆内存要求较高，而且内存大小对性能有决定性的影响
自带系统表使用	Y	N(在MySQL8.0后，也有系统表使用InnoDB引擎)
关注点	节省资源，消耗少，简单业务	事务，高并发，更大数据量
默认安装	Y	Y
默认使用	N	Y

知识引入

1.InnoDB表的优势

InnoDB存储引擎在实际应用中拥有诸多优势，比如操作便利、提高了数据库的性能、维护成本低等。如果由于硬件或软件的原因导致服

务器崩溃，那么在重启服务器之后不需要进行额外的操作。InnoDB崩溃恢复功能自动将之前提交的内容定型，然后撤销没有提交的进

程，重启之后继续从崩溃点开始执行。

InnoDB存储引擎在主内存中维护缓冲池，高频率使用的数据将在内存中直接被处理。这种缓存方式应用于多种信息，加速了处理进程。

在专用服务器上，物理内存中高达80%的部分被应用于缓冲池。如果需要将数据插入不同的表中，可以设置外键加强数据的完整性。更新

或者删除数据，关联数据将会被自动更新或删除。如果试图将数据插入从表，但在主表中没有对应的数据，插入的数据将被自动移除。如

果磁盘或内存中的数据出现崩溃，在使用脏数据之前，校验和机制会发出警告。当每个表的主键都设置合理时，与这些列有关的操作会被

自动优化。插入、更新和删除操作通过做改变缓冲自动机制进行优化。InnoDB不仅支持当前读写，也会缓冲改变的数据到数据流磁盘。

InnoDB的性能优势不只存在于长时运行查询的大型表。在同一列多次被查询时，自适应哈希索引会提高查询的速度。使用InnoDB可以压

缩表和相关的索引，可以在不影响性能和可用性的情况下创建或删除索引。对于大型文本和BLOB数据，使用动态行形式，这种存储布局更高

效。通过查询INFORMATION_SCHEMA库中的表可以监控存储引擎的内部工作。在同一个语句中，InnoDB表可以与其他存储引擎表混

用。即使有些操作系统限制文件大小为2GB，InnoDB仍然可以处理。当处理大数据量时，InnoDB兼顾CPU，以达到最大性能。

2.InnoDB和ACID模型

ACID模型是一系列数据库设计规则，这些规则着重强调可靠性，而可靠性对于商业数据和任务关键型应用非常重要。MySQL包含类似

InnoDB存储引擎的组件，与ACID模型紧密相连，这样出现意外时，数据不会崩溃，结果不会失真。如果依赖ACID模型，可以不使用一致

性检查和崩溃恢复机制。如果拥有额外的软件保护，极可靠的硬件或者应用可以容忍一小部分的数据丢失和不一致，可以将MySQL设置

调整为只依赖部分ACID特性，以达到更高的性能。下面讲解InnoDB存储引擎与ACID模型相同作用的四个方面。

1. 原子方面 ACID的原子方面主要涉及InnoDB事务，与MySQL相关的特性主要包括：

自动提交设置。
COMMIT语句。
ROLLBACK语句。
操作INFORMATION_SCHEMA库中的表数据。

2. 一致性方面 ACID模型的一致性主要涉及保护数据不崩溃的内部InnoDB处理过程，与MySQL相关的特性

主要包括：

InnoDB双写缓存。
InnoDB崩溃恢复。

3. 隔离方面 隔离是应用于事务的级别，与MySQL相关的特性主要包括：

自动提交设置。

SET ISOLATION LEVEL语句。
InnoDB锁的低级别信息。

4. 持久性方面 ACID模型的耐久性主要涉及与硬件配置相互影响的MySQL软件特性。由于硬件复杂多样化，耐久性方面没有具体的规则可循。与MySQL相关的特性有：

InnoDB双写缓存，通过innodb_doublewrite配置项配置。
配置项innodb_flush_log_at_trx_commit。
配置项sync_binlog。
配置项innodb_file_per_table。
存储设备的写入缓存。
存储设备的备用电池缓存。
运行MySQL的操作系统。
持续的电力供应。
备份策略。
对分布式或托管的应用，最主要的在于硬件设备的地点以及网络情况。

3.InnoDB架构(了解)

1. 缓冲池 缓冲池是主内存中的一部分空间，用来缓存已使用的表和索引数据。缓冲池使得经常被使用的数据能够直接在内存中获得，从而提高速度。

2. 更改缓存 更改缓存是一个特殊的数据结构，当受影响的索引页不在缓存中时，更改缓存会缓存辅助索引页的更改。索引页被其他读取操作时会加载到缓存池，缓存的更改内容就会被合并。不同于集群索引，辅助索引并非独一无二的。当系统大部分闲置时，清除操作会定期运行，将更新的索引页刷入磁盘。更新缓存合并期间，可能会大大降低查询的性能。在内存中，更新缓存占用一部分InnoDB缓冲池。在磁盘中，更新缓存是系统表空间的一部分。更新缓存的数据类型由innodb_change_buffering配置项管理。

3. 自适应哈希索引 自适应哈希索引将负载和足够的内存结合起来，使得InnoDB像内存数据库一样运行，不需要降低事务上的性能或可靠性。这个特性通过innodb_adaptive_hash_index选项配置，或者通过--skip-innodb_adaptive_hash_index命令行在服务启动时关闭。

4. 重做日志缓存 重做日志缓存存放要放入重做日志的数据。重做日志缓存大小通过innodb_log_buffer_size配置项配置。重做日志缓存会定期地将日志文件刷入磁盘。大型的重做日志缓存使得大型事务能够正常运行而不需要写入磁盘。

5. 系统表空间 系统表空间包括InnoDB数据字典、双写缓存、更新缓存和撤销日志，同时也包括表和索引数据。多表共享，系统表空间被视为共享表空间。

6. 双写缓存 双写缓存位于系统表空间中，用于写入从缓存池刷新的数据页。只有在刷新并写入双写缓存后，InnoDB才会将数据页写入合适的位置。

7. 撤销日志 撤销日志是一系列与事务相关的撤销记录的集合，包含如何撤销事务最近的更改。如果其他事务要查询原始数据，可以从撤销日志记录中追溯未更改的数据。撤销日志存在于撤销日志片段中，这些片段包含于回滚片段中。

8. 每个表一个文件的表空间 每个表一个文件的表空间是指每个单独的表空间创建在自身的数据文件中，而不是系统表空间中。这个功能通过innodb_file_per_table配置项开启。每个表空间由一个单独的.ibd数据文件代表，该文件默认被创建在数据库目录中。

9. 通用表空间 使用CREATE TABLESPACE语法创建共享的InnoDB表空间。通用表空间可以创建在MySQL数据目录之外能够管理多个表并支持所有行格式的表。

10. 撤销表空间 撤销表空间由一个或多个包含撤销日志的文件组成。撤销表空间的数量由innodb_undo_tablespaces配置项配置。

11. 临时表空间 用户创建的临时表空间和基于磁盘的内部临时表都创建于临时表空间。innodb_temp_data_file_path配置项定义了相关的路径、名称、大小和属性。如果该值为空，默认会在innodb_data_home_dir变量指定的目录下创建一个自动扩展的数据文件。

12. 重做日志 重做日志是基于磁盘的数据结构，在崩溃恢复期间使用，用来纠正数据。正常操作期间，重做日志会将请求数据进行编码，这些请求会改变InnoDB表数据。遇到意外崩溃后，未完成的更改会自动在初始化期间重新进行。

只是为了记录自己的学习历程，且本人水平有限，不对之处，请指正。