封面来源:由博主个人绘制,如需使用请联系博主。

本文参考:MySQL数据库教程天花板,mysql安装到mysql高级,强!硬!

1. 查看存储引擎

为了管理方便,人们把连接管理、查询缓存、语法解析、查询优化这些并不涉及真实数据存储的功能划分为 MySQL server 的功能,把真实存取数据的功能划分为存储引擎的功能。在 MySQL server 完成查询优化后,只需按照生成的执行计划调用底层存储引擎提供的 API,获取数据后返回给客户端即可。

存储引擎就是指表的类型。存储引擎原本叫做表处理器,后续才改名为存储引擎,它的功能就是接收上层传下来的指令,然后对表中的数据进行提取或写入操作。

查看 MySQL 提供了什么存储引擎:

1
SHOW ENGINES;

查看MySQL提供的存储引擎

上述查询结果中:

  • Engine 表示存储引擎的名称;
  • Support 表示 MySQL 数据库管理系统是否支持该存储引擎,YES 表示支持,NO 则是不支持,DEFAULT 表示系统默认支持的存储引擎;
  • Comment 表示对存储引擎的评论,或者说简述;
  • Transactions 表示该存储引擎是否支持事务,YES 表示支持,NO 则是不支持;
  • XA 表示存储引擎所支持的分布式是否符合 XA 规范,代表该存储引擎是否支持分布式事务;
  • Savepoints 表示存储引擎是否支持事务处理的保存点,也就是是否支持部分事务的回滚。

2. 设置系统默认的存储引擎

查看默认的存储引擎:

1
2
3
SHOW VARIABLES LIKE '%storage_engine%';
-- 或者
SELECT @@default_storage_engine;
mysql> SHOW VARIABLES LIKE '%storage_engine%';
+---------------------------------+-----------+
| Variable_name                   | Value     |
+---------------------------------+-----------+
| default_storage_engine          | InnoDB    |
| default_tmp_storage_engine      | InnoDB    |
| disabled_storage_engines        |           |
| internal_tmp_mem_storage_engine | TempTable |
+---------------------------------+-----------+

如果在创建表的语句中没有显式指定表的存储引擎,默认使用 InnoDB 作为表的存储引擎。

如果想修改表的默认存储引擎,可以:

1
SET DEFAULT_STORAGE_ENGINE=MyISAM;

或者修改 my.cnf 文件:

1
default-storage-engine=MyISAM

修改后记得重启服务:

1
systemctl restart mysqld.service

查看某个表的使用的存储引擎可以使用:

1
SHOW CREATE TABLE 表名;

3. 设置表的存储引擎

存储引擎是负责对表中的数据进行提取和写入工作的,可以为不同的表设置不同的存储引擎,也就是说不同的表可以有不同的物理存储结构、不同的提取和写入方式。

3.1 创建表时指定存储引擎

如果创建表的语句都没有指定表的存储引擎,默认使用的存储引擎是 InnoDB。如果想显式指定表所使用的存储引擎,可以:

1
CREATE TABLE 表名(建表语句;) ENGINE = 存储引擎名称;

3.2 修改表的存储引擎

对应已经创建好的表,也可以修改存储引擎,比如:

1
ALTER TABLE 表名 ENGINE = 存储引擎名称;

4. 引擎介绍

4.1 InnoDB

InnoDB 是具备外键支持功能的事务存储引擎。

MySQL 从 3.23.34a 开始就包含 InnoDB 存储引擎,在 5.5 版本之后,默认采用 InnoDB 引擎。

InnoDB 是 MySQL 的默认事务型引擎,它被设计用来处理大量的短期(short-lived)事务,可以确保事务的完整提交(Commit)和回滚(Rollback)。

除增加和查询外,还需要更新、删除操作时,应优先选择 InnoDB 存储引擎。

除非有非常特别的原因需要使用其他存储引擎,否则应优先考虑 InnoDB 引擎。

数据文件结构:(在 【MySQL 高级篇二】MySQL 的数据目录 中已说明)

  • 表名.frm 存储表结构(MySQL8.0 时,合并在 表名.ibd 中)

  • 表名.ibd 存储数据和索引

InnoDB 是为处理巨大数据量的最大性能设计。在以前的版本中,字典数据以元数据文件、非事务表等来存储,现在这些元数据文件被删除了,比如:.frm.par.trn.isl.db.opt 等都在 MySQL 8.0 中不存在了。

对比 MyISAM 的存储引擎,InnoDB 写的处理效率差一些,并且会占用更多的磁盘空间以保存数据和索引。

MyISAM 只缓存索引,不缓存真实数据。InnoDB 不仅缓存索引还要缓存真实数据,对内存要求较高,而且内存大小对性能有决定性的影响。

4.2 MyISAM

MyISAM 是主要的非事务处理存储引擎。

MyISAM 提供了大量的特性,包括全文索引、压缩、空间函数(GIS)等,但 MyISAM 不支持事务、行级锁、外键,有一个重大的缺陷——崩溃后无法安全恢复。

MyISAM 是 MySQL 5.5 版本之前默认的存储引擎。

优势是访问的速度快,对事务完整性没有要求,即以 SELECT、INSERT 为主的应用。

针对数据统计有额外的常数存储,故而 COUNT(*) 的查询效率很高。

数据文件结构:(在 【MySQL 高级篇二】MySQL 的数据目录 中已说明)

  • 表名.frm 存储表结构

  • 表名.MYD 存储数据(MYData)

  • 表名.MYI 存储索引(MYIndex)

MyISAM 主要应用在只读应用或者以读为主的业务。

4.3 Archive

Archive 引擎用于数据存档。

Archive(发音为:[ˈɑːkaɪv]) 是归档的意思,仅仅支持插入和查询两种功能(行被插入后不能再修改)。

在 MySQL 5.5 后支持索引功能。

拥有很好的压缩机制,使用 zlib 压缩库,在记录请求的时候实时进行压缩,经常被用来作为仓库使用。

创建 Archive 表时,存储引擎会创建名称以表名开头的文件,数据文件的扩展名为 .ARZ

根据测试结论来看,同样数据量下,Archive 表比 MyISAM 表要小大约 75%,比支持事务处理的 InnoDB 表小大约83%。

Archive 存储引擎采用了行级锁。ARCHIVE 引擎支持 AUTO_INCREMENT列属性。AUTO_INCREMENT 列可以具有唯一索引或非唯一索引。尝试在任何其他列上创建索引会导致错误。

Archive 表适合日志和数据采集(档案)类应用,适合存储大量的、独立的作为历史记录的数据,拥有很高的插入
速度,但是对查询的支持较差。

特征 支持
B 树索引 不支持
备份 / 时间点恢复(在服务器中实现,而不是在存储引擎中) 支持
集群数据库支持 不支持
聚集索引 不支持
压缩数据 支持
数据缓存 不支持
加密数据(加密功能在服务器中实现) 支持
外键支持 不支持
全文检索索引 不支持
地理空间数据类型支持 支持
地理空间索引支持 不支持
哈希索引 不支持
索引缓存 不支持
锁粒度 行锁
MVCC 不支持
存储限制 没有任何限制
交易 不支持
更新数据字典的统计信息 支持

4.4 Blackhole

Blackhole 引擎丢弃写操作,读操作会返回空内容。

Blackhole 引擎没有实现任何存储机制,它会丢弃所有插入的数据,不做任何保存。

服务器会记录 Blackhole 表的日志,所以可用于复制数据到备库,或者简单地记录到日志。这种应用方式会碰到很多问题,因此并不推荐使用该存储引擎。

4.5 CSV

CSV 引擎在存储数据时,以逗号分隔各个数据项。

CSV 引擎可以将普通的 CSV 文件作为 MySQL 的表来处理,但不支持索引。

CSV 引擎可以作为一种数据交换的机制,非常有用。

CSV 存储的数据可以直接用文本编辑器或 Excel 读取。

对于数据的快速导入、导出有明显优势。

创建 CSV 表时,服务器会创建一个纯文本数据文件,其名称以表名开头并带有 .CSV 扩展名。当数据存储到表中时,存储引擎将其以逗号分隔值格式保存到数据文件中。

CSV 引擎不支持 NULL 列,CSV 表中的所有列必须是 NOT NULL 的。

1
2
3
4
5
-- 创建以 CSV 作为存储引擎的表
CREATE TABLE csv_demo(id INT NOT NULL, name CHAR(10) NOT NULL) ENGINE = CSV;

-- 向表中插入两条数据
INSERT INTO csv_demo VALUES(1, 'record one'), (2, 'record two');

如果查看 csv_demo 表对应的数据文件,会存在 csv_demo.CSMcsv_demo.CSV 两个文件,前者表示数据表元文件,存储数据表的状态、记录行数等内容,后者存储表中的数据信息。

csv_demo.CSV 文件可以直接使用记事本或 Excel 打开并阅读其中的内容。

4.6 Memory

Memory 引擎是置于内存的表 。

Memory 采用的逻辑介质是内存,响应速度很快,但是当 mysqld 守护进程崩溃的时候数据会丢失。要求存储的数据是长度不变的格式,比如 blobtext 类型的数据不可用(长度不固定的)。

主要特征

Memory 同时支持哈希(HASH)索引和 B+ 树索引。默认使用哈希索引,它对于相等性的判断更快,但对范围的比较要慢得多,可以在创建索引时使用 B+ 树索引。

Memory 表至少比 MyISAM 表快一个数量级。

Memory 表的大小是受到限制的。表的大小主要取决于两个参数,分别是 max_rowsmax_heap_table_sizemax_rows 可以在创建表时指定,max_heap_table_size 的大小默认为 16MB,可以按需要扩大。

数据文件与索引文件分开存储。每个基于 Memory 存储引擎的表对应一个磁盘文件,该文件的文件名与表名相同,为 frm 类型,该文件中只存储表的结构,数据文件都存储在内存中。这有利于数据的快速处理,提高整个表的处理效率。

缺点:其数据易丢失,生命周期短。基于这个缺陷,选择 Memory 存储引擎时需要特别小心。

使用 Memory 存储引擎的场景

  • 目标数据比较小,需要非常频繁的进行访问,在内存中存放数据,太大的数据会造成内存溢出。可以通过参数 max_heap_table_size 控制 Memory 表的大小,限制 Memory 表的最大容量。

  • 如果数据是临时的,而且必须立即可用,可以选择 Memory 引擎。

  • 存储在 Memory 表中的数据如果突然间丢失也没有太大的关系。

4.7 Federated

Federated 引擎常用于访问远程表。

Federated 引擎是访问其他 MySQL 服务器的一个代理,尽管该引擎看起来提供了一种跨服务器的灵活,但也经常带来问题,因此默认被禁用。

4.8 Merge

Merge 引擎管理多个 MyISAM 表构成的表集合。

4.9 NDB

NDB 引擎是 MySQL 集群专用存储引擎。

NDB 引擎也叫做 NDB Cluster 存储引擎,主要用于 MySQL Cluster 分布式集群环境,类似于 Oracle 的 RAC 集群。

4.10 引擎对比

特点 MyISAM InnoDB Memory Merge NDB
存储限制 64TB 没有
事务安全性 支持
锁机制 表锁,即使操作一条记录也会锁住整个表,不适合高并发的操作 行锁,操作时只锁某一行,不对其它行有影响,适合高并发的操作 表锁 表锁 行锁
B 数索引 支持 支持 支持 支持 支持
哈希索引 支持 支持
全文索引 支持
集群索引 支持
数据缓存 支持 支持 支持
索引缓存 只缓存索引,不缓存真实数据 不仅缓存索引还要缓存真实数据,对内存要求较高,而且内存大小对性能有决定性的影响 支持 支持 支持
数据可压缩 支持
空间使用 N/A
内存使用 中等
批量插入的速度
支持外键 支持

5. MyISAM 和 InnoDB

很多人对 InnoDB 和 MyISAM 的取舍存在疑问,到底选择哪个比较好呢?

MySQL 5.5 之前的默认存储引擎是 MyISAM,5.5 之后改为了 InnoDB。

InnoDB 存储引擎提供了良好的事务管理、崩溃修复能力和并发控制。因为 InnoDB 存储引擎支持事务,所以对于要求事务完整性的场合需要选择 InnoDB,比如数据操作除了插入和查询以外还包含有很多更新、删除操作,像财务系统等对数据准确性要求较高的系统。缺点是其读写效率稍差,占用的数据空间相对比较大。

如果是小型应用,系统以读操作和插入操作为主,只有很少的更新、删除操作,并且对事务的要求没有那么高,可以选择 MyISAM 存储引擎。MyISAM 存储引擎的优势在于占用空间小,处理速度快。缺点是不支持事务的完整性和并发性。

这两种引擎各有特点,可以在 MySQL 中针对不同的数据表选择不同的存储引擎。

对比项 MyISAM InnoDB
外键 不支持 支持
事务 不支持 支持
行表锁 表锁,即使操作一条记录也会锁住整个表,不适合高并发的操作 行锁,操作时只锁某一行,不对其它行有影响,适合高并发的操作
缓存 只缓存索引,不缓存真实数据 不仅缓存索引还要缓存真实数据,对内存要求较高,内存大小对性能有决定性的影响
自带系统表使用 Y N
关注点 性能:节省资源、消耗少、简单业务 事务:并发写、事务、更大资源
默认安装 Y Y
默认使用 N Y

6. 阿里巴巴、淘宝的选择

Percona 为 MySQL 数据库服务器进行了改进,在功能和性能上较 MySQL 有很显著的提升。

该版本提升了在高负载情况下的 InnoDB 的性能、为 DBA 提供一些非常有用的性能诊断工具,另外有更多的参数和命令来控制服务器行为。

该公司新建了一款存储引擎叫 Xtradb 完全可以替代 InnoDB,并且在性能和并发上做得更好,阿里巴巴大部分 MySQL 数据库使用的都是在 Percona 的原型加以修改的。

7. 额外补充

7.1 InnoDB 表的优势

InnoDB 存储引擎在实际应用中拥有诸多优势,比如操作便利、提高了数据库的性能、维护成本低等。如果由于硬件或软件的原因导致服务器崩溃,那么在重启服务器之后不需要进行额外的操作。InnoDB 崩溃恢复功能自动将之前提交的内容定型,然后撤销没有提交的进程,重启之后继续从崩溃点开始执行。

InnoDB 存储引擎在主内存中维护缓冲池,高频率使用的数据将在内存中直接被处理。这种缓存方式应用于多种信息,加速了处理进程。

在专用服务器上,物理内存中高达 80% 的部分被应用于缓冲池。如果需要将数据插入不同的表中,可以设置外键加强数据的完整性。更新或者删除数据,关联数据将会被自动更新或删除。如果试图将数据插入从表,但在主表中没有对应的数据,插入的数据将被自动移除。如果磁盘或内存中的数据出现崩溃,在使用脏数据之前,校验和机制会发出警告。当每个表的主键都设置合理时,与这些列有关的操作会被自动优化。插入、更新和删除操作通过改变缓冲自动机制进行优化。InnoDB 不仅支持当前读写,也会缓冲改变的数据到数据流磁盘。

InnoDB 的性能优势不只存在于长时运行查询的大型表。在同一列多次被查询时,自适应哈希索引会提高查询的速度。使用 InnoDB 可以压缩表和相关的索引,可以在不影响性能和可用性的情况下创建或删除索引。对于大型文本和 BLOB 数据,使用动态行形式,使存储布局更高效。通过查询 INFORMATION_SCHEMA 库中的表可以监控存储引擎的内部工作。在同一个语句中,InnoDB 表可以与其他存储引擎表混用。即使有些操作系统限制文件大小 2GB,InnoDB 仍然可以处理。当处理大数据量时,InnoDB 兼顾 CPU,以达到最大性能。

7.2 InnoDB 和 ACID 模型

ACID 模型是一系列数据库设计规则,这些规则着重强调可靠性,而可靠性对于商业数据和任务关键型应用非常重要。MySQL 包含类似 InnoDB 存储引擎的组件,与 ACID 模型紧密相连,这样出现意外时,数据不会崩溃,结果不会失真。如果依赖 ACID 模型,可以不使用一致性检查和崩溃恢复机制。如果拥有额外的软件保护,极可靠的硬件或者应用可以容忍一小部分的数据丢失和不一致,可以将 MySQL 设置调整为只依赖部分ACID特性,以达到更高的性能。

原子性

ACID 的原子方面主要涉及 InnoDB 事务,与 MySQL 相关的特性主要包括:

  • 自动提交设置;

  • COMMIT语句;

  • ROLLBACK语句;

  • 操作 INFORMATION_SCHEMA 库中的表数据。

一致性

ACID 模型的一致性主要涉及保护数据不崩溃的内部 InnoDB 处理过程,与 MySQL 相关的特性主要包括:

  • InnoDB 双写缓存;

  • InnoDB 崩溃恢复。

隔离性

隔离是应用于事务的级别,与 MySQL 相关的特性主要包括:

  • 自动提交设置;

  • SET ISOLATION LEVEL语句;

  • InnoDB 锁的低级别信息。

持久性

ACID 模型的持久性主要涉及与硬件配置相互影响的 MySQL 软件特性。由于硬件复杂多样化,持久性方面没有具体的规则可循。与 MySQL 相关的特性有:

  • InnoDB 双写缓存,通过 innodb_doublewrite 配置项配置;

  • 配置项 innodb_flush_log_at_trx_commit

  • 配置项 sync_binlog

  • 配置项 innodb_file_per_table

  • 存储设备的写入缓存;

  • 存储设备的备用电池缓存;

  • 运行 MySQL 的操作系统;

  • 持续的电力供应;

  • 备份策略;

  • 对分布式或托管的应用,最主要的在于硬件设备的地点以及网络情况。

7.3 InnoDB 架构

缓冲池。 缓冲池是主内存中的一部分空间,用来缓存已使用的表和索引数据。缓冲池使得经常被使用的数据能够直接在内存中获得,从而提高速度。

更改缓存。 更改缓存是一个特殊的数据结构,当受影响的索引页不在缓存中时,更改缓存会缓存辅助索引页的更改。索引页被其他读取操作时会加载到缓存池,缓存的更改内容就会被合并。不同于集群索引,辅助索引并非独一无二的。当系统大部分闲置时,清除操作会定期运行,将更新的索引页刷入磁盘。更新缓存合并期间,可能会大大降低查询的性能。在内存中,更新缓存占用一部分 InnoDB 缓冲池。在磁盘中,更新缓存是系统表空间的一部分。更新缓存的数据类型由 innodb_change_buffering 配置项管理。

自适应哈希索引。 自适应哈希索引将负载和足够的内存结合起来,使得 InnoDB 像内存数据库一样运行,不需要降低事务上的性能或可靠性。这个特性通过 innodb_adaptive_hash_index 选项配置,或者通过 --skip-innodb_adaptive_hash_index 命令行在服务启动时关闭。

重做日志缓存。 重做日志缓存存放要放入重做日志的数据。重做日志缓存大小通过 innodb_log_buffer_size 配置项配置。重做日志缓存会定期地将日志文件刷入磁盘。大型的重做日志缓存使得大型事务能够正常运行而不需要写入磁盘。

系统表空间。 系统表空间包括 InnoDB 数据字典、双写缓存、更新缓存和撤销日志,同时也包括表和索引数据。多表共享,系统表空间被视为共享表空间。

双写缓存。 双写缓存位于系统表空间中,用于写入从缓存池刷新的数据页。只有在刷新并写入双写缓存后,InnoDB 才会将数据页写入合适的位置。

撤销日志。 撤销日志是一系列与事务相关的撤销记录的集合,包含如何撤销事务最近的更改。如果其他事务要查询原始数据,可以从撤销日志记录中追溯未更改的数据。撤销日志存在于撤销日志片段中,这些片段包含于回滚片段中。

每个表一个文件的表空间。 每个表一个文件的表空间是指每个单独的表空间创建在自身的数据文件中,而不是系统表空间中。这个功能通过 innodb_file_per_table 配置项开启。每个表空间由一个单独的 .ibd 数据文件代表,该文件默认被创建在数据库目录中。

通用表空间。 使用 CREATE TABLESPACE 语法创建共享的 InnoDB 表空间。通用表空间可以创建在 MySQL 数据目录之外能够管理多个表并支持所有行格式的表。

撤销表空间。 撤销表空间由一个或多个包含撤销日志的文件组成。撤销表空间的数量由 innodb_undo_tablespaces 配置项配置。

临时表空间。 用户创建的临时表空间和基于磁盘的内部临时表都创建于临时表空间。innodb_temp_data_file_path 配置项定义了相关的路径、名称、大小和属性。如果该值为空,默认会在 innodb_data_home_dir 变量指定的目录下创建一个自动扩展的数据文件。

重做日志。 重做日志是基于磁盘的数据结构,在崩溃恢复期间使用,用来纠正数据。正常操作期间,重做日志会将请求数据进行编码,这些请求会改变 InnoDB 表数据。遇到意外崩溃后,未完成的更改会自动在初始化期间重新进行。