MYSQL性能优化——SQL 性能分析

2023-09-18 02:58:35

SQL 性能分析 ⭐

执行计划

实际项目开发中,由于我们不知道实际查询的时候数据库里发生了什么事情,数据库软件是怎样扫描表、怎样使用索引的,因此,我们能感知到的就只有sql语句运行的时间,在数据规模不大时,查询是瞬间的,因此,在写sql语句的时候就很少考虑到性能的问题。但是随着数据规模增大,如千万、亿的时候,我们运行同样的sql语句时却发现迟迟没有结果,这个时候才知道数据规模已经限制了我们查询的速度。所以,查询优化和索引也就显得很重要了。

  • 问题:
    当我们在查询前能否预先估计查询究竟要涉及多少行、使用哪些索引、运行时间呢?答案是能的,mysql提供了相应的功能和语法来实现该功能。
  • 分析:
    MySql提供了EXPLAIN语法用来进行查询分析,在SQL语句前加一个"EXPLAIN"即可。比如我们要分析如下SQL语句:

explain select * from table where table.id = 1

运行上面的sql语句后你会看到,下面的表头信息:
id | select_type | table | type | possible_keys | key | key_len | ref | rows | Extra

字段解释:

  • id: select查询的序列号,表示查询中执行select子句或者是操作表的顺序(id相同,执行顺序从上到下;id不同,值越大,越先执行)。
  • select_type 显示查询的方式,比如,子查询、聚合查询、union查询
    – SIMPLE:简单的SELECT,不实用UNION或者子查询。
    explain select * from user where uid=1;
    ​​
    – PRIMARY:查询中包含任何复杂的子部分,最外层查询则被标记为primary
    explain select * from (select * from user where uid=1)b
    ​​
    – UNION:若第二个select出现在union之后,则被标记为union;若union包含在from子句的子查询中,外层select将被标记为derived。
    explain select * from user where uid=1 union select * from user where uid=2
    ​​
    – DEPENDENT UNION:UNION语句中的第二个SELECT,依赖于外部子查询。
    explain select * from user x where uid in (select uid from user y union select uid from user z where uid<5)

    – SUBQUERY:在select 或 where列表中包含了子查询
    explain select * from groups where gid =(select gid from user where uid=1)

    – DEPENDENT SUBQUERY:子查询中的第一个SELECT,取决于外面的查询。
    explain select * fromuser where uid in (select uid from user where uid<4)
  • table 显示这一行的数据是关于哪张表的
  • type 这是重要的列,显示连接使用了何种类型。从最好到最差的连接类型为NULL, system,const、eq_reg、ref、range、index和ALL

说明:不同连接类型的解释(按照效率高低的顺序排序)
system:表只有一行:system表。这是const连接类型的特殊情况。
const :表中的一个记录的最大值能够匹配这个查询(索引可以是主键或惟一索引)。因为只有一行,这个值实际就是常数,因为MYSQL先读这个值然后把它当做常数来对待。
eq_ref:在连接中,MYSQL在查询时,从前面的表中,对每一个记录的联合都从表中读取一个记录,它在查询使用了索引为主键或惟一键的全部时使用。
ref:这个连接类型只有在查询使用了不是惟一或主键的键或者是这些类型的部分(比如,利用最左边前缀)时发生。对于之前的表的每一个行联合,全部记录都将从表中读出。这个类型严重依赖于根据索引匹配的记录多少—越少越好。
range:这个连接类型使用索引返回一个范围中的行,比如使用>或<查找东西时发生的情况。
index:这个连接类型对前面的表中的每一个记录联合进行完全扫描(比ALL更好,因为索引一般小于表数据)。
ALL:这个连接类型对于前面的每一个记录联合进行完全扫描,这一般比较糟糕,应该尽量避免。

  • possible_keys 显示可能应用在这张表中的索引。如果为空,没有可能的索引。可以为相关的域从WHERE语句中选择一个合适的语句
  • key 实际使用的索引。如果为NULL,则没有使用索引。很少的情况下,MYSQL会选择优化不足的索引。这种情况下,可以在SELECT语句中使用USE INDEX(indexname)来强制使用一个索引或者用IGNORE INDEX(indexname)来强制MYSQL忽略索引
  • key_len 使用的索引的字节数,该值为索引字段的最大可能长度。在不损失精确性的情况下,长度越短越好
  • ref 显示索引的哪一列被使用了,如果可能的话,是一个常数
  • rows MYSQL认为必须要执行查询的行数,SQL成功执行后会返回这个行数
  • filtered 表示返回结果的行数占需读取行数的百分比,filtered 的值越大越好。
  • Extra 关于MYSQL如何解析查询的额外信息。将在表4.3中讨论,但这里可以看到的坏的例子是Using temporary和Using filesort,意思MYSQL根本不能使用索引,结果是检索会很慢

说明:extra列返回的描述的意义
Distinct :一旦mysql找到了与行相联合匹配的行,就不再搜索了。
Not exists :mysql优化了LEFT JOIN,一旦它找到了匹配LEFT JOIN标准的行,就不再搜索了。
Range checked for each Record(index map:#) :没有找到理想的索引,因此对从前面表中来的每一个行组合,mysql检查使用哪个索引,并用它来从表中返回行。这是使用索引的最慢的连接之一。
Using filesort :看到这个的时候,查询就需要优化了。mysql需要进行额外的步骤来发现如何对返回的行排序。它根据连接类型以及存储排序键值和匹配条件的全部行的行指针来排序全部行。
Using index :列数据是从仅仅使用了索引中的信息而没有读取实际的行动的表返回的,这发生在对表的全部的请求列都是同一个索引的部分的时候。
Using temporary :看到这个的时候,查询需要优化了。这里,mysql需要创建一个临时表来存储结果,这通常发生在对不同的列集进行ORDER BY上,而不是GROUP BY上。
Where used :使用了WHERE从句来限制哪些行将与下一张表匹配或者是返回给用户。如果不想返回表中的全部行,并且连接类型ALL或index,这就会发生,或者是查询有问题。

总结:

因此,弄明白了explain语法返回的每一项结果,我们就能知道查询大致的运行时间了,如果查询里没有用到索引、或者需要扫描的行过多,那么可以感到明显的延迟。因此需要改变查询方式或者新建索引。
mysql中的explain语法可以帮助我们改写查询,优化表的结构和索引的设置,从而最大地提高查询效率。当然,在大规模数据量时,索引的建立和维护的代价也是很高的,往往需要较长的时间和较大的空间,如果在不同的列组合上建立索引,空间的开销会更大。因此索引最好设置在需要经常查询的字段中。

慢查询

什么是慢查询

一条查询,如果执行时间很长就是慢查询。慢查询常见原因是MYSQL执行SQL时检索了大量的行或列。比如

SELECT * FROM actor
INNER JOIN film_actor USING(actor_id)
WHERE fim_actor.name = 'lucy' AND actor.age=24 ;

将会返回2个表的所有列,应该改为如下,只返回actor表的所有列

SELECT  actor.* FROM actor
INNER JOIN film_actor USING(actor_id)
WHERE fim_actor.name = 'lucy' AND actor.age=24 ;
慢查询日志

慢查询日志记录了所有执行时间超过指定参数(long_query_.time,单位:秒,默认10秒)的所有SQL语句的日志。
MySQL 的慢查询日志默认没有开启,需要在 MySQL 的配置文件(/etc/my.cnf)中配置如下信息:

# 开启MySQL慢日志查询开关
slow_query_log=1
# 设置慢日志的时间为2秒,SQL语句执行时间超过2秒,就会视为慢查询,记录慢查询日志
long_query_time=2

profile 详情

执行一系列的业务SQL的操作,然后通过如下指令查看指令的执行耗时:

#查看每一条SQL的耗时基本情况
show profiles;

#查看指定query id的SQL语句各个阶段的耗时情况
show profile for query query_id;

#查看指定query_id的SQL语句CPU的使用情况
show profile cpu for query query_id;
更多推荐

【线性回归、岭回归、Lasso回归分别预测患者糖尿病病情】数据挖掘实验一

Ⅰ、项目任务要求任务描述:将“diabetes”糖尿病患者数据集划分为训练集和测试集,利用训练集分别结合线性回归、岭回归、Lasso回归建立预测模型,再利用测试集来预测糖尿病患者病情并验证预测模型的拟合能力。具体任务要求如下:搜集并加载“diabetes”患者糖尿病指数数据集。定义训练集和测试集(训练集和测试集比例分别

并发编程系列-AQS

AbstractQueuedSynchronizer(AQS)是一个抽象队列同步器,它用于构建依赖于先进先出(FIFO)等待队列的阻塞锁和相关同步器的框架。该类的目的在于提供基本功能的封装,适用于大多数需要使用单个原子int值表示同步状态的同步器。举例来说,ReentrantLock、Semaphore以及Future

《计算机视觉中的多视图几何》笔记(3)

3ProjectiveGeometryandTransformationsof3D这章主要讲的是3D的射影几何,与2D的射影几何差不多。主要区别是:3D射影几何对偶的是点和平面,直线是自对偶的。3D空间中直线有4个自由度,这一现象并不是那么容易直接得出。一种方法是把直线用正交平面两个交点表示。文章目录3Projecti

【Rust 基础篇】Rust 父trait:扩展和组织trait的继承体系

导言Rust是一种以安全性和高效性著称的系统级编程语言,其设计哲学是在不损失性能的前提下,保障代码的内存安全和线程安全。在Rust中,trait是一种用于抽象类型行为的机制。有时候,我们需要在一个trait的基础上扩展更多的行为,或者将多个trait组合起来形成一个更大的trait继承体系。这时,Rust的父trait

vue3 - 前端 Vue 项目提交GitHub 使用Actions自动化部署

GitHubDemo地址在线预览参考文章使用GithubActions发布Vue网站到GithubPage使用GithubActions将Vue项目部署到GithubPages前端使用githubpages部署自己的网站GitHubActions自动化部署前端项目指南前言vue前端项目写好之后,想部署到线上通过在线地址

助力经销商打赢旺季攻坚战,全兴在全国范围内拉开“兴风暴”

执笔|姜姜编辑|萧萧中秋、国庆历来是白酒消费的旺季,也是完成当年任务的关键期,尤其今年“双节”合一,各大食品饮料企业都憋足了劲,白酒促销大戏也轮番上演。作为中国“老八大名酒”之一的全兴酒业谋定而动,以积极奔跑的姿态,不断精耕重点区域地级市场,紧抓双节动销,助力渠道伙伴在白酒旺销季打一场大胜仗。对话金牌酒商,老名酒筑牢大

终于还是熬不住了,转行了,分享一波刚学到的知识吧,字符串的自带函数.py

网传IT行业很难,没错我是真真正正的体验到了(😭)大家好,我原来是在大学自学了java的大部分技术,基本上可以达到企业级开发了,大三一结束我就在浙江杭州开始找工作,找了两个月,中间一共找到过三个关于后端开发的工作,加在一起工作了半个月左右,种种原因都没有继续工作。后来面试了一个Python爬虫做rpa自动化的实习生,

华为云CodeArts Check代码检查服务用户声音反馈集锦(6)

CodeArtsCheck(原CodeCheck),是自主研发的代码检查服务。建立在华为30年自动化源代码静态检查技术积累与企业级应用经验的沉淀之上,为用户提供代码风格、通用质量与网络安全风险等丰富的检查能力,提供全面质量报告、便捷的问题闭环处理帮助企业有效管控代码质量,助力企业成功:感兴趣的小伙伴可以点此>>体验下服

马斯洛需求层次模型分析之云安全浅谈

基于马斯洛需求层次模型,我们可以将互联网云安全建设和运营分析分为五个阶段,每个阶段对应一些关键的安全关键词,以下内容是对这些阶段的浅显分析:第一阶段:基础设施安全(生理需求)在初始阶段,云服务提供商需要确保基础设施的安全性,包括数据中心、网络、系统等方面。这涉及到的关键词有:数据中心安全:确保数据中心物理设施的安全,如

kubernetes(k8s)PVC

概念PVC的全称是:PersistentVolumeClaim(持久化卷声明),PVC是用户存储的一种声明,PVC和Pod比较类似,Pod消耗的是节点,PVC消耗的是PV资源,Pod可以请求CPU和内存,而PVC可以请求特定的存储空间和访问模式。对于真正使用存储的用户不需要关心底层的存储实现细节,只需要直接使用PVC即

【AGC】认证服务开发问题汇总

1.开发者在服务端集成认证服务SDK,想通过验证用户凭据接口来验证从客户端获取的token,在调用过程中响应数据报code203818355的错误解决方案:该错误显示accessToken格式不正确。首先确认Authorization中的accesstoken是通过管理员角色,项目为N/A的ClientID和Clien

热文推荐