公司来了一位架构师,看我用count(*)统计数据总数。
对我说,你怎么用count(*)统计数据,count(*)太慢了,要是把数据库搞垮了怎么搞,用count(1)。吓得我赶紧换成了count(1)。
count(1) 性能就比count(*)高吗?
记得有次面试时,面试官也问我类似这样的问题,mysql统计数据总数count(*)和count(1)哪个效率高?
今天来聊一聊count(1)和count(*)效率问题。
不同存储引擎的性能不一样
我们不知道,Mysql常见的存储引擎有两种,MyISAM和Innodb,
在这两种存储引擎下,MySQL对于使用count(*)返回结果的流程是不一样的。
- 在MyISAM引擎中,每张表的总行数是存储在磁盘上,所以当执行count(*)时,是直接从磁盘拿到这个值返回,能够快速返回。但要是在后面加了where查询条件时,统计总数也不是像想象中那么快了。
- 在Innodb引擎中,执行count(*),需要将数据一行一行地读,再统计总数。
看到这里,不知道你有没有这样的疑问:
- 为什么Innodb引擎不像MyISAM引擎一样把表总记录存储起来呢?
这个问题问得好,回答这个问题前,我们先了解下MVCC,
什么是MVCC
全称:Multi-Version Concurrency Control 即多版本并发控制,MVCC 是一种并发控制的方法,一般在数据库管理系统中,实现对数据库的并发访问;在编程语言中实现事务内存。
MVCC 在 MySQL InnoDB 中的实现主要是为了提高数据库并发性能,用更好的方式去处理读-写冲突,做到即使有读写冲突时,也能做到不加锁,非阻塞并发读。
就是因为要实现多版本并发控制,所以才导致Innodb不能直接存储表总记录数。
因为每个事务获取到的一致性视图都是不一样的,所以返回的数据总记录也是不一致的。
举个例子说明下:
假如有一张用户表tb_user, 有三处正在查询用户的总数。
select count(*) from tb_user
这时候每次查到的用户数总数可能不太一样。
这是因为每个用户会根据read view存储的数据来判断哪些数据是自己可见的,哪些是不可见的。
read view
当执行SQL语句查询时会产生一致性视图,即read-view,它是由查询的那一刻所有未提交事务ID组成的数组,和已经创建的最大事务ID组成的。
在这个数组中最小的事务ID被称之为min_id,
最大事务ID被称之为max_id,
而查询的数据结果就是根据read-view做对比从而得到快照。
于是就产生了以下的对比规则,这个规则就是使用当前的记录的trx_id跟read-view进行对比,规则如下:
- 如果落在trx_id<min_id,表示该版本是已经提交的事务生成的,由于事务已经提交所以数据是可见的
- 如果落在trx_id>max_id,表示该版本是由将来启动的事务生成的,是不可见的
- 如果落在trx_id 在min_id 和max_id 中间(min_id<=trx_id<=max_id)时
要是row的trx_id在数组中,表示该版本是由还没提交的事务生成的,不可见,但是当前自己的事务是可见的;
要是row的trx_id不在数组中,表明是提交的事务生成了该版本,是可见的。
读到这,相信你已经知道Innodb引擎为什么不像MyISAM引擎一样把表总记录存储起来了吧。因为 InnoDB 支持事务,MyISAM不支持事务。
在执行count(*)操作的时候还是做了优化的。
mysql对count(*)做了优化
InnoDB是索引组织表,主键索引树的叶子节点是数据,而普通索引树的叶子节点是主键值。所以,普通索引树比主键索引树小很多。对于count(*)这样的操作,遍历哪个索引树得到的结果逻辑上都是一样的。因此,MySQL优化器会找到最小的那棵树来遍历。
如果你使用过show table status 命令的话,就会发现这个命令的输出结果里面也有一个rows值用于显示这个表当前有多少行。
那么是不是这个rows值就能代替count(*)了吗?
其实不能,rows这个是从从采样估算得来的,因此它也是不是准确。不准确到什么程度,官方文档说是在40%到50%。所以show table status命令显示的行数rows是不能直接使用。
基于MySQL的Innodb存储引擎,统计表的总记录数下面这4种做法,哪种效率最高?
实践案例,准备了一张有 500W多条数据的表,表结构如下:
CREATE TABLE `tb_user` (
`id` int(11) unsigned NOT NULL AUTO_INCREMENT,
`user_id` int(11) DEFAULT NULL ,
`user_name` varchar(100) DEFAULT NULL ,
PRIMARY KEY (`id`) USING BTREE,
UNIQUE KEY `userId` (`user_id`) USING BTREE
) ENGINE=InnoDB AUTO_INCREMENT=1 DEFAULT CHARSET=utf8mb4
可以看到,这张表有一个主键索引,用不同方式来查询该表用户记录总数
count(主键id)
用select count(*) from tb_user 耗时0.739s
InnoDB引擎会遍历整张表,把每一行的id值都取出来,返回给server层。server层拿到id后,判断是不可能为空的,就按行累加。
count(1)
用select count(1) from tb_user 耗时0.753s
同样遍历整张表,但不取值,server层对返回的每一行,放一个数字1进去,判断是不可能为空的,按行累加。
count(字段)
用select count(user_name) from tb_user 耗时1.436s
分为两种情况,字段定义为not null和null
- 为not null时:逐行从记录里面读出这个字段,判断不能为null,累加
- 为 null时:执行时,判断到有可能是null,还要把值取出来再判断一下,不是null才累加
count(*)
用select count(*) from tb_user 耗时0.739s
需要注意的是,并不是带了*就把所有值取出来,而是mysql做了专门的优化,count(*)肯定不是null,按行累加。
从上面的执行结果,得知count(字段)<count(主键id)<count1≈count(*)
总结
基于MySQL的Innodb存储引擎,统计表的总记录数按照效率排序的话count(字段)<count(主键id)<count1≈count(*)
效率最高是count(*),并不是count(1)
所以建议尽量使用count()。
如果有面试官问你mysql中count(*)和count(1)哪个效率高?你就可以明确地告诉他,Innodb存储引擎下效率最高是count(*)。