MySQL CPU占用过高怎么办

通过以前对mysql的操作经验，先将mysql的配置问题排除了，查看msyql是否运行正常，通过查看mysql data目录里面的err文件(将扩展名改为txt)记事本查看即可。如果过大不建议用记事本了，容易死掉，可以用editplus等工具。

简单的分为下面几个步骤来解决这个问题：

1、mysql运行正常，也有可能是同步设置问题导致

2、如果mysql运行正常，那就是php的一些sql语句导致问题发现，用root用户进入mysql管理

mysql -u root -p

输入密码

mysql:show processlist 语句，查找负荷最重的 SQL 语句，优化该SQL，比如适当建立某字段的索引。

通过这个命令我看到原来是有人恶意刷搜索，因为dedecms搜索后面调用搜索最高的词，导致很多人用工具刷这个，而且是定时有间隔的，所以将这个php程序改名跳转都方法解决了。

当然如果你的确实是sql语句用了大量的group by等语句，union联合查询等肯定会将mysql的占用率提高。所以就需要优化sql语句，网站尽量生成静态的，一般4W ip的静态网站，mysql占用率几乎为0的。所以这对于程序员的经验是个考虑。尽量提高mysql性能 (MySQL 性能优化的最佳20多条经验分享)

下面是豆芽收集的文章，大家都可以参考下

MYSQL CPU 占用 100% 的现象描述

早上帮朋友一台服务器解决了 Mysql cpu 占用 100% 的问题。稍整理了一下，将经验记录在这篇文章里

朋友主机(Windows 2003 + IIS + PHP + MYSQL )近来 MySQL 服务进程 (mysqld-ntexe) CPU 占用率总为 100% 高居不下。此主机有10个左右的 database, 分别给十个网站调用。据朋友测试，导致 mysqld-ntexe cpu 占用奇高的是网站A，一旦在 IIS 中将此网站停止服务，CPU 占用就降下来了。一启用，则马上上升。

MYSQL CPU 占用 100% 的解决过程

今天早上仔细检查了一下。目前此网站的七日平均日 IP 为2000，PageView 为 3万左右。网站A 用的 database 目前有39个表，记录数 601万条，占空间 45MB。按这个数据，MySQL 不可能占用这么高的资源。

于是在服务器上运行命令，将 mysql 当前的环境变量输出到文件 outputtxt：

d:\web\mysql> mysqldexe --help >outputtxt

发现 tmp_table_size 的值是默认的 32M，于是修改 Myini, 将 tmp_table_size 赋值到 200M:

d:\web\mysql> notepad c:\windows\myini

[mysqld]

tmp_table_size=200M

然后重启 MySQL 服务。CPU 占用有轻微下降，以前的CPU 占用波形图是 100% 一根直线，现在则在 97%~100%之间起伏。这表明调整 tmp_table_size 参数对 MYSQL 性能提升有改善作用。但问题还没有完全解决。

于是进入 mysql 的 shell 命令行，调用 show processlist, 查看当前 mysql 使用频繁的 sql 语句：

mysql> show processlist;

反复调用此命令，发现网站 A 的两个 SQL 语句经常在 process list 中出现，其语法如下：

SELECT t1pid, t2userid, t3count, t1date

FROM _mydata AS t1

LEFT JOIN _myuser AS t3 ON t1userid=t3userid

LEFT JOIN _mydata_body AS t2 ON t1pid=t3pid

ORDER BY t1pid

LIMIT 0,15

调用 show columns 检查这三个表的结构 :

mysql> show columns from _myuser;

mysql> show columns from _mydata;

mysql> show columns from _mydata_body;

终于发现了问题所在：_mydata 表，只根据 pid 建立了一个 primary key，但并没有为 userid 建立索引。而在这个 SQL 语句的第一个 LEFT JOIN ON 子句中：

LEFT JOIN _myuser AS t3 ON t1userid=t3userid

_mydata 的 userid 被参与了条件比较运算。于是我为给 _mydata 表根据字段 userid 建立了一个索引：

mysql> ALTER TABLE `_mydata` ADD INDEX ( `userid` )

建立此索引之后，CPU 马上降到了 80% 左右。看到找到了问题所在，于是检查另一个反复出现在 show processlist 中的 sql 语句：

SELECT COUNT()

FROM _mydata AS t1, _mydata_key AS t2

WHERE t1pid=t2pid and t2keywords = '孔雀'

经检查 _mydata_key 表的结构，发现它只为 pid 建了了 primary key, 没有为 keywords 建立 index。_mydata_key 目前有 33 万条记录，在没有索引的情况下对33万条记录进行文本检索匹配，不耗费大量的 cpu 时间才怪。看来就是针对这个表的检索出问题了。于是同样为 _mydata_key 表根据字段 keywords 加上索引:

mysql> ALTER TABLE `_mydata_key` ADD INDEX ( `keywords` )

建立此索引之后，CPU立刻降了下来，在 50%~70%之间震荡。

再次调用 show prosslist，网站A 的sql 调用就很少出现在结果列表中了。但发现此主机运行了几个 Discuz 的论坛程序， Discuz 论坛的好几个表也存在着这个问题。于是顺手一并解决，cpu占用再次降下来了。(20070709 附注：关于 discuz 论坛的具体优化过程，我后来另写了一篇文章，详见：千万级记录的 Discuz! 论坛导致 MySQL CPU 100% 的 优化笔记 )

解决 MYSQL CPU 占用 100% 的经验总结

增加 tmp_table_size 值。mysql 的配置文件中，tmp_table_size 的默认大小是 32M。如果一张临时表超出该大小，MySQL产生一个 The table tbl_name is full 形式的错误，如果你做很多高级 GROUP BY 查询，增加 tmp_table_size 值。

对 WHERE, JOIN, MAX(), MIN(), ORDER BY 等子句中的条件判断中用到的字段,应该根据其建立索引 INDEX。索引被用来快速找出在一个列上用一特定值的行。没有索引，MySQL不得不首先以第一条记录开始并然后读完整个表直到它找出相关的行。表越大，花费时间越多。如果表对于查询的列有一个索引，MySQL能快速到达一个位置去搜寻到数据文件的中间，没有必要考虑所有数据。如果一个表有1000行，这比顺序读取至少快100倍。所有的MySQL索引(PRIMARY、UNIQUE和INDEX)在B树中存储。

根据 mysql 的开发文档:

索引 index 用于：

快速找出匹配一个WHERE子句的行

当执行联结(JOIN)时，从其他表检索行。

对特定的索引列找出MAX()或MIN()值

如果排序或分组在一个可用键的最左面前缀上进行(例如，ORDER BY key_part_1,key_part_2)，排序或分组一个表。如果所有键值部分跟随DESC，键以倒序被读取。

在一些情况中，一个查询能被优化来检索值，不用咨询数据文件。如果对某些表的所有使用的列是数字型的并且构成某些键的最左面前缀，为了更快，值可以从索引树被检索出来。

假定你发出下列SELECT语句：

mysql> SELECT FROM tbl_name WHERE col1=val1 AND col2=val2；

如果一个多列索引存在于col1和col2上，适当的行可以直接被取出。如果分开的单行列索引存在于col1和col2上，优化器试图通过决定哪个索引将找到更少的行并来找出更具限制性的索引并且使用该索引取行。

mysql数据库

1、MySQL是一种开放源代码的关系型数据库管理系统（RDBMS），MySQL数据库系统使用最常用的数据库管理语言--结构化查询语言（SQL）进行数据库管理。

2、MySQL是一种DBMS，而且是一种一个小型的开源的关系型数据库管理系统。2008年1月16日MySQLAB被Sun公司收购。而2009年，SUN又被Oracle收购。就这样如同一个轮回，MySQL成为了Oracle公司的另一个数据库项目。

3、在大学的计算机教科书中，数据库是被这样解释的：数据库是计算机应用系统中的一种专门管理数据资源的系统。数据有多种形式，如文字、数码、符号、图形、图像以及声音等。数据是所有计算机系统所要处理的对象。

4、MySQL是数据库工具，非常常用，我们通常会把网站用到的数据存储在MySQL中，MySQL的使用不仅方便而且简单易学，来看看如何使用MySQL创建数据库。安装：首先要安装MySQL，并且配置信息。

5、数据库和MySQL和MySQL服务器三者区别区别如下：数据库包括MySQL，MySQL服务器只要作用就是这位一个服务器；MYSQL短小精悍，容易上手，操作简单，免费供用的。相对其它数据库有特色又实用的语法多一些。

6、SQL是StructuredQueryLanguage(结构化查询语言)的缩写。SQL是专为数据库而建立的操作命令集，是一种功能齐全的数据库语言。在使用它时，只需要发出“做什么”的命令，“怎么做”是不用使用者考虑的。

1、)运行速度快高速是MySQL的显著特性。在MySQL中，使用了极快的B树磁盘表（MyISAM）和索引压缩；通过使用优化的单扫描多连接，能够极快地实现连接；SQL函数使用高度优化的类库实现，运行速度极快。

2、MySQL性能卓越、服务稳定，很少出现异常宕机。MySQL开放源代码且无版权制约，自主性及使用成本低。MySQL历史悠久，用户使用活跃，遇到问题可以寻求帮助。MySQL体积小，安装方便，易于维护。

3、价格：MySQL对多数个人来说是免费的。容易使用；与其他大型数据库的设置和管理相比，其复杂程度较低，容易学习。可移植性：能够工作在众多不同的系统平台上，例如：Windows、Linux、Unix、MacOS等。

4、提供多语言支持，常见的编码如中文的GB231BIG5；支持大型的数据库。

5、最大的优点是免费，在免费的数据库里面，性能比较好，而且特别适合WEB应用。

6、在这个版本中将有以下新的特性被提供：新的表定义文件格式、高性能的数据复制功能、更加强大的全文搜索功能。在此之后，MySQL开发着希望提供安全的数据复制机制、在BeOS操作系统上的MySQL实现以及对延时关键字的定期刷新选项。

可靠性是PostgreSQL的最高优先级。它以坚如磐石的品质和良好的工程化而闻名，支持高事务、任务关键型应用。PostgreSQL的文档非常精良，提供了大量免费的在线手册，还针对旧版本提供了归档的参考手册。

PostgreSQL的稳定性极强，Innodb等引擎在崩溃、断电之类的灾难场景下抗打击能力有了长足进步，然而很多MySQL用户都遇到过Server级的数据库丢失的场景——mysql系统库是MyISAM的，相比之下，PG数据库这方面要好一些。

PostgreSQL大概可以算是个皮卡。比MYSQL强一些。尤其使用起来，不像MYSQL有那么多坑。但问题是，它出现的太晚了，市场已经全被MYSQL占了。。所以，如果你是想自己做个项目，它肯定比MYSQL强。。

PostgreSQL在很多方面都比MySQL强，如复杂SQL的执行、存储过程、触发器、索引。

很多组织喜欢使用PostgreSQL，因为它的可靠性好，在保护数据方面很擅长，而且是个社区项目，不会陷入厂商的牢笼之中。MySQL更加灵活，提供了更多选项来针对不同的任务进行裁剪。

如果把OracleDBA转到PostgreSQL数据库上是比较容易的，毕竟PostgreSQL数据库与Oracle数据库很相似。PostgreSQL几乎支持所有的SQL标准，支持类型相当丰富。

修改mysql配置文件，优化缓存大小和连接数连接方式，优化sql语句 ,记得mysql好像是有工具可以查看最占用资源的sql语句，找到他，优化他。

安装好mysql后，配制文件应该在/usr/local/mysql/share/mysql目录中，配制文件有几个，有my-hugecnf my-mediumcnf my-largecnf my-smallcnf,不同的流量的网站和不同配制的服务器环境，当然需要有不同的配制文件了。

一般的情况下，my-mediumcnf这个配制文件就能满足我们的大多需要；一般我们会把配置文件拷贝到/etc/mycnf 只需要修改这个配置文件就可以了，使用mysqladmin variables extended-status _u root _p 可以看到目前的参数，有3个配置参数是最重要的，即key_buffer_size,query_cache_size,table_cache。

key_buffer_size只对MyISAM表起作用，

key_buffer_size指定索引缓冲区的大小，它决定索引处理的速度，尤其是索引读的速度。一般我们设为16M,实际上稍微大一点的站点　这个数字是远远不够的，通过检查状态值Key_read_requests和Key_reads,可以知道key_buffer_size设置是否合理。比例 key_reads / key_read_requests应该尽可能的低，至少是1:100，1:1000更好（上述状态值可以使用SHOW STATUS LIKE ‘key_read%’获得）。 或者如果你装了phpmyadmin 可以通过服务器运行状态看到,笔者推荐用phpmyadmin管理mysql，以下的状态值都是本人通过phpmyadmin获得的实例分析:

这个服务器已经运行了20天

key_buffer_size _ 128M

key_read_requests _ 650759289

key_reads - 79112

比例接近1:8000 健康状况非常好

0 先了解主机和数据库的环境

#主机

内存多大，为了看有多少剩余能为mysql留出多少来：free

资源使用情况，看负载情况，重点看空闲 CPU百分比(带 xx% id)：top

#mysql

看mysql数据文件多大：du -c -s /var/lib/mysql

1 初步调整（最主要的）

# 配置mysql的innodb内存占用，根据上边结果中剩余内存（取80%）增加 innodb_buffer_pool_size的值

# 配置mysql的其它内存使用和缓存使用情况，不要加的太大，主要是 sort_buffer_size, join_buffer_size, key_cache_size。

配置依据是：总内存 - OS系统预留 - max_connections (sort_buffer_size + join_buffer_size + read_buffer_size + read_rnd_buffer_size + thread_statck ) - key_cache_size > 0

2 优化调整（属于优化性能方面）

主要是以下几方面：

连接等待队列数 back_log

客户端请求线程缓存数 thread_cache_size

表缓冲的数量 table_open_cache

临时表的内存大小，用于group by的优化 tmp_table_size

innodb日志缓冲大小 innodb_log_buffer_size

innodb能打开表的数量大小（库里的表特别多时增加此项值） innodb_open_files

mysql的高并发其实是基于硬件的

这个配置要和服务器的硬件配置和负载来慢慢调

没有统一配置的

简单的说一点 其他的你最好去查手册

然后根据你的业务需要来调整

default-storage-engine=INNODB //事务引擎，如果不用事务支持可以不用，速度稍慢于MYSIM

max_connections=20000 //这个需要看你的硬件是否足够牛

query_cache_size=440M //查询的缓存 如果内存够大可以再大点

table_cache=2028 //表的缓存 表如果很对的话可以大点

tmp_table_size=512M //临时表空间，看你的应用了，是否用了临时表

thread_cache_size=80 //线程缓存 看你的业务是否有很多重复的请求

myisam_max_sort_file_size=100G //排序或索引文件的最大值（看你的表友多少数据和有多少索引）

后面的查手册吧 这东西设置太高太低都不太好 ，从小到大按业务需要慢慢调整吧

Linux 进程通过 C 标准库中的内存分配函数 malloc 向系统申请内存，但是到真正与内核交互之间，其实还隔了一层，即内存分配管理器(memory allocator)。常见的内存分配器包括：ptmalloc(Glibc)、tcmalloc(Google)、jemalloc(FreeBSD)。MySQL 默认使用的是 glibc 的 ptmalloc 作为内存分配器。

内存分配器采用的是内存池的管理方式，处在用户程序层和内核层之间，它响应用户的分配请求，向操作系统申请内存，然后将其返回给用户程序。

为了保持高效的分配，分配器通常会预先向操作系统申请一块内存，当用户程序申请和释放内存的时候，分配器会将这些内存管理起来，并通过一些算法策略来判断是否将其返回给操作系统。这样做的最大好处就是可以避免用户程序频繁的调用系统来进行内存分配，使用户程序在内存使用上更加高效快捷。

关于 ptmalloc 的内存分配原理，个人也不是非常了解，这里就不班门弄斧了，有兴趣的同学可以去看下华庭的《glibc 内存管理 ptmalloc 源代码分析》文末链接。

关于如何选择这三种内存分配器，网上资料大多都是推荐摒弃 glibc 原生的 ptmalloc，而改用 jemalloc 或者 tcmalloc 作为默认分配器。因为 ptmalloc 的主要问题其实是内存浪费、内存碎片、以及加锁导致的性能问题，而 jemalloc 与 tcmalloc 对于内存碎片、多线程处理优化的更好。

目前 jemalloc 应用于 Firefox、FaceBook 等，并且是 MariaDB、Redis、Tengine 默认推荐的内存分配器，而 tcmalloc 则应用于 WebKit、Chrome 等。

1当我们请求mysql服务器的时候,MySQL前端会有一个监听,请求到了之后,服务器得到相关的SQL语句,执行之前(虚线部分为执行),还会做权限的判断

2通过权限之后,SQL就到MySQL内部,他会在查询缓存中,看该SQL有没有执行过,如果有查询过,则把缓存结果返回,说明在MySQL内部,也有一个查询缓存但是这个查询缓存,默认是不开启的,这个查询缓存,和我们的Hibernate，Mybatis的查询缓存是一样的,因为查询缓存要求SQL和参数都要一样,所以这个命中率是非常低的（没什么卵用的意思）。

3如果我们没有开启查询缓存,或者缓存中没有找到对应的结果,那么就到了解析器,解析器主要对SQL语法进行解析

4解析结束后就变成一颗解析树,这个解析树其实在Hibernate里面也是有的,大家回忆一下,在以前做过Hibernate项目的时候,是不是有个一个antlrjar。这个就是专门做语法解析的工具因为在Hibernate里面有HQL，它就是通过这个工具转换成SQL的,我们编程语言之所以有很多规范、语法,其实就是为了便于这个解析器解析,这个学过编译原理的应该知道

5得到解析树之后,不能马上执行,这还需要对这棵树进行预处理,也就是说,这棵树,我没有经过任何优化的树,预处理器会这这棵树进行一些预处理,比如常量放在什么地方,如果有计算的东西,把计算的结果算出来等等

6预处理完毕之后,此时得到一棵比较规范的树,这棵树就是要拿去马上做执行的树,比起之前的那棵树,这棵得到了一些优化

7查询优化器，是MySQL里面最关键的东西,我们写任何一条SQL,比如SELECT FROM USER WHERE USERNAME = toby AND PASSWORD = 1,它会怎么去执行它是先执行username = toby还是password = 1每一条SQL的执行顺序查询优化器就是根据MySQL对数据统计表的一些信息,比如索引,比如表一共有多少数据,MySQL都是有缓存起来的,在真正执行SQL之前,他会根据自己的这些数据,进行一个综合的判定,判断这一次在多种执行方式里面,到底选哪一种执行方式,可能运行的最快这一步是MySQL性能中,最关键的核心点,也是我们的优化原则我们平时所讲的优化SQL,其实说白了,就是想让查询优化器,按照我们的想法,帮我们选择最优的执行方案,因为我们比MySQL更懂我们的数据MySQL看数据,仅仅只是自己收集到的信息,这些信息可能是不准确的,MySQL根据这些信息选了一个它自认为最优的方案,但是这个方案可能和我们想象的不一样

8这里的查询执行计划,也就是MySQL查询中的执行计划,比如要先执行username = toby还是password = 1

9这个执行计划会传给查询执行引擎,执行引擎选择存储引擎来执行这一份传过来的计划,到磁盘中的文件中去查询,这个时候重点来了,影响这个查询性能最根本的原因是什么就是硬盘的机械运动,也就是我们平时熟悉的IO,所以一条查询语句是快还是慢,就是根据这个时间的IO来确定的那怎么执行IO又是什么来确定的就是传过来的这一份执行计划(优化就是制定一个我们认为最快的执行方案,最节省IO,和执行最快)

10如果开了查询缓存,则返回结果给客户端,并且查询缓存也放一份。