解析mysql缓存如何使用内存

先说明2点

开启缓存也会带来开销，主要表现在一下方面

读取在查询开始之前必须要检查缓存

如果查询是缓存的，但是不在结果集中，那么产生结果后保存数据会带来一定的开销

向缓存写如数据也会带来开销

有的情况查询缓存不会被缓存，即使你使用 SQL_CACHE也不能缓存

主要一下几个

引用了用户自定义函数

引用了用户自定义变量

以用了存续过程

查询中包含一些实时的系统函数，比如now

引用了临时表

虽然上面说到缓存会带来一些开销

但是缓存对mysql 还是很重要

带来的好处比坏处多

下面讲一下mysql缓存如何使用内存

查询缓存的内存池被分为大小可变的块，每一个快都知道自己的大小，指向前一个和后一个逻辑块和物理块 的指针，服务器启动时初始化查询缓存使用的物理内存，内存池开始咋hi要一个快，她的大小为被配置为缓存的大小减去自身需要的40KB大小。在每次缓存查询结果时，会为查询结果分配一个缓存块，但是服务器无法估计需要缓存的结果的大小，至少会大于等于query_cache_min_res_unit,，服务器在分配时，不会再缓存中一次生成最终结果然后缓存发送到客户端，而是产生一条缓存一条，这样缓存就能保证空间不会在分配时浪费或者不足。分配内存块的速度较慢，因为服务器需要检查可用内存列表并且找打大小合适的快，因此服务器会尽量减少分配次数，当需要缓存结果时，他会构建一个大小至少为最小值的块，并且把结果放在块中，如果块已经满了，但是数据没有完整保存，那么就会产生一个新块并且保存数据，在数据存完后，如果数据块还有空隙，服务器就会剪辑数据块，并且把空间并入剩余的空间中，在其中可能产生碎片。通过紧缩，可以讲碎片空间并入有效的数据空间中。

对于事物引擎，比如innodb，事物会影响缓存，因为脏数据也会让其他引用了这块数据的缓存失效。直到该事物提交或回滚之后，这块数据才会被缓存。

query_cache_min_res_unit：the minimum size (in bytes) for blocks allocated by the query cache The default value is 4096 (4KB)

您可能感兴趣的文章:浅析MySQL内存的使用说明（全局缓存+线程缓存）MySQL内存表的特性与使用介绍如何解决PHP使用mysql_query查询超大结果集超内存问题MySQL内存使用之线程独享介绍MySQL内存使用的查看方式详解

一、浏览器缓存

浏览器缓存即http缓存；浏览器缓存根据是否需要向服务器重新发起HTTP请求将缓存过程分为两个部分，分别是 强制缓存 和 协商缓存  。

浏览器第一次请求资源的时候服务器会告诉客户端是否应该缓存资源，根据响应报文中HTTP头的缓存标识，决定是否缓存结果，是则将请求结果和缓存标识存入浏览器缓存中。如下图：

1强制缓存 ：浏览器会对缓存进行查找，并根据一定的规则确定是否使用缓存。

强制缓存的缓存规则？

HTTP/10 Expires 这个字段是绝对时间，比如2018年6月30日12:30，然后在这个时间点之前的请求都会使用浏览器缓存，除非清除了缓存。

这个字段的缺点就是只会同步客户端的时间，这就有可能修改客户端时间导致缓存失效。

HTTP/11 cache-Control       这个是11的时候替换Expires的，它会有几种取值：

public ：所有内容都将被缓存（客户端和代理服务器都可缓存）

private ：所有内容只有客户端可以缓存， Cache-Control的默认取值

no-cache ：客户端缓存内容，但是是否使用缓存则需要经过协商缓存来验证决定

no-store ：所有内容都不会被缓存，即不使用强制缓存，也不使用协商缓存

max-age=xxx (xxx is numeric) ：缓存内容将在xxx秒后失效

比如max-age=500，则在500秒内再次请求会直接只用缓存。

优先性：cache-Control > Expires

如果同时存在，cache-Control会覆盖Expires。

这个字段的缺点就是：

如果资源更新的速度是秒以下单位，那么该缓存是不能被使用的，因为它的时间单位最低是秒。

如果文件是通过服务器动态生成的，那么该方法的更新时间永远是生成的时间，尽管文件可能没有变化，所以起不到缓存的作用。

上图中浏览器缓存中存在该资源的缓存结果，并且没有失效，就会直接使用缓存的内容。

上图中浏览器缓存中没有该资源的缓存结果和标识，就会直接向服务器发起HTTP请求。

2协商缓存： 浏览器的强制缓存失效后(时间过期)，浏览器携带缓存标识请求服务器，由服务器决定是否使用缓存。

服务器决定的规则？

控制协商缓存的字段有 Last-Modified / If-Modified-Since 和 Etag / If-None-Match。

①Last-Modified 是服务器返回给浏览器的本资源的最后修改时间。

当下次再次请求的时候，浏览器会在请求头中带 If-Modified-Since ,即上次请求下来的 Last-Modified 的值，

然后服务器会用这个值和该资源最后修改的时间比较，如果最后修改时间大于这个值，则会重新请求该资源，返回状态码200。

如果这个值和最后修改时间相等，则会返回304，告诉浏览器继续使用缓存。

② Etag 是服务器返回的一个hash值。

当下次再次请求的时候，浏览器会在请求头中带 If-None-Match ,即上次请求下来的 Etag 值，

然后服务器会用这个值和该资源在服务器的 Etag 值比较，如果一致则会返回304，继续使用缓存；如果不一致，则会重新请求，返回200。

二、服务器缓存

上面是一个简单的流程图：

用户1访问A页面，服务器解析A页面返回给用户1，同时在服务器内存上做一定映射，把A页面缓存在硬盘上面

用户2访问A页面，服务器直接根据内存上的映射找到对应的页面缓存，直接返回给用户2，这样就减少了服务器对同一页面的重复解析

服务器缓存和浏览器缓存的区别：

服务器缓存是把页面缓存到服务器上的硬盘里，而浏览器缓存是把页面缓存到用户自己的电脑里

Nginx服务器 

Nginx是一个高性能的HTTP和反向代理服务器。具有非常多的优越性：

在连接高并发的情况下，Nginx是Apache服务器不错的替代品，Nginx在美国是做虚拟主机生意的老板们经常选择的软件平台之一。

Nginx提供了expires、etag、if-modified-since指令来实现浏览器缓存控制。

nginx -s reload#重新加载配置文件 

nginx -s reopen#重新打开log文件 

nginx -s stop#快速关闭nginx服务 

nginx -s quit #优雅的关闭nginx服务，等待工作进程处理完所有的请求

Nginx设置静态文件的缓存过期时间 

location ~\(js|css|html|png|jpg)$ {

  expires 3d;

}

 expires    3d;　　//表示缓存3天

expires    3h;　　//表示缓存3小时

expires    max;　　//表示缓存10年

expires    -1;　　//表示永远过期。

如果设置为-1在js、css等静态文件在没有修改的情况下返回的是http 304，如果修改返回http 200

对于静态资源会自动添加ETag，可以通过添加etag off指令禁止生成ETag。如果是静态文件，那么Last-Modified值为文件的最后修改时间。

在开发调试web的时候，经常会碰到因浏览器缓存(cache)而经常要去清空缓存或者强制刷新来测试的烦恼，提供下apache不缓存配置和nginx不缓存配置的设置。在常用的缓存设置里面有两种方式，都是使用add_header来设置：分别为Cache-Control和Pragma。

location ~ \(css|js|swf|php|htm|html )$ {

  add_header Cache-Control no-store;

  add_header Pragma no-cache;

  }

nginx gzip压缩

使用 gzip 压缩可以降低网站带宽消耗，同时提升访问速度。

主要在nginx服务端将页面进行压缩，然后在浏览器端进行解压和解析，

目前大多数流行的浏览器都迟滞gzip格式的压缩，所以不用担心。

默认情况下，Nginx的gzip压缩是关闭的，同时，Nginx默认只对text/html进行压缩

gzip on;

ersio #开启gzip压缩输出

gzip_http_vn 10 ;#默认11

#其中的gzip_http_version的设置，它的默认值是11，就是说对HTTP/11协议的请求才会进行gzip压缩

#如果我们使用了proxy_pass进行反向代理，那么nginx和后端的upstream server之间是用HTTP/10协议通信的。

gzip_vary on ;

#和http头有关系，加个vary头，给代理服务器用的，有的浏览器支持压缩，有的不支持，

#所以避免浪费不支持的也压缩，所以根据客户端的HTTP头来判断，是否需要压缩

gzip_comp_level 6;

#设置gzip压缩等级，等级越底压缩速度越快文件压缩比越小，反之速度越慢文件压缩比越大 1-9

gzip_proxied any;

#Ngnix作为反向代理的时候启用

#expample:gzip_proxied no-cache;

# off – 关闭所有的代理结果数据压缩

# expired – 启用压缩，如果header中包含”Expires”头信息

# no-cache – 启用压缩，如果header中包含”Cache-Control:no-cache”头信息

# no-store – 启用压缩，如果header中包含”Cache-Control:no-store”头信息

# private – 启用压缩，如果header中包含”Cache-Control:private”头信息

# no_last_modified – 启用压缩，如果header中包含”Last_Modified”头信息

# no_etag – 启用压缩，如果header中包含“ETag”头信息

# auth – 启用压缩，如果header中包含“Authorization”头信息

# any – 无条件压缩所有结果数据

gzip_types text/html ;#压缩的文件类型

#设置需要压缩的MIME类型,非设置值不进行压缩

#param:text/html|application/x-javascript|text/css|application/xml

gzip_buffers 16 8k; #设置gzip申请内存的大小,其作用是按块大小的倍数申请内存空间设置gzip申请内存的大小,其作用是按块大小的倍数申请内存空间

#设置gzip申请内存的大小,其作用是按块大小的倍数申请内存空间

# param1:int 增加的倍数

# param2:int(k) 后面单位是k

# example: gzip_buffers 4 8k;

# Disable gzip for certain browsers

gzip_disable “MSIE [1-6](!SV1)”; #ie6不支持gzip，需要禁用掉ie6

DNS工作原理：

第一步：客户机提出域名解析请求，并将该请求发送给本地的域名服务器。

第二步：当本地的域名服务器收到请求后，就先查询本地的缓存，如果有该纪录项，则本地的域名服务器就直接把查询的结果返回。

第三步：如果本地的缓存中没有该纪录，则本地域名服务器就直接把请求发给根域名服务器，然后根域名服务器再返回给本地域名服务器一个所查询域(根的子域)的主域名服务器的地址。

第四步：本地服务器再向上一步返回的域名服务器发送请求，然后接受请求的服务器查询自己的缓存，如果没有该纪录，则返回相关的下级的域名服务器的地址。

第五步：重复第四步，直到找到正确的纪录。

第六步：本地域名服务器把返回的结果保存到缓存，以备下一次使用，同时还将结果返回给客户机。

浏览器缓存有两种：强制缓存和协商缓存

向浏览器缓存中查找请求结果，根据缓存规则决定是否使用该结果。

强制缓存失效后，携带缓存标识请求服务器，服务器根据缓存标识判断是否使用缓存

当浏览器向服务器发送请求的时候，服务器会将缓存规则放入HTTP响应的报文的HTTP头中和请求结果一起返回给浏览器（ps：下文说的时间点均为类似：Sat Aug 14 2021 11:01:52，秒级）

两个字段：Expires和Cache-Control，优先级：Cache-Control > Expires，客户端比较时间

Expires ：HTTP/10，返回值为到期时间点，再次请求，客户端的时间< Expires，直接用缓存（ps：客户端与服务器端时间可能存在误差，出问题）

Cache-Control ：HTTP/11，有以下字段

Last-Modified / If-Modified-Since 和 Etag / If-None-Match，优先级Etag > Last-Modified，服务器比较时间

Last-Modified（服务端返回客户端） / If-Modified-Since（客户端传入服务端） ：两个值相同，表示：资源文件在服务器最后被修改的时间时间点。

Etag（服务端返回客户端） / If-None-Match（客户端传入服务端） ，两个值相同，为当前资源文件的一个唯一标识(由服务器生成)

Etag什么时候用

雅虎禁用了Etag：因为ETag的值和服务器有关，那么对于同样的文件，可能下次请求的时候是发给不同的服务器，结果也会重新发送数据，所以就会影响网页加载速度，增加服务器的压力（但Last-Modified也与服务器有关）

主要解决的问题：

浏览器的每个tab都是一个进程

两个缓存的地方 from memory cache（内存缓存） 和 from disk cache（硬盘缓存） ，读取顺序为memory > disk