web服务器怎么使用redis分步式缓存

Redis复制流程概述

Redis的复制功能是完全建立在之前我们讨论过的基于内存快照的持久化策略基础上的，也就是说无论你的持久化策略选择的是什么，只要用到了Redis的复制功能，就一定会有内存快照发生，那么首先要注意你的系统内存容量规划，原因可以参考我上一篇文章中提到的Redis磁盘IO问题。

Redis复制流程在Slave和Master端各自是一套状态机流转，涉及的状态信息是：

Slave 端：

REDIS_REPL_NONEREDIS_REPL_CONNECTREDIS_REPL_CONNECTED

Master端：

REDIS_REPL_WAIT_BGSAVE_STARTREDIS_REPL_WAIT_BGSAVE_ENDREDIS_REPL_SEND_BULKREDIS_REPL_ONLINE

整个状态机流程过程如下：

Slave端在配置文件中添加了slave of指令，于是Slave启动时读取配置文件，初始状态为REDIS_REPL_CONNECT。

Slave端在定时任务serverCron(Redis内部的定时器触发事件)中连接Master，发送sync命令，然后阻塞等待master发送回其内存快照文件(最新版的Redis已经不需要让Slave阻塞)。

Master端收到sync命令简单判断是否有正在进行的内存快照子进程，没有则立即开始内存快照，有则等待其结束，当快照完成后会将该文件发送给Slave端。

Slave端接收Master发来的内存快照文件，保存到本地，待接收完成后，清空内存表，重新读取Master发来的内存快照文件，重建整个内存表数据结构，并最终状态置位为 REDIS_REPL_CONNECTED状态，Slave状态机流转完成。

Master端在发送快照文件过程中，接收的任何会改变数据集的命令都会暂时先保存在Slave网络连接的发送缓存队列里（list数据结构），待快照完成后，依次发给Slave,之后收到的命令相同处理，并将状态置位为 REDIS_REPL_ONLINE。

整个复制过程完成，流程如下图所示：

Redis复制机制的缺陷

从上面的流程可以看出，Slave从库在连接Master主库时，Master会进行内存快照，然后把整个快照文件发给Slave，也就是没有象MySQL那样有复制位置的概念，即无增量复制，这会给整个集群搭建带来非常多的问题。

比如一台线上正在运行的Master主库配置了一台从库进行简单读写分离，这时Slave由于网络或者其它原因与Master断开了连接，那么当Slave进行重新连接时，需要重新获取整个Master的内存快照，Slave所有数据跟着全部清除，然后重新建立整个内存表，一方面Slave恢复的时间会非常慢，另一方面也会给主库带来压力。

所以基于上述原因，如果你的Redis集群需要主从复制，那么最好事先配置好所有的从库，避免中途再去增加从库。

Cache还是Storage

在我们分析过了Redis的复制与持久化功能后，我们不难得出一个结论，实际上Redis目前发布的版本还都是一个单机版的思路，主要的问题集中在，持久化方式不够成熟，复制机制存在比较大的缺陷，这时我们又开始重新思考Redis的定位：Cache还是Storage？

如果作为Cache的话，似乎除了有些非常特殊的业务场景，必须要使用Redis的某种数据结构之外，我们使用Memcached可能更合适，毕竟Memcached无论客户端包和服务器本身更久经考验。

如果是作为存储Storage的话，我们面临的最大的问题是无论是持久化还是复制都没有办法解决Redis单点问题，即一台Redis挂掉了，没有太好的办法能够快速的恢复，通常几十G的持久化数据，Redis重启加载需要几个小时的时间，而复制又有缺陷，如何解决呢？

Redis可扩展集群搭建1 主动复制避开Redis复制缺陷。

既然Redis的复制功能有缺陷，那么我们不妨放弃Redis本身提供的复制功能，我们可以采用主动复制的方式来搭建我们的集群环境。

所谓主动复制是指由业务端或者通过代理中间件对Redis存储的数据进行双写或多写，通过数据的多份存储来达到与复制相同的目的，主动复制不仅限于用在Redis集群上，目前很多公司采用主动复制的技术来解决MySQL主从之间复制的延迟问题，比如Twitter还专门开发了用于复制和分区的中间件gizzard(https://githubcom/twitter/gizzard) 。

主动复制虽然解决了被动复制的延迟问题，但也带来了新的问题，就是数据的一致性问题，数据写2次或多次，如何保证多份数据的一致性呢？如果你的应用对数据一致性要求不高，允许最终一致性的话，那么通常简单的解决方案是可以通过时间戳或者vector clock等方式，让客户端同时取到多份数据并进行校验，如果你的应用对数据一致性要求非常高，那么就需要引入一些复杂的一致性算法比如Paxos来保证数据的一致性，但是写入性能也会相应下降很多。

通过主动复制，数据多份存储我们也就不再担心Redis单点故障的问题了，如果一组Redis集群挂掉，我们可以让业务快速切换到另一组Redis上，降低业务风险。

2 通过presharding进行Redis在线扩容。

通过主动复制我们解决了Redis单点故障问题，那么还有一个重要的问题需要解决：容量规划与在线扩容问题。

我们前面分析过Redis的适用场景是全部数据存储在内存中，而内存容量有限，那么首先需要根据业务数据量进行初步的容量规划，比如你的业务数据需要100G存储空间，假设服务器内存是48G，那么根据上一篇我们讨论的Redis磁盘IO的问题，我们大约需要3~4台服务器来存储。这个实际是对现有业务情况所做的一个容量规划，假如业务增长很快，很快就会发现当前的容量已经不够了，Redis里面存储的数据很快就会超过物理内存大小，那么如何进行Redis的在线扩容呢？

Redis的作者提出了一种叫做presharding的方案来解决动态扩容和数据分区的问题，实际就是在同一台机器上部署多个Redis实例的方式，当容量不够时将多个实例拆分到不同的机器上，这样实际就达到了扩容的效果。

拆分过程如下：

在新机器上启动好对应端口的Redis实例。

配置新端口为待迁移端口的从库。

待复制完成，与主库完成同步后，切换所有客户端配置到新的从库的端口。

配置从库为新的主库。

移除老的端口实例。

重复上述过程迁移好所有的端口到指定服务器上。

以上拆分流程是Redis作者提出的一个平滑迁移的过程，不过该拆分方法还是很依赖Redis本身的复制功能的，如果主库快照数据文件过大，这个复制的过程也会很久，同时会给主库带来压力。所以做这个拆分的过程最好选择为业务访问低峰时段进行。

Redis复制的改进思路

我们线上的系统使用了我们自己改进版的Redis,主要解决了Redis没有增量复制的缺陷，能够完成类似Mysql Binlog那样可以通过从库请求日志位置进行增量复制。

我们的持久化方案是首先写Redis的AOF文件，并对这个AOF文件按文件大小进行自动分割滚动，同时关闭Redis的Rewrite命令，然后会在业务低峰时间进行内存快照存储，并把当前的AOF文件位置一起写入到快照文件中，这样我们可以使快照文件与AOF文件的位置保持一致性，这样我们得到了系统某一时刻的内存快照，并且同时也能知道这一时刻对应的AOF文件的位置，那么当从库发送同步命令时，我们首先会把快照文件发送给从库，然后从库会取出该快照文件中存储的AOF文件位置，并将该位置发给主库，主库会随后发送该位置之后的所有命令，以后的复制就都是这个位置之后的增量信息了。

Redis与MySQL的结合

目前大部分互联网公司使用MySQL作为数据的主要持久化存储，那么如何让Redis与MySQL很好的结合在一起呢？我们主要使用了一种基于MySQL作为主库，Redis作为高速数据查询从库的异构读写分离的方案。

为此我们专门开发了自己的MySQL复制工具，可以方便的实时同步MySQL中的数据到Redis上。

（MySQL-Redis 异构读写分离）

总结：

Redis的复制功能没有增量复制，每次重连都会把主库整个内存快照发给从库，所以需要避免向在线服务的压力较大的主库上增加从库。

Redis的复制由于会使用快照持久化方式，所以如果你的Redis持久化方式选择的是日志追加方式(aof),那么系统有可能在同一时刻既做aof日志文件的同步刷写磁盘，又做快照写磁盘操作，这个时候Redis的响应能力会受到影响。所以如果选用aof持久化，则加从库需要更加谨慎。

可以使用主动复制和presharding方法进行Redis集群搭建与在线扩容。

1、OSCache

OSCache是个一个广泛采用的高性能的J2EE缓存框架，OSCache能用于任何java应用程序的普通的缓存解决方案。

OSCache有以下特点：

（1）缓存任何对象，你可以不受限制的缓存部分jsp页面或HTTP请求，任何java对象都可以缓存。

永久缓存--缓存能随意的写入硬盘，因此答应昂贵的创建（eXPensive-to-create）数据来保持缓存，甚至能让应用重启。

（2）支持集群--集群缓存数据能被单个的进行参数配置，不需要修改代码。

缓存记录的过期--你可以有最大限度的控制缓存对象的过期，包括可插入式的刷新策略（假如默认性能不需要时）。

2、Java Caching System

JSC(Java Caching System)是一个用分布式的缓存系统，是基于服务器的java应用程序。它是通过提供治理各种动态缓存数据来加速动态web应用。

JCS和其他缓存系统一样，也是一个用于高速读取，低速写入的应用程序。

动态内容和报表系统能够获得更好的性能。

假如一个网站，有重复的网站结构，使用间歇性更新方式的数据库（而不是连续不断的更新数据库），被重复搜索出相同结果的，就能够通过执行缓存方式改进其性能和伸缩性。

3、EHCache

EHCache 是一个纯java的在进程中的缓存，它具有以下特性：快速，简单，为Hibernate21充当可插入的缓存，最小的依靠性，全面的文档和测试。

4、JCache

JCache是个开源程序，正在努力成为JSR-107开源规范，JSR-107规范已经很多年没改变了。这个版本仍然是构建在最初的功能定义上。

5、ShiftOne

ShiftOne Java Object Cache是一个执行一系列严格的对象缓存策略的Java lib，就像一个轻量级的配置缓存工作状态的框架。

6、SwarmCache

SwarmCache是一个简单且有效的分布式缓存，它使用ip multicast与同一个局域网的其他主机进

行通讯，是非凡为集群和数据驱动web应用程序而设计的。

SwarmCache能够让典型的读操作大大超过写操作的这类应用提供更好的性能支持。

SwarmCache使用JavaGroups来治理从属关系和分布式缓存的通讯。

扩展资料

Java中缓存存在的原因：

一 般情况下,一个网站,或者一个应用,它的一般形式是,浏览器请求应用服务器,应用服务器做一堆计算后再请求数据库,数据库收到请求后再作一堆计算后把数据 返回给应用服务器。

应用服务器再作一堆计算后把数据返回给浏览器，这个是一个标准流程。但是随着互连网的普及,上网的人越来越多,网上的信息量也越来越多。

数据库每秒中接受请求的次数也是有限的，如果利用有限的资源来提供尽可能大的吞吐量呢。一个办法:减少计算量,缩短请求流程(减少网络io或者硬盘io),这时候缓存就可以大展手脚了。

缓存的基本原理就是打破上图中所描绘的标准流程,在这个标准流程中,任何 一个环节都可以被切断请求可以从缓存里取到数据直接返回。

一、全页面静态化缓存也就是将页面全部生成html静态页面，用户访问时直接访问的静态页面，而不会去走php服务器解析的流程。

此种方式，在CMS系统中比较常见，比如dedecms；一种比较常用的实现方式是用输出缓存：Ob_start()要运行的代码$content=Ob_get_contents();将缓存内容写入html文件Ob_end_clean();二、数据缓存顾名思义，就是缓存数据的一种方式；比如，商城中的某个商品信息，当用商品id去请求时，就会得出包括店铺信息、商品信息等数据，此时就可以将这些数据缓存到一个php文件中，文件名包含商品id来建一个唯一标示；下一次有人想查看这个商品时，首先就直接调这个文件里面的信息，而不用再去数据库查询；其实缓存文件中缓存的就是一个php数组之类；Ecmall商城系统里面就用了这种方式；三、查询缓存其实这跟数据缓存是一个思路，就是根据查询语句来缓存；将查询得到的数据缓存在一个文件中，下次遇到相同的查询时，就直接先从这个文件里面调数据，不会再去查数据库；但此处的缓存文件名可能就需要以查询语句为基点来建立唯一标示；按时间变更进行缓存就是对于缓存文件您需要设一个有效时间，在这个有效时间内，相同的访问才会先取缓存文件的内容，但是超过设定的缓存时间，就需要重新从数据库中获取数据，并生产最新的缓存文件；比如，我将我们商城的首页就是设置2个小时更新一次。

四、页面部分缓存该种方式，是将一个页面中不经常变的部分进行静态缓存，而经常变化的块不缓存，最后组装在一起显示；可以使用类似于ob_get_contents的方式实现，也可以利用类似ESI之类的页面片段缓存策略，使其用来做动态页面中相对静态的片段部分的缓存。

该种方式可以用于如商城中的商品页；五、Opcode缓存首先php代码被解析为Tokens，然后再编译为Opcode码，最后执行Opcode码，返回结果；所以，对于相同的php文件，第一次运行时可以缓存其Opcode码，下次再执行这个页面时，直接会去找到缓存下的opcode码，直接执行最后一步，而不再需要中间的步骤了。

比较知名的是XCache、TurckMMCache、PHPAccelerator等。

六、按内容变更进行缓存这个也并非独立的缓存技术，需结合着用；就是当数据库内容被修改时，即刻更新缓存文件；比如，一个人流量很大的商城，商品很多，商品表必然比较大，这表的压力也比较重；我们就可以对商品显示页进行页面缓存；当商家在后台修改这个商品的信息时，点击保存，我们同时就更新缓存文件；那么，买家访问这个商品信息时，实际问的是一个静态页面，而不需要再去访问数据库；试想，如果对商品页不缓存，那么每次访问一个商品就要去数据库查一次，如果有10万人在线浏览商品，那服务器压力就大了；七、内存式缓存提到这个，可能大家想到的首先就是Memcached；memcached是高性能的分布式内存缓存服务器。

一般的使用目的是，通过缓存数据库查询结果，减少数据库访问次数，以提高动态Web应用的速度、提高可扩展性。

它就是将需要缓存的信息，缓存到系统内存中，需要获取信息时，直接到内存中取；比较常用的方式就是key_>value方式；connect($memcachehost,$memcacheport)ordie("Couldnotconnect");$memcache->set('key','缓存的内容');$get=$memcache->get($key);//获取信息>八、apache缓存模块apache安装完以后，是不允许被cache的。

天津IT培训http://wwwkmbdqncn/认为如果外接了cache或squid服务器要求进行web加速的话，就需要在htttpdconf里进行设置，当然前提是在安装apache的时候要激活mod_cache的模块。

问题一：如何架设缓存DNS服务器 Windows Server配置缓存DNS：

安装DNS后，不设置任何zone。只通过forwarder、root hint对名称进行解析。参考：

technetmicrosoft/217396

有问题的话你可以直接到微软的论坛提问：socialtechnetmicrosoft/Forums/en-us/home

问题二：服务器缓存怎么设置啊 双核cpu 用ok缓存，是单核心cpu用liunx的缓存

问题三：怎么搭建一个tair缓存服务器 能啊，不过不知你要怎么做。

一般来说，对企业级用户才需要这些功能。主要就是避开上网高峰期，利用夜间来把网页等内容缓存下来，到了白天再用，再打开时可以看到网页是前一天或当天凌晨的。不过，不要紧，一点“刷新”就好了，因为大部分内容都下来了，改动也就很少，浏览网页的速度也就很快了。

方法我知道有两种，都是基于系统服务器的：1 WINDOWS系统下可以装一个ISA2000之类的软件，它可以提供防火墙、NAT、缓存三大功能。这个软件一时半会说不清楚，你可以自己下一个下来慢慢来，并不是很难。2 LINUX系统下也可以实现，在安装了一个叫squid的服务后，这个功能就可以再通过配置来实现，不过配置全是用命令，有点困难了。

最后，建议用ISA来做，或者找些专用的小软件之类的。顺便问一下，你该不是在开网吧，自学吧。

问题四：如何将一个页面缓存一天，服务器该如何设置 16G20台 安装2008SP2 系统自己缓存就可以了 查看原帖>>

问题五：linux网吧缓存服务器如何架设 现成的缓存服务器MQCache，下载安装，省时又省力

问题六：Win2003系统缓存怎么设置(服务器) 20分 的电脑--属性---高级----性能“设置”---高级---虚拟内存“设置”，可修改页面大小等。。。

问题七：16G服务器，怎么设置缓存啊！ - 16G20台 安装2008SP2 系统自己缓存就可以了 查看原帖>>

问题八：如何在IIS里设置服务器端缓存时间？ 设置IIS缓存的方法

1测试，可以缓存整个Share工程（经测试IIS中的缓存测试对ASPX页面不起作用，估计与页面压缩的设置原理一样）；

2需要设置缓存的工程： Share，Portal（根据IIS日志分析报告中的“Most Requested Directories”得出）；

3设置的方法：

第一步：

打开 IIS 配置管理工具（Internet 信息服务(IIS)管理器）。

选中一个目录（或者网站，如果您想为所有站点配置，请选择点中“网站”那个图标），点“属性”按钮，会弹出一个配置窗口

第二步：

选择“HTTP 头” TAB 标签，然后您会看到：“自定义 HTTP 头”一栏。

第三步：

点旁边的“添加(D)”按钮，来添加上那条命令。

在弹出的窗口中：“自定义 HTTP 头名(C)”中输入：“Cache-Control”，在“自定义 HTTP 头值(U)”中输入：“Must-revalidate”。

Cache-Control头的参数设置：

Public 响应会被缓存，并且在多用户间共享。

Private 响应只能够作为私有的缓存，不能再用户间共享。

No-cache 响应不会被缓存

No-store 响应不会被缓存，并且不会被写入到客户端的磁盘里，这也是基于安全考虑的某些敏感的响应才会使用这个。

Max-age=#seconds 响应将会某个指定的秒数内缓存，一旦时间过了，就不会被缓存。

Must-revalidate 响应会被重用来满足接下来的请求，但是它必须到服务器端去验证它是不是仍然是最新的。

注意：

如果你要想在iis中配置缓存，请参阅微软的知识技术文章：

・ How to Modify the Cache-Control HTTP Header When You Use IIS

不知道这样可以 不可以啊。

问题九：做前端静态资源缓存服务器有哪些成熟易搭建的方案 我现在是把阿里云的 CDN 直接解析到 OSS 。

每天的 PV ， 1 万到 5 万。

然而才用了一个多月就跑了 300+G 流量。 036/GB 。泪。

阿里云的 CDN 实在是太贵了，用峰值带宽的话，根本就不能控制成本啊！万一有个用户 100M 水管，那一天岂不是要付 100 块钱？

所以还不如选一个好一点的 BGP 线路机器反代到 OSS 。

自己用 squid 搭建吗？

如果主站是 HTTPS 的， squid 能配置 SSL 吗？还是说要 nginx 配置 SSL 以后再去反代 squid ，然后 squid 反代 oss ？

有没有配置脚本？

还是装个 AMH/WDCP 之类面板，然后可以傻瓜化配置？

对主机磁盘 IO 、内存有什么要求？

问题十：安装秒开缓存服务器后怎么检测数据是否走缓存了？ 两个：

一是设置浏览器，以IE为例，打开工具-Internet选项-Internet临时文件里的设置，改为每次访问时检查

二是设置服务器端,以IIS为例，设置内容过期为立即过期，那这样每次都会从服务器下载新的数据，代价是服务器的带宽占用大幅度上升