阿里云redis集群数据集中在db0未分散到所有节点问题解决

阿里云redis集群数据集中在db0未分散到所有节点问题解决,第1张

背景介绍:我们系统使用的缓存服务是付费版的阿里云的redis集群服务,配置是4核,16G。redis的集群结构如下:分为四个节点DB0,DB1,DB2,DB3

之前的存储方案是存储的商品促销数据,结构是:

KEY FIELD VALUE来存储。其中KEY是一个固定的字符串"zy:prom:wx",FIELD则是商品sku,VALUE是商品促销的具体信息。这种方式导致我们存入缓存服务器的数据一直集中在DB0节点上,在访问量过大时,该节点会在短时间内受到到的访问压力很大,DB0的cpu瞬间达到100%以上,造成服务卡顿甚至不可用。而相比之下DB1,DB2,DB3的节点cpu压力却很小,可以忽略不计。这是为什么?最后询问了阿里的技术,他们说我们的数据存储的方法有误,具体是我们的key设置有误。与阿里的技术对话如下:

所以我们后来改造了方案把key的组成变程了"prom:wx:sku",这样key就会根据sku的不同而不同,增大了key的离散度,这样key通过hash算出来的值,就会不同,使得所有的数据不再存放到同一台节点上,完美解决问题。

修改后的存储分布情况如下图:DB0、DB1、DB2、DB3四个节点数据均匀分布。

对修改前后两天同一时间区间的缓存服务器的cpu压力情况对比:

有可能是公司网络不稳定,重启一下。

存储数据与服务器要稳定,自建的服务器性能比较差,需要清理缓存。

在保证软件的运行环境下,要选择存储的服务器要好,可以去看看艾得科技亿fang通ERP,他是云服务器集群的模式,性能很高的。

你这个配置吧,跑这么多网站,还是交友型的网站,估计是不行的,很容易就卡顿了。

交友型网站的特点是同时在线用户很多,这就很考验CPU和内存的。1核1g内存根本不够用。根据你的业务需求,建议采用 2核 4G内存 5M 带宽配置,这样才能很流畅的跑起来三四个新站,两个交友网站。用户在使用的时候,也不会觉得卡顿。

至于服务器方面,请参考阿里云2核 4G内存5M 带宽云服务器的提议,因为你问题中的配置确实不够用,所以才建议你考虑下这个配置的云服务器。要想用户用的流畅就得用这个配置了。

最后说一下数据盘,阿里云会默认送40G云盘使用,估计你这几个业务差不多够用了,如果预计不够用的话,再买40G云盘就肯定够用了。

从使用阿里云GPU云服务器运行katago开始,就发现一个问题:那就是使用sabaki通过gtp协议调用katago,非常顺畅没有任何问题。而同样的运行参数,一旦使用lizzie调用,则卡顿现象十分严重,不得不反复通过暂停、重开,来获取数据。

开始以为是带宽的问题,后来即便将带宽提高到5M也没有丝毫效果。改用AutoDL服务器后,其带宽不需要指定,同样卡顿没有改善。

前几天通过网上学习ssh的时候,看到有文章提到不同ssh服务器,客户端获取的返回数据不一样。受此启发,想到同样GPU服务器,sabaki正常而lizzie存在问题,那说明应该是客户端获取服务器数据、转换的问题。lizzie最早是针对Leelazero的,在获取katago的gtp数据时,对部分数据不识别,或者识别转换效率低,所以导致卡顿,甚至不能正常显示。

于是查看katago的配置文件,感觉应该是logToStderr参数的问题。默认值是false,为了在sabaki观战时看到AI的计算情况,我将值改为TRUE,这样gtp日志输出到sabaki终端。但这样一来,lizzie可能对大量输入数据有些不知所措了。本机还好,一旦通过ssh获取,更是应接不暇了。

果然,将logToStderr值修改为false之后,再调用lizzie,一切正常,顺利完成旧文旧局:“未完”的一局(钱宇平vs小林光一),算是开了一个好头。

应该是你网站被攻击了,如DDOS/CC攻击这些都是消耗你服务器资源的。解决办法是购买阿里云高防IP,防火墙。不过阿里云的价格贵死。推荐你用百度云加速的吧。

百度云加速是百度旗下为网站提供一站式加速、安全防护和搜索引擎优化的产品。百度云加速是市场占有率最高的云加速产品之一,正为数十万用户的近百万网站提供CDN、网络安全和SEO服务。每天处理十亿级的PV流量及数百亿TB的数据流量,并提供市场顶尖水平的稳定性和抗攻击能力。

百度云加速以部署于骨干网的数据中心为支撑,结合百度深度学习技术,为您的网站提供性能和流量优化,致力与广大开发者一起于打造开放、安全的云服务生态系统。 我们希望更多的网站合作伙伴以及中小企业能受益于百度云加速带来的价值及红利,从而使得云生态能够更加良性的发展。

百度云加速为用户提下以下三大类功能:

1、网站加速

百度云加速节点遍布全中国,通过智能DNS解析等技术,将访问网站的用户引导至最快的节点,通过动静态加速及页面优化技术,极大的提高网站的访问速度和用户体验。此外,还可以大量节省网站自身的服务计算和带宽资源。

2、安全防护

百度云加速可以同时防护包括SQL注入、XSS、Web服务器漏洞、应用程序漏洞以及文件访问控制等问题在内的十多种黑客渗透攻击和SYN Flood、UDP Flood、ICMP Flood、TCP Flood以及CC在内的多种DDoS攻击。

3、SEO

百度云加速的百度蜘蛛DNS同步功能,可以做到和百度蜘蛛实时同步DNS信息,保证百度蜘蛛的正常抓取,保证搜索引擎权重的稳定性;通过死链自动提交、sitemap自动提交,及时收录网站信息,提高网站索引量。

DABAN RP主题是一个优秀的主题,极致后台体验,无插件,集成会员系统
网站模板库 » 阿里云redis集群数据集中在db0未分散到所有节点问题解决

0条评论

发表评论

提供最优质的资源集合

立即查看 了解详情