第二代上网行为管理的第二章 功能介绍

网络用户是基于IP/MAC或者账号和密码的认证方式，用户只需新建一个PPPoE宽带连接，输入用户账号和密码就可以通过路由器的认证，便可使用网络资源。为了确保管理员能够查询使用网络的资源的情况，还提供了一些附件功能，如即时查询使用时间、流量等信息。

211用户认证

第二代上网行为管理路由器把用户的账号、IP、MAC地址进行三层绑定，以此确保用户的唯一性，避免账号的盗用。第二代上网行为管理路由器提供了简单的用户认证接入网络：

l基于PPPoE账号的用户认证；

l基于WEB账号的用户认证；

l基于IP的用户认证；

l基于MAC的用户认证；

l支持PPPoE账号绑定IP地址/MAC地址；

l同时可以满足实名认证机制；

l提供其他的认证机制；

212 用户授权

用户通过输入账号用户名和密码之后，用户的认证信息发送到路由器，在与数据库的数据进行匹配之后，路由器将返回认证信息。

根据不同的用户和用户组，设定用户的上网权限，包括用户的上网使用的计算机，用户接入网络的IP地址，

223 用户账号的计费

对用户的计费是基于多种策略的，可以根据用户的需要选择基于时间、流量以及日期的灯多种计费策略。

l支持基于PPPoE账号的按流量/时间/日期等计费；

l支持基于WEB账号按流量/时间/日期等计费；

l支持账号到期通告功能； l

221 WEB访问机制

l记录用户的访问URL地址；

l强大的URL分类库；

l支持自定义的URL分类；

l基于网站分类的URL控制策略；

l基于关键字的过滤；

l实时的查看用户访问的URL地址；

l可记录特定论坛的登录信息；

l可记录特定论坛的发帖信息；

222 外发信息及邮件审计控制

l记录用户的网站访问痕迹；

l记录用户在网页提交的HTTP表单地址以及内容；

l表单的自动分类（如登录、邮件、BBS等分类）和统计；

l支持SNMP、POP3协议；

l记录邮件的发件人、收件人、标题、正文、附件、大小等信息；

l灵活多样的监控规则；

l收发人、发件人监控；

l标题内容监控；

l正文内容审计；

l附件名称审计；

l邮件大小审计；

l邮件内容和附件的下载；

223 地下浏览记录

l记录用户使用代理软件（如无界、自由门、花园等）所进行的网站访问记录。

224 即时聊天软件监控

l支持主流的聊天工具，包括MSN、QQ、阿里旺旺、飞信等；

l记录聊天账号、上下线时间、聊天持续时间、聊天内容等信息；

l记录MSN/QQ/阿里旺旺/飞信等有关文件上传、下载等动作，提供本地审核。

225 FTP/HTTP传输审计

l记录FTP登录账号、密码、服务器IP地址；

l记录传输文件的时间、文件名称、传输方向、大小等信息；

l记录HTTP下载的文件名、时间、大小等信息；

226 P2P协议监控

l记录BT、迅雷、电驴等协议带宽使用情况；

l记录P2P下载文件名、时间、大小等信息；

l可阻止P2P资源搜索；

l可阻止特定的P2P软件；

227 网络游戏审计

l记录网络游戏的在线时间、结束时间、游戏时间段等；

l可定义网络游戏规则、种类以及相关策略；

228 炒股软件监控

l记录用户开始使用炒股软件时间、用户IP/账号等信息；

l可对炒股软件的使用进行控制（阻断或限制）；

229 网络电视监控

l记录用户使用网络电视的开始时间、结束时间以及使用客户端等信息；

l可真的网络电视自主的设置管理规则，可以限制在某一时段开启或阻断；

2210 异常网络流量监控

l实时监控网络流量状态；

l实时监控NAT会话；

l统计警告网络中的异常流量，例如网络内部的异常ARP状态，并给出异常流量告警；

2211 域名审计设置

l外网白名单，可免除对指定站点的访问审计监控；

l外网黑名单，可禁止访问指定站点；

l内网白名单，可免除白名单用户或IP的上网行为审计；

l内网黑名单，可禁止黑名单内用户或IP的使用互联网； 231 流量-时间分布报表

流量-时间分布报表显示过去一段时间内流量随时间分布的曲线，便于管理员掌握网络资源的使用情况。

（图3 流量-时间分布报表）

232 兴趣-URL排名

兴趣-URL排名可以查看当前网络中内网用户访问URL的有效数次，可以根据访问的频率进行有效的排列。

（图4 兴趣-URL排名）

233 应用流量排名

应用流量排名可以根据当前内网用户的应用流量进行统计，并根据统计数据排列出当前应用数据排名。

（图5 应用流量排名）

234 警告统计

路由器可以统计

（图6 警告数次统计） 241 云存储

艾泰设备可以将设备日志定期上传到艾泰云端服务器，艾泰设备根据带宽使用情况而定，选择在带宽空闲时上传数据，繁忙时不占用带宽。艾泰设备将配置信息自动同步到云端，在设备恢复到出厂设置时可以自动加载配置信息，无需重新配置。艾泰云端服务器给每台设备预留1GB存储空间，可用于保存日志信息，审计报告，配置备份等数据。

242 云监控

艾泰服务云端可以监控设备运行状态，定制异常信息推送给用户的互联网设备（如受到FLOOD攻击时），审计功能交由云端完成，并可在云端生成审计报告，可自动生成日报/周

报/月报定期推送给用户，网络设备异常可以实现即时以邮件/手机短信等快捷方式告知用户。

243 云端数据中心

艾泰云端服务器可以对各种网络应用进行有效的统计，即时了解互联网的应用信息，同时对应用进行排序并对各种应用评级等，供用户参考，帮助用户更好的使用艾泰设备的各种功能。 网络卡、网络慢是网络中常见问题，如何有效提高网络的带宽利用率，是很多网络管理人员一直需要面对的问题。上海艾泰第二代上网行为管理器系统对此给出了一个的带宽管理解决方案：以应用为基础，以优先级为条件，辅以连接数、连接速率以及传输方向来进行智能带宽管理策略设置。合理的策略设置，能够使当前的网络为更多的网络用户和应用服务，并可以通过优先级设置、权限设置等多种带宽管理方式来管理或限制网络娱乐或其它非业务应用对网络的占用，保证关键业务和正常业务的畅通。网络应用能够通过系统的多种管理形式来设定和控制用户的网络使用带宽。

251 智能弹性带宽

基于应用的智能弹性带宽管理需要准确分析到数据的协议类型以及应用类型，所设置的带宽策略才能准确限制各业务、合理分配各用户的网络带宽使用情况。基于应用的智能弹性带宽管理策略的好处在于：能够根据需求区分主要业务与次要业务、非业务等网络应用，有效保证关键业务对网络带宽的占用情况。如下图所示：

（图7 智能弹性带宽管理）

252 个性化带宽控制

在确定应用管理的基础上，路由器还可以根据用户或用户组设置不同带宽分配策略，例如可以设置不同组的每组带宽策略，亦可根据不同用户进行带宽设置，使带宽管理能够准确管理到用户；还可以设置不同的优先级，优先保障关键业务的带宽占用，使得每组用户中的非关键应用在保障核心关键业务顺畅运转的基础上可以使用部分网络带宽，从而最大程度的提升网络利用率。 通过对用户组带宽策略的设置，还能有效提升网内服务器群组的出口带宽，保障网内服务器群组的对外服务能力，缩短响应时间。带宽管理的设置经过了充分的考虑以及合理的规划，可以实现针对网络中的任一用户或用户组的能够基于应用的带宽管理；用户及用户组不需另外添加，由系统自动从已有的用户列表中读取，然后由用户进行选择。策略添加页面如下图所示：

（图8 智能弹性带宽管理） 虚拟专用网络（Virtual Private Network ，简称***)指的是在公用网络上建立专用网络的技术。其之所以称为虚拟网，主要是因为整个***网络的任意两个节点之间的连接并没有传统专网所需的端到端的物理链路，而是架构在公用网络服务商所提供的网络平台，如Internet、ATM(异步传输模式)、Frame Relay （帧中继）等之上的逻辑网络，用户数据在逻辑链路中传输。它涵盖了跨共享网络或公共网络的封装、加密和身份验证链接的专用网络的扩展。***主要采用了彩隧道技术、加解密技术、密钥管理技术和使用者与设备身份认证技术。艾泰第二代行为管理路由器支持多种***技术-PPTP/L2TP/Ipsec ***等。

lL2TP服务器/客户端；

lPPTP服务器/客户端；

lIpsec ***;

lDES/3DES/AES128/AES192/AES256加密算法；

l主模式和野蛮模式协商；

lSHA-1/MD5认证算法；

lESP和AH协议；

l抗重播以及Ipsec NAT穿透； 网络行为管理系统采用数据包过滤的方式，对内外网络的交换数据进行必要的审查和过滤，能够有效的降低网络内部的安全风险。其中包括各种病毒的攻击功能。

通过建立访问控制访问控制列表，限制和管理内网用户和外网用户的访问请求，同时能够禁止内网和外网病毒攻击和黑客攻击。

l基于时间段的防火墙策略；

l基于接口的防火墙策略；

lDNS请求过滤；

l基于对象（源地址组、目的地址组、服务组）的高级防火墙策略列表；

lFlood攻击防御；

lARP欺骗主动防御；

lDoS/DdoS攻击防御；

l常见的病毒防御；

一、环境变量 -> 我的软件，打开 FTP Server 配置

点击“配置”，查看 FTP 配置信息

二、配置

1 配置文件

a 搜索关键字

使用 Ctrl+F 组合键，在界面底部显示搜索区域

在搜索输入框中输入关键字，点击搜索，右侧可以选择“全词匹配”、“匹配大小写”、“反向查找”辅助搜索

b 替换关键字

使用 Ctrl+R 组合键，在界面底部显示替换区域，最右侧可以选择“全词匹配”、“匹配大小写”辅助替换

输入替换前后的关键字后

① 全部替换

点击“全部替换”，提示替换成功

② 恢复

点击“恢复”，恢复到替换之前的状态

③ 保存

修改之后，点击“保存”

2 日志查看

日志查看步骤：

① 点击“日志类型”下拉列表，选择要查询的日志类型

② 点击“查询”

云服务异常一般情况下不会直接发送短信到手机。这是因为云服务通常是由服务器或计算机集群来提供的，而短信通常是通过电信运营商的短信网关进行发送的。云服务异常多数情况下会通过其他方式来通知用户，比如邮件、应用程序推送通知、控制面板或管理界面上的警报信息等。

这种设计考虑到了多个方面的因素。首先，直接发送短信到用户手机上可能会导致短信滥用或过度发送的问题，造成用户的困扰。其次，短信通知也可能会涉及到额外的费用，增加了成本负担。而通过其他方式进行通知，可以更加灵活地进行配置和管理，也更容易实现自动化处理。

当然，有些云服务提供商也可能提供了短信通知的功能，但这通常是作为可选项或高级功能来提供的，并且可能需要用户自行配置和设置。

拓展内容：除了短信通知，云服务通常还会提供其他多种方式来通知用户异常，如邮件通知、应用程序推送通知等。这些方式可以根据用户的需求和偏好来进行设置，确保用户能够及时了解到云服务的异常情况，以便采取相应的措施进行处理。同时，云服务提供商也会不断优化和改进通知机制，以提供更好的用户体验和服务质量。

DDOS攻击，直接找机房要流量图就看得到。把服务器ip打挂了，连接不上服务器，不通了。

cc攻击:cpu变得很高，操作很卡，可以先让服务器商分析下，进服务器里看下，现在很多服务器安全软件，市面有云盾，金盾，cdn等各种防护软件。

服务器被攻击的基本处理办法:

检查系统日志，查看下是什么类型的攻击，看下攻击者都去了哪些地方。内容是否又被修改的痕迹等，如果发现问题及时进行清理。

关闭不必要的服务和端口。

定期整体扫描下服务器，看下存在什么问题， 有漏洞及时打补丁；检查是否有影子账户，不是自己建立的账号等。

重新设置账户密码，密码设置的复杂些；以及设置账户权限。

对服务器上的安全软件进行升级，或者是对防护参数进行重新设置，使他符合当时的环境。如果没有安装，可以安装个服务器安全狗，同时，还可以将服务器添加到安全狗服云平台上，这样当有攻击发生时，可以快速知道，并进行处理等。

检测网站，是否又被挂马、被篡改、挂黑链等，如果有，及时清理。

如果是大流量攻击，可以看下DOSS流量清洗，这个很多安全厂商都有这个服务。

定期备份数据文件。如果之前有做备份，可以对重要数据进行替换。

如果不希望被攻击的话推荐租用高防服务器。

蘑菇街基于 OpenStack 和 Docker 的私有云实践

本次主要想分享一下过去一年时间里，我们在建设基于Docker的私有云实践过程中，曾经遇到过的问题，如何解决的经验，还有我们的体会和思考，与大家共勉。

在生产环境中使用Docker有一些经历和经验。私有云项目是2014年圣诞节期间上线的，从无到有，经过了半年多的发展，经历了3次大促，已经逐渐形成了一定的规模。

架构

集群管理

大家知道，Docker自身的集群管理能力在当时条件下还很不成熟，因此我们没有选择刚出现的 Swarm，而是用了业界最成熟的OpenStack，这样能同时管理Docker和KVM。我们把Docker当成虚拟机来跑，是为了能满足业务上对虚拟化的需求。今后的思路是微服务化，把应用进行拆分，变成一个个微服务，实现PaaS基于应用的部署和发布。

通过OpenStack如何管理Docker我们采用的是OpenStack+nova-docker+Docker的架构模式。nova- docker是StackForge上一个开源项目，它做为nova的一个插件，通过调用Docker的RESTful接口来控制容器的启停等动作。

我们在IaaS基础上自研了编排调度等组件，支持应用的弹性伸缩、灰度升级等功能，并支持一定的调度策略，从而实现了PaaS层的主要功能。

同时，基于Docker和Jenkins实现了持续集成(CI)。Git中的项目如果发生了git push等动作，便会触发Jenkins Job进行自动构建，如果构建成功便会生成Docker Image并push到镜像仓库。基于CI生成的Docker Image，可以通过PaaS的API或界面，进行开发测试环境的实例更新，并最终进行生产环境的实例更新，从而实现持续集成和持续交付。

网络和存储

网络方面，我们没有采用Docker默认提供的NAT网络模式，NAT会造成一定的性能损失。通过OpenStack，我们支持Linux bridge和Open vSwitch，不需要启动iptables，Docker的性能接近物理机的95%。

容器的监控

监控方面，我们自研了container tools，实现了容器load值的计算，替换了原有的top、free、iostat、uptime等命令。这样业务方在容器内使用常用命令时看到的是容器的值，而不是整个物理机的。目前我们正在移植Lxcfs到我们的平台上。

我们还在宿主机上增加了多个阈值监控和报警，比如关键进程监控、日志监控、实时pid数量、网络连接跟踪数、容器oom报警等等。

冗灾和隔离性

冗灾和隔离性方面，我们做了大量的冗灾预案和技术准备。我们能够在不启动docker daemon的情况下，离线恢复Docker中的数据。同时，我们支持Docker的跨物理机冷迁移，支持动态的CPU扩容/缩容，网络IO磁盘IO的限速。

遇到的问题及解决方法

接近一年不到的产品化和实际使用中我们遇到过各种的问题，使用Docker的过程也是不断优化Docker、不断定位问题、解决问题的过程。

我们现在的生产环境用的是CentOS 65。曾经有个业务方误以为他用的Docker容器是物理机，在Docker容器里面又装了一个Docker，瞬间导致内核crash，影响了同一台物理机的其他Docker容器。

经过事后分析是2632-431版本的内核对network namespace支持不好引起的，在Docker内创建bridge会导致内核crash。upstream修复了这个bug，从2632-431升级到2632-504后问题解决。

还有一个用户写的程序有bug，创建的线程没有及时回收，容器中产生了大量的线程，最后在宿主机上都无法执行命令或者ssh登陆，报的错是"bash: fork: Cannot allocate memory"，但通过free看空闲的内存却是足够的。

经过分析，发现是内核对pid的隔离性支持不完善，pid_max(/proc/sys/kernel/pid_max)是全局共享的。当一个容器中的pid数目达到上限32768，会导致宿主机和其他容器无法创建新的进程。最新的43-rc1才支持对每个容器进行pid_max限制。

我们还观察到docker的宿主机内核日志中会产生乱序的问题。经过分析后发现是由于内核中只有一个log_buf缓冲区，所有printk打印的日志先放到这个缓冲区中，docker host以及container上的rsyslogd都会通过syslog从kernel的log_buf缓冲区中取日志，导致日志混乱。通过修改 container里的rsyslog配置，只让宿主机去读kernel日志，就能解决这个问题。

除此之外，我们还解决了device mapper的dm-thin discard导致内核crash等问题。

体会和思考

最后分享一下我们的体会和思考，相比KVM比较成熟的虚拟化技术，容器目前还有很多不完善的地方，除了集群管理、网络和存储，最重要的还是稳定性。影响稳定性的主要还是隔离性的不完善造成的，一个容器内引起的问题可能会影响整个系统。

容器的memcg无法回收slab cache，也不对dirty cache量进行限制，更容易发生OOM问题。还有，procfs上的一些文件接口还无法做到per-container，比如pid_max。

另外一点是对容器下的运维手段和运维经验的冲击。有些系统维护工具，比如ss，free，df等在容器中无法使用了，或者使用的结果跟物理机不一致，因为系统维护工具一般都会访问procfs下的文件，而这些工具或是需要改造，或是需要进行适配。

虽然容器还不完善，但是我们还是十分坚定的看好容器未来的发展。Kubernetes、Mesos、Hyper、CRIU、runC等容器相关的开源软件，都是我们关注的重点。

Q&A

Q：请问容器间的负载均衡是如何做的

A： 容器间的负载均衡，更多是PaaS和SaaS层面的。我们的P层支持4层和7层的动态路由，通过域名的方式，或者名字服务来暴露出对外的接口。我们能够做到基于容器的灰度升级，和弹性伸缩。

Q：请问你们的OpenStack是运行在CentOS 65上的吗

A: 是的，但是我们针对OpenStack和Docker依赖的包进行了升级。我们维护了内部的yum源。

Q：请问容器IP是静态编排还是动态获取的

A: 这个跟运维所管理的网络模式有关，我们内部的网络没有DHCP服务，因此对于IaaS层，容器的IP是静态分配的。对于PaaS层来说，如果有DHCP服务，容器的App所暴露出来IP和端口就可以做到动态的。

Q：请问你们当时部署的时候有没有尝试过用Ubuntu，有没有研究过两个系统间的区别，另外请问你们在OpenStack上是怎样对这些虚拟机监控的

A: 我们没有尝试过Ubuntu，因为公司生产环境上用的是CentOS。我们的中间件团队负责公司机器的监控，我们和监控团队配合，将监控的agent程序部署到宿主机和每个容器里，这样就可以当成虚拟机来进行监控。

当然，容器的数据是需要从cgroups里来取，这部分提取数据的工作，是我们来实现的。

Q：容器间的网络选型有什么建议，据说采用虚拟网卡比物理网卡有不小的性能损失，Docker自带的weaves和ovs能胜任吗

A: 容器的网络不建议用默认的NAT方式，因为NAT会造成一定的性能损失。之前我的分享中提到过，不需要启动iptables，Docker的性能接近物理机的95%。Docker的weaves底层应该还是采用了网桥或者Open vSwitch。建议可以看一下nova-docker的源码，这样会比较容易理解。

Q：静态IP通过LXC实现的吗

A: 静态IP的实现是在nova-docker的novadocker/virt/docker/vifspy中实现的。实现的原理就是通过ip命令添加 veth pair，然后用ip link set/ip netns exec等一系列命令来实现的，设置的原理和weaves类似。

Q：容器内的进程gdb你们怎么弄的，把gdb打包到容器内吗

A: 容器内的gdb不会有问题的，可以直接yum install gdb。

Q：共享存储能直接mount到容器里吗

A: 虽然没试过，但这个通过docker -v的方式应该没什么问题。

Q：不启动Docker Daemon的情况下，离线恢复Docker中的数据是咋做到的

A: 离线恢复的原理是用dmsetup create命令创建一个临时的dm设备，映射到Docker实例所用的dm设备号，通过mount这个临时设备，就可以恢复出原来的数据。

Q：Docker的跨物理机冷迁移，支持动态的CPU扩容/缩容，网络IO磁盘IO的限速，是怎么实现的，能具体说说吗

A：Docker的冷迁移是通过修改nova-docker，来实现OpenStack迁移的接口，具体来说，就是在两台物理机间通过docker commit，docker push到内部的registry，然后docker pull snapshot来完成的。

动态的CPU扩容/缩容，网络IO磁盘IO的限速主要是通过novadocker来修改cgroups中的cpuset、iops、bps还有TC的参数来实现的。

Q：请问你们未来会不会考虑使用Magnum项目，还是会选择Swarm

A：这些都是我们备选的方案，可能会考虑Swarm。因为Magnum底层还是调用了Kubernetes这样的集群管理方案，与其用Magnum，不如直接选择Swarm或者是Kubernetes。当然，这只是我个人的看法。

Q：你们的业务是基于同一个镜像么，如果是不同的镜像，那么计算节点如何保证容器能够快速启动

A：运维会维护一套统一的基础镜像。其他业务的镜像会基于这个镜像来制作。我们在初始化计算节点的时候就会通过docker pull把基础镜像拉到本地，这也是很多公司通用的做法，据我了解，腾讯、360都是类似的做法。

Q：做热迁移，有没有考虑继续使用传统共享存储的来做

A： 分布式存储和共享存储都在考虑范围内，我们下一步，就计划做容器的热迁移。

Q：请问你们是直接将公网IP绑定到容器吗，还是通过其他方式映射到容器的私有IP，如果是映射如何解决原本二层的VLAN隔离

A：因为我们是私有云，不涉及floating ip的问题，所以你可以认为是公网IP。VLAN的二层隔离完全可以在交换机上作。我们用Open vSwitch划分不同的VLAN，就实现了Docker容器和物理机的网络隔离。

Q：Device mapper dm-thin discard问题能说的详细些吗

A：4月份的时候，有两台宿主机经常无故重启。首先想到的是查看/var/log/messages日志，但是在重启时间点附近没有找到与重启相关的信息。而后在/var/crash目录下，找到了内核crash的日志vmcore-dmesgtxt。日志的生成时间与宿主机重启时间一致，可以说明宿主机是发生了kernel crash然后导致的自动重启。“kernel BUG at drivers/md/persistent-data/dm-btree-removec:181!”。 从堆栈可以看出在做dm-thin的discard操作(process prepared discard)，虽然不知道引起bug的根本原因，但是直接原因是discard操作引发的，可以关闭discard support来规避。

我们将所有的宿主机配置都禁用discard功能后，再没有出现过同样的问题。

在今年CNUTCon的大会上，腾讯和大众点评在分享他们使用Docker的时候也提到了这个crash，他们的解决方法和我们完全一样。

Q：阈值监控和告警那块，有高中低多种级别的告警吗，如果当前出现低级告警，是否会采取一些限制用户接入或者砍掉当前用户正在使用的业务，还是任由事态发展

A：告警这块，运维有专门的PE负责线上业务的稳定性。当出现告警时，业务方和PE会同时收到告警信息。如果是影响单个虚拟机的，PE会告知业务方，如果严重的，甚至可以及时下掉业务。我们会和PE合作，让业务方及时将业务迁移走。

Q：你们自研的container tools有没有开源，GitHub上有没有你们的代码，如何还没开源，后期有望开源吗，关于监控容器的细粒度，你们是如何考虑的

A：虽然我们目前还没有开源，单我觉得开源出来的是完全没问题的，请大家等我们的好消息。关于监控容器的细粒度，主要想法是在宿主机层面来监控容器的健康状态，而容器内部的监控，是由业务方来做的。

Q：请问容器的layer有关心过层数么，底层的文件系统是ext4么，有优化策略么

A：当然有关心，我们通过合并镜像层次来优化docker pull镜像的时间。在docker pull时，每一层校验的耗时很长，通过减小层数，不仅大小变小，docker pull时间也大幅缩短。

Q：容器的memcg无法回收slab cache，也不对dirty cache量进行限制，更容易发生OOM问题。----这个缓存问题你们是怎么处理的

A：我们根据实际的经验值，把一部分的cache当做used内存来计算，尽量逼近真实的使用值。另外针对容器，内存报警阈值适当调低。同时添加容器OOM的告警。如果升级到CentOS 7，还可以配置kmemlimit_in_bytes来做一定的限制。

Q：能详细介绍下你们容器网络的隔离

A：访问隔离，目前二层隔离我们主要用VLAN，后面也会考虑VXLAN做隔离。 网络流控，我们是就是使用OVS自带的基于port的QoS，底层用的还是TC，后面还会考虑基于flow的流控。

Q：请问你们这一套都是用的CentOS 65吗，这样技术的实现。是运维还是开发参与的多

A：生产环境上稳定性是第一位的。CentOS 65主要是运维负责全公司的统一维护。我们会给运维在大版本升级时提建议。同时做好虚拟化本身的稳定性工作。

Q：请问容器和容器直接是怎么通信的网络怎么设置

A：你是指同一台物理机上的吗我们目前还是通过IP方式来进行通信。具体的网络可以采用网桥模式，或者VLAN模式。我们用Open vSwitch支持VLAN模式，可以做到容器间的隔离或者通信。

Q：你们是使用nova-api的方式集成Dcoker吗，Docker的高级特性是否可以使用，如docker-api，另外为什么不使用Heat集成Docker

A：我们是用nova-docker这个开源软件实现的，nova-docker是StackForge上一个开源项目，它做为nova的一个插件，替换了已有的libvirt，通过调用Docker的RESTful接口来控制容器的启停等动作。

使用Heat还是NOVA来集成Docker业界确实一直存在争议的，我们更多的是考虑我们自身想解决的问题。Heat本身依赖的关系较为复杂，其实业界用的也并不多，否则社区就不会推出Magnum了。

Q：目前你们有没有容器跨DC的实践或类似的方向

A：我们已经在多个机房部署了多套集群，每个机房有一套独立的集群，在此之上，我们开发了自己的管理平台，能够实现对多集群的统一管理。同时，我们搭建了Docker Registry V1，内部准备升级到Docker Registry V2，能够实现Docker镜像的跨DC mirror功能。

Q：我现在也在推进Docker的持续集成与集群管理，但发现容器多了管理也是个问题，比如容器的弹性管理与资源监控，Kubernetes、Mesos哪个比较好一些，如果用在业务上，那对外的域名解析如何做呢，因为都是通过宿主机来通信，而它只有一个对外IP

A： 对于Kubernetes和Mesos我们还在预研阶段，我们目前的P层调度是自研的，我们是通过etcd来维护实例的状态，端口等信息。对于7层的可以通过Nginx来解析，对于4层，需要依赖于naming服务。我们内部有自研的naming服务，因此我们可以解决这些问题。对外虽然只有一个IP，但是暴露的端口是不同的。

Q：你们有考虑使用Hyper Hypernetes吗 实现容器与宿主机内核隔离同时保证启动速度

A：Hyper我们一直在关注，Hyper是个很不错的想法，未来也不排除会使用Hyper。其实我们最希望Hyper实现的是热迁移，这是目前Docker还做不到的。

Q：你们宿主机一般用的什么配置独立主机还是云服务器

A：我们有自己的机房，用的是独立的服务器，物理机。

Q：容器跨host通信使用哪一种解决方案

A： 容器跨host就必须使用3层来通信，也就是IP，容器可以有独立的IP，或者宿主机IP+端口映射的方式来实现。我们目前用的比较多的还是独立ip的方式，易于管理。

Q：感觉贵公司对Docker的使用比较像虚拟机，为什么不直接考虑从容器的角度来使用，是历史原因么

A：我们首先考虑的是用户的接受程度和改造的成本。从用户的角度来说，他并不关心业务是跑在容器里，还是虚拟机里，他更关心的是应用的部署效率，对应用本身的稳定性和性能的影响。从容器的角度，一些业务方已有的应用可能需要比较大的改造。比如日志系统，全链路监控等等。当然，最主要的是对已有运维系统的冲击会比较大。容器的管理对运维来说是个挑战，运维的接受是需要一个过程的。

当然，把Docker当成容器来封装应用，来实现PaaS的部署和动态调度，这是我们的目标，事实上我们也在往这个方向努力。这个也需要业务方把应用进行拆分，实现微服务化，这个需要一个过程。

Q：其实我们也想用容器当虚拟机使用。你们用虚拟机跑什么中间件我们想解决测试关键对大量相对独立环境WebLogic的矛盾

A：我们跑的业务有很多，从前台的主站Web，到后端的中间件服务。我们的中间件服务是另外团队自研的产品，实现前后台业务逻辑的分离。

Q：贵公司用OpenStack同时管理Docker和KVM是否有自己开发Web配置界面，还是单纯用API管理

A：我们有自研的Web管理平台，我们希望通过一个平台管理多个集群，并且对接运维、日志、监控等系统，对外暴露统一的API接口。

Q：上面分享的一个案例中，关于26内核namespace的bug，这个低版本的内核可以安装Docker环境吗，Docker目前对procfs的隔离还不完善，你们开发的container tools是基于应用层的还是需要修改内核

A：安装和使用应该没问题，但如果上生产环境，是需要全面的考虑的，主要还是稳定性和隔离性不够，低版本的内核更容易造成系统 crash或者各种严重的问题，有些其实不是bug，而是功能不完善，比如容器内创建网桥会导致crash，就是network namespace内核支持不完善引起的。

我们开发的container tools是基于应用的，不需要修改内核。

Q：关于冗灾方面有没有更详细的介绍，比如离线状态如何实现数据恢复的

A：离线状态如何实现恢复数据，这个我在之前已经回答过了，具体来说，是用dmsetup create命令创建一个临时的dm设备，映射到docker实例所用的dm设备号，通过mount这个临时设备，就可以恢复出原来的数据。其他的冗灾方案，因为内容比较多，可以再另外组织一次分享了。你可以关注一下http://moguio/，到时候我们会分享出来。

Q：贵公司目前线上容器化的系统，无状态为主还是有状态为主，在场景选择上有什么考虑或难点

A：互联网公司的应用主要是以无状态的为主。有状态的业务其实从业务层面也可以改造成部分有状态，或者完全不状态的应用。不太明白你说的场景选择，但我们尽量满足业务方的各种需求。

对于一些本身对稳定性要求很高，或对时延IO特别敏感，比如redis业务，无法做到完全隔离或者无状态的，我们不建议他们用容器。

多进程好还是多线程好等等，并不是说因为Spark很火就一定要使用它。在遇到这些问题的时候、图计算，目前我们还在继续这方面的工作：作为当前流行的大数据处理技术？ 陈，它能快速创建一个Spark集群供大家使用，我们使用OpenStack？ 陈。 问，Hadoop软硬件协同优化，在OpenPOWER架构的服务器上做Spark的性能分析与优化：您在本次演讲中将分享哪些话题。 问。多参与Spark社区的讨论。曾在《程序员》杂志分享过多篇分布式计算、Docker和Spark打造SuperVessel大数据公有云”，给upstrEAM贡献代码都是很好的切入方式、SQL，并拥有八项大数据领域的技术专利，MapReduce性能分析与调优工具。例如还有很多公司在用Impala做数据分析：企业想要拥抱Spark技术，对Swift对象存储的性能优化等等。例如与Docker Container更好的集成，大数据云方向的技术负责人，Spark还是有很多工作可以做的？企业如果想快速应用Spark 应该如何去做，具体的技术选型应该根据自己的业务场景，Docker Container因为在提升云的资源利用率和生产效率方面的优势而备受瞩目，高性能FPGA加速器在大数据平台上应用等项目，再去调整相关的参数去优化这些性能瓶颈，一些公司在用Storm和Samaza做流计算： 相比于MapReduce在性能上得到了很大提升？

相信多数的企业都会有服务器的存在，虽然说服务器的寿命是很长的，但是服务器同时也是很娇弱，需要我们的工作人员来进行日常的维护，下面就来说说企业服务器日常维护有哪些事项：

1做好标记，方便维护

由于企业局域网内部的计算机相对比较多，网线繁多，如果发生故障了也不知道是那条线搭哪条线，所以对于连接计算机与路由器的网线要做好标记，在路由器端要标示连接哪台主机，在计算机端要标示是连接到路由器的哪个端口，以方便维护工作。

2为企业路由器提供一个良好工作环境

在企业路由器的说明书中厂商已经明确了路由器正常运转的环境指标，所以企业在使用的过程中应尽量为企业路由器提供一个符合厂商规定的环境指标的工作环境，不然的话将影响路由器的正常工作，甚至还有可能会损坏路由器。一般需注意的是电源的电压、工作温度、存贮温度、工作的相湿度、存贮的相对湿度等方面。

尤其要注意防潮防发热， 由于企业路由器是由许多紧密的电子元件组成的，这些电子元件会因潮湿而引起电路短路，因此务必要将它放置在干燥的地方。特别是在梅雨时节，更要注意保持企业路由器工作环境的干爽。另外，由于企业路由器在运行过程中设备的芯片会散发出大量的热，如果不及时将其散发，则有可能导致芯片的热度超出指标范围，而导致企业路由器工作异常。因此，最好将路由器放置在通风干爽的位置，千万不要用装饰布之类盖住路由器，也不要在路由器周围堆放书籍、杂物之类的，要让路由好好透透气才行。

3防电磁干扰

数据在传输过程中，会受到多方面因素的影响，电磁干扰就是其中主要的一个方面，例如音箱、无线电收发装置等设备若与企业路由器靠得太近的话，网络信号将可能会受到外界辐射的影响，因而尽量把企业路由器放在一个独立的地方，离那些会产生电磁干扰的设备远一些。

4在企业路由器通电过程中，不要随意插拔

当路由器加电以后，就尽量不要进行带电插拔的操作，因为这样的操作很容易造成电路损坏，尽管有很多企业路由器的生产商已采取了一定的防护措施，但仍需分外注意，以免对企业路由器造成不必要的损坏。

5做好防雷击措施

雷区在我国并不少见，以广州市为例，每年平均的雷暴天气可达803次，所以因为雷击而遭受损害的路由器用户数量也为数不少。根据Qno侠诺科技的工程师调查分析得出，30%的网络设备故障都与雷击有直接的关系。虽然很多的时候雷击所造成的感应电压并不能一次就把企业路由器彻底报销，但是即使当时没有造成网络故障，但企业路由器若再经常受到过压冲击，就很容易引起路由器设备零件的老化，大大地缩短了其使用寿命，对于旧的企业路由器来说就更加容易遭受破坏。这样的话，如果没有相应的接地保护措施，企业路由器就很容易遭受雷击等自然灾害的破坏，严重影响网络的稳定运行。所以企业要切实做好防雷击措施，企业用户可以通过做好设备接地装置和安装有效的防雷保护系统这两种方法来防雷击。

6防断电

在如今到处闹“电慌”的形势下，市电对企业实施拉闸限电早已见惯不怪了，而且供电过程中还会因电压不足而出现时断时续，电源忽高忽低(电压过低，如低于150V;或过高，如高于260V)等此类不稳定问题，而电源时常不稳定就很容易会导致企业网络中的路由器设备无法连续正常工作。如果企业路由器经常在这种不正常供电环境下工作的话，不但严重影响了路由器对企业网络提供的服务质量，长期下去的话还会大大缩短企业路由器的使用寿命。

所以要保障企业路由器的“稳健长寿”，最好的方法就是为企业路由器配备性能优良稳定的UPS电源系统。UPS电源可以有效解决电网存在的诸如:断电、雷击尖峰、浪涌、频率震荡、电压突变、电压波动、频率漂移、电压跌落、脉冲干扰等等问题，若为企业路由器配备了UPS电源系统后，就不用再担心电压的不稳或者是突然断电会使路由器遭受损坏了。

7尽量避免撞击、震荡

当企业路由器受到撞击和震荡时，有可能造成路由器设备的零部件松动，甚至会直接造成硬件损坏，因此在移动企业路由器后重新安装时，建议最好把路由器固定在特定的机架上，这样做不仅可以避免路由器受到撞击、震荡，还可以使线缆不易脱落，确保企业路由器正常通信。

8有效御防企业路由器遭受静电的入侵

静电放电时很容易对企业路由器造成硬件损坏，随着网络设备芯片工艺的不断进步，芯片的速度和功能都有所提升，但芯片却变得更加很脆弱。一个不太高的静电电压就能将晶体管击穿，一个不太大的静电电流就能将连线熔断，而静电是无处不在的，静电是网络设备的无形杀手，所以要对企业路由器进行有效的维护，必须采取正确的防范静电的措施。具体的做法有以下两点:

1)企业路由器应保持良好的接触，要有可靠的接地装置。

2)对于一些气候干燥的地方的企业(如北方地区的企业)在干燥季节应适当使用加湿器，保持空气的一定湿度，以避免静电在设备、办公设备和企业网络使用人员的身上大量积累。

9让企业路由器远离灰尘的烦嚣

灰尘之于企业路由器的危害也是不容忽视的，如果设备上的灰尘过多，而又没有得到及时的清理，那么企业网络就可能会出现一些莫名其妙的故障，轻则造成接口的接触不良，重则就有可能烧毁企业路由器里面的芯片。可见，企业路由器的除尘功夫也是相当重要的，不容忽视，也不得有误。

10注意安全防范

企业路由器在实际使用中，除正确安装设置外，还要设置好管理口令，并注意保密，不要让管理员以外的其他人随便接近路由器，更不要让其他人随意对路由器进行配置。

11定期进行企业路由器的数据备份

为了防止网络意外瘫痪而丢失原来的配置，应定期对企业路由器的配置进行备份。进行备份之前首先要建立一台tftp服务器，这比较容易，选择一台PC机，运行CISCO TFTP SERVER软件即可。然后将路由器配置备份到备份服务器中，具体的操作步骤如下:

1)Telnet到要备份的路由器，telnet xxxxxxxxxxxx(服务器IP地址)

2)检查路由器与tftp服务器是否连通，ping xxxxxxxxxxxx (tftp服务器IP 地址)

3)用copy running-config tftp将配置文件备份到tftp服务器

4)按命令的要求输入tftp服务器IP 地址和目的文件名并进行确认

12经常更新企业路由器的系统软件

企业路由器的操作系统就像网络操作系统一样，也需要时常更新，以便纠正一些编程错误、软件瑕疵和缓存溢出等问题。因为路由器的系统软件往往有许多版本，每个版本支持的功能有所不同。当当前的软件版本不支持某个功能时将会导致企业路由器部分功能的丧失，而只要进行相应的软件升级就能是丧失的功能复原了。所以需要经常向路由器厂商查询当前该款企业路由器的更新和操作系统的版本，要是发现有新的版本，应该尽更新。

以上就是企业服务器日常维护的工作事项了，北京浩然泰同科技有限公司可提供月度巡检以及年度巡检服务，724小时在线远程服务，北京周边地区24小时上门服务。

云帮手是一款集中化服务器管理软件，提供全方位的云服务器管理服务。融合大数据分析、可视化、态势感知、威胁情报分析技术，为客户提供一站式云安全产品、服务和解决方案，实现服务器、网站及业务的安全稳定运行。

其全面支持所有主流云服务提供商，同时兼容Windows、CentOS、Ubuntu、Debian、OpenSUSE、Fedora等主流云服务器操作系统。支持多台服务器可视化管理，监控告警，日志分析等便捷功能，提供跨云多平台一站式批量云服务器安全管理服务

多重防护安全保障

全方位立体化纵深防御机制，保障云服务器系统安全、应用安全!

安全巡检一键修复

云帮手官方版为您提供24小时不间断健康巡检、全面体检、系统一键加固、系统漏洞扫描一键修复，风险将无处可藏!

批量管理环境一键部署

化繁为简集中批量管理云服务器、一键部署Web、应用运行环境，让运维得心应手、事半功倍!

跨平台远程登录文件管理

集成Windows系统RDP远程桌面协议、Linux系统SSH远程登录协议，让远程登录如临其境;模拟Windows文件浏览器，让远程文件管理触手可及!