如何处理大量数据并发操作

处理大量数据并发操作可以采用如下几种方法:

1使用缓存：使用程序直接保存到内存中。或者使用缓存框架: 用一个特定的类型值来保存，以区别空数据和未缓存的两种状态。 

2数据库优化：表结构优化;SQL语句优化，语法优化和处理逻辑优化;分区;分表;索引优化;使用存储过程代替直接操作。

3分离活跃数据:可以分为活跃用户和不活跃用户。

4批量读取和延迟修改: 高并发情况可以将多个查询请求合并到一个。高并发且频繁修改的可以暂存缓存中。

5读写分离: 数据库服务器配置多个，配置主从数据库。写用主数据库，读用从数据库。

6分布式数据库: 将不同的表存放到不同的数据库中，然后再放到不同的服务器中。

7NoSql和Hadoop: NoSql，not only SQL。没有关系型数据库那么多限制，比较灵活高效。Hadoop，将一个表中的数据分层多块，保存到多个节点（分布式）。每一块数据都有多个节点保存（集群）。集群可以并行处理相同的数据，还可以保证数据的完整性。

:

大数据（big data），指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

在维克托·迈尔-舍恩伯格及肯尼斯·库克耶编写的《大数据时代》中大数据指不用随机分析法（抽样调查）这样捷径，而采用所有数据进行分析处理。大数据的5V特点（IBM提出）：Volume（大量）、Velocity（高速）、Variety（多样）、Value（低价值密度）、Veracity（真实性）。

参考资料:网页链接

web服务器安全这问题，很重要，之前服务器被黑，管理员账号也被篡改，远程端口也登陆不了了。，在网上搜索了一些服务器安全设置以及防黑的文章，对着文章，我一个一个的设置起来，费了好几天的时间才设置完，原以为会防止服务器再次被黑，没想到服务器竟然瘫痪了，网站都打不开了，无奈对服务器安全也是一窍不通，损失真的很大，数据库都损坏了，我哪个后悔啊。娘个咪的。最后还是让机房把系统重装了。找了几个做网站服务器方面的朋友，咨询了关于服务器被黑的解决办法，他们建议找国内最有名的服务器安全的安全公司来给做安全维护，推荐了sinesafe，服务器被黑的问题，才得以解决。

一路的走来，才知道，服务器安全问题可不能小看了。经历了才知道，服务器安全了给自己带来的也是长远的利益。 希望我的经历能帮到楼主，帮助别人也是在帮助我自己。

下面是一些关于安全方面的建议！

建站一段时间后总能听得到什么什么网站被挂马，什么网站被黑。好像入侵挂马似乎是件很简单的事情。其实，入侵不简单，简单的是你的网站的必要安全措施并未做好。

一：挂马预防措施：

1、建议用户通过ftp来上传、维护网页，尽量不安装asp的上传程序。

2、定期对网站进行安全的检测，具体可以利用网上一些工具，如sinesafe网站挂马检测工具！

序，只要可以上传文件的asp都要进行身份认证!

3、asp程序管理员的用户名和密码要有一定复杂性，不能过于简单，还要注意定期更换。

4、到正规网站下载asp程序，下载后要对其数据库名称和存放路径进行修改，数据库文件名称也要有一定复杂性。

5、要尽量保持程序是最新版本。

6、不要在网页上加注后台管理程序登陆页面的链接。

7、为防止程序有未知漏洞，可以在维护后删除后台管理程序的登陆页面，下次维护时再通过ftp上传即可。

8、要时常备份数据库等重要文件。

9、日常要多维护，并注意空间中是否有来历不明的asp文件。记住：一分汗水，换一分安全!

10、一旦发现被入侵，除非自己能识别出所有木马文件，否则要删除所有文件。

11、对asp上传程序的调用一定要进行身份认证，并只允许信任的人使用上传程序。这其中包括各种新闻发布、商城及论坛程

二：挂马恢复措施：

1修改帐号密码

不管是商业或不是，初始密码多半都是admin。因此你接到网站程序第一件事情就是“修改帐号密码”。帐号

密码就不要在使用以前你习惯的，换点特别的。尽量将字母数字及符号一起。此外密码最好超过15位。尚若你使用

SQL的话应该使用特别点的帐号密码，不要在使用什么什么admin之类，否则很容易被入侵。

2创建一个robotstxt

Robots能够有效的防范利用搜索引擎窃取信息的骇客。

3修改后台文件

第一步：修改后台里的验证文件的名称。

第二步：修改connasp，防止非法下载，也可对数据库加密后在修改connasp。

第三步：修改ACESS数据库名称，越复杂越好，可以的话将数据所在目录的换一下。

4限制登陆后台IP

此方法是最有效的，每位虚拟主机用户应该都有个功能。你的IP不固定的话就麻烦点每次改一下咯，安全第一嘛。

5自定义404页面及自定义传送ASP错误信息

404能够让骇客批量查找你的后台一些重要文件及检查网页是否存在注入漏洞。

ASP错误嘛，可能会向不明来意者传送对方想要的信息。

6慎重选择网站程序

注意一下网站程序是否本身存在漏洞，好坏你我心里该有把秤。

7谨慎上传漏洞

据悉，上传漏洞往往是最简单也是最严重的，能够让黑客或骇客们轻松控制你的网站。

可以禁止上传或着限制上传的文件类型。不懂的话可以找专业做网站安全的sinesafe公司。

8 cookie 保护

登陆时尽量不要去访问其他站点，以防止 cookie 泄密。切记退出时要点退出在关闭所有浏览器。

9目录权限

请管理员设置好一些重要的目录权限，防止非正常的访问。如不要给上传目录执行脚本权限及不要给非上传目录给于写入权。

10自我测试

如今在网上黑客工具一箩筐，不防找一些来测试下你的网站是否OK。

11例行维护

a定期备份数据。最好每日备份一次，下载了备份文件后应该及时删除主机上的备份文件。

b定期更改数据库的名字及管理员帐密。

c借WEB或FTP管理，查看所有目录体积，最后修改时间以及文件数，检查是文件是否有异常，以及查看是否有异常的账号。

一需求分析

最近公司软件Team 有个需求是这样的：能不能在局域网搭建一个Ubuntu 镜像服务器，

这样作的好处是可以节省Ubuntu某些常用工具的安装时间。

二部署过程

21 测试环境

目前在公司内有一台能连接到外网的Ubuntu机器， IP : 1921688173 ，

Ubuntu版本为Ubuntu 904 i686。

22 搭建步骤

为了创建Ubuntu mirror 服务器，最少需要60G硬盘空间，Ubuntu每个版本都有32 bit

和64 bit两个版本，有两组deb包。当然可以创建Ubuntu一个版本的32 bit 和64 bit 的

镜像服务器，也可以创建全部版本的镜像。

这里使用sohu 公司的mirror地址作为本地Ubuntu Source 服务器，使用sohu的原因是：

1 sohu的Ubuntu Source 服务器速度相当快

2 sohu 的ubuntu Source 服务器每天会和Ubuntu官方服务器同步一次，这样可以保

证我们使用的是最新的软件包。

修改方式如下：

root@ms ~: cat /etc/apt/sourceslist

deb http://mirrorssohucom/ubuntu/ jaunty main restricted universe multiverse

deb http://mirrorssohucom/ubuntu/ jaunty-security main restricted universe multiverse

deb http://mirrorssohucom/ubuntu/ jaunty-updates main restricted universe multiverse

deb http://mirrorssohucom/ubuntu/ jaunty-proposed main restricted universe multiverse

deb http://mirrorssohucom/ubuntu/ jaunty-backports main restricted universe multiverse

deb-src http://mirrorssohucom/ubuntu/ jaunty main restricted universe multiverse

deb-src http://mirrorssohucom/ubuntu/ jaunty-security main restricted universe multiverse

deb-src http://mirrorssohucom/ubuntu/ jaunty-updates main restricted universe multiverse

deb-src http://mirrorssohucom/ubuntu/ jaunty-proposed main restricted universe multiverse

deb-src http://mirrorssohucom/ubuntu/ jaunty-backports main restricted universe multiverse

安装下面工具：

root@ms ~: apt-get install apt-mirror

root@ms ~: apt-get install apache2

下面就构建Ubuntu 904 32bit 的本地Ubuntu mirror 服务器为例子，来说明如何配置：

修改配置文件：

root@ms ~: cat /etc/apt/mirrorlist

############# config ##################

#

# set base_path /var/spool/apt-mirror

#

# set mirror_path $base_path/mirror

# set skel_path $base_path/skel

# set var_path $base_path/var

# set cleanscript $var_path/cleansh

# set defaultarch

# set postmirror_script $var_path/postmirrorsh

set run_postmirror 0

set nthreads 20

set _tilde 0

#

############# end config ##############

deb-i386 http://mirrorssohucom/ubuntu jaunty main restricted universe multiverse

deb-i386 http://mirrorssohucom/ubuntu jaunty-security main restricted universe multiverse

deb-i386 http://mirrorssohucom/ubuntu jaunty-updates main restricted universe multiverse

#deb http://mirrorssohucomubuntu jaunty-proposed main restricted universe multiverse

#deb http://mirrorssohucomubuntu jaunty-backports main restricted universe multiverse

deb-src http://mirrorssohucom/ubuntu jaunty main restricted universe multiverse

deb-src http://mirrorssohucom/ubuntu jaunty-security main restricted universe multiverse

deb-src http://mirrorssohucom/ubuntu jaunty-updates main restricted universe multiverse

#deb-src http://mirrorssohucom/ubuntu jaunty-proposed main restricted universe multiverse

#deb-src http://mirrorssohucom/ubuntu jaunty-backports main restricted universe multiverse

#clean http://archiveubuntucom/ubuntu

备注：

deb-i386 http:// 表示下载32 bit 版本的deb 软件

deb http:// 表示下载64bit 版本的deb 软件

jaunty 表示Ubuntu 904的代号

设置完成后，输入下面命令：

root@ms ~: apt-mirror

这时系统会启动20个线程运行wget 到 http://mirrorssohucom/Ubuntu 下面下载相应的

deb包。时间比较的长，该命令执行完成后，/var/spool/apt-mirror目录下就有了所有需

要的deb包和相应的配置文件。

由于我是从sohu下载的，所以实际的文件在 ：

/var/spool/apt-mirror/mirror/mirrorssohucom/ubuntu 目录下。

这样，本地就有了所有Ubuntu Source 服务器所需要的文件，然后开启相应的服务：

这里使用apache2作为Web服务器，默认根目录在/var/www/，所以可以在该目录下做

个链接，如下所示：

root@ms ~: cd /var/www

root@ms ~: ln /var/spool/apt-mirror/mirror/mirrorssohucom/ubuntu -s

开启web服务：

root@ms ~: apache2ctl start

打开浏览器输入下面地址即可看到和sohu mirror一样的页面：

http://1921688173/ubuntu

同时也可以使用crontab进行每天的更新，修改配置文件：

root@ms ~: cat /etc/crond/apt-mirror

#

# Regular cron jobs for the apt-mirror package

#

#0 4 apt-mirror /usr/bin/apt-mirror > /var/spool/apt-mirror/var/cronlog

把命令前面的“#”去掉即可，这样系统会自动使用apt-mirror去和sohu服务器更新。

最后，我们所要做得就是在客户端的机器上修改更新源配置文件，将地址改成本地

mirror服务器的地址即可，如下所示：

root@ms ~: cat /etc/apt/sourceslist

deb http://1921688173/ubuntu/ jaunty main restricted universe multiverse

deb http://1921688173/ubuntu/ jaunty-security main restricted universe multiverse

deb http://1921688173/ubuntu/ jaunty-updates main restricted universe multiverse

deb http://1921688173/ubuntu/ jaunty-proposed main restricted universe multiverse

deb http://1921688173/ubuntu/ jaunty-backports main restricted universe multiverse

deb-src http://1921688173/ubuntu/ jaunty main restricted universe multiverse

deb-src http://1921688173/ubuntu/ jaunty-security main restricted universe multiverse

deb-src http://1921688173/ubuntu/ jaunty-updates main restricted universe multiverse

deb-src http://1921688173/ubuntu/ jaunty-proposed main restricted universe multiverse

deb-src http://1921688173/ubuntu/ jaunty-backports main restricted universe multiverse

执行“apt-get update”来重建本地索引，这样以后就会使用本地的Mirror 服务器进行更新

本教程假设你已有一台在运行的Ubuntu服务器，网络方面已设置好，而且可以通过SSH进行访问。

Apache2是许多安装的Linux发行版使用的默认Web服务器。它不是对所有环境来说唯一可用的Web服务器，也不是最佳的Web服务器，但是它适合许多使用场景。在安装过程中，系统可能会询问你哪个Web服务器要自动重新配置。选择“apache2”即可。

安装Apache2

使用下面这个命令，安装Apache2及其他库。

$ sudo apt-get -y install apt-get install apache2 apache22-common apache2-doc apache2-mpm-prefork apache2-utils libexpat1 ssl-cert libapache2-mod-php5 php5 php5-common php5-gd php5-cli php5-cgi libapache2-mod-fcgid apache2-suexec php-pear php-auth php5-mcrypt mcrypt libapache2-mod-suphp libopenssl-ruby libapache2-mod-ruby

更新时区(TimeZone)和检查正确时间

为了减小共享数据或镜像数据方面的混淆，所有服务器在运行时都应该尽可能接近同步状态。一些加密密钥管理系统需要准确的时间。最后，就企业服务器而言，《萨班斯-奥克斯利法案》(Sarbanes-Oxley)和《健康保险可携性及责任性法案》(HIPAA)的安全规则要求正确的时间戳机制。

$ sudo apt-get -y install openntpd tzdata

$ sudo dpkg-reconfigure tzdata

$ sudo service openntpd restart

禁止AppArmor冲突

虽然AppArmor这个套件的确提供了一层额外的安全，但在我看来，需要为每个系统创建自定义配置文件。这不是本教程所探讨的内容。所以眼下，我们会禁用AppArmor，防止与任何默认的配置发生冲突。

$ sudo /etc/initd/apparmor stop

$ sudo update-rcd -f apparmor remove

$ sudo apt-get remove apparmor apparmor-utils

注意：如果是生产环境下的Web服务器，不建议禁用AppArmor。如果有些人想创建自定义的AppArmor配置文件，请参阅官方说明文档(http://wikiapparmornet/indexphp/Documentation)。

阻止分布式拒绝服务(DDoS)攻击

DDoS攻击是一种分布式拒绝服务攻击。有一个Apache模块可以阻止这类攻击。

$ sudo apt-get -y install libapache2-mod-evasive

$ sudo mkdir -p /var/log/apache2/evasive

$ sudo chown -R www-data:root /var/log/apache2/evasive

把下面这个命令添加到mod-evasiveload的末尾处。

$ sudo nano /etc/apache2/mods-available/mod-evasiveload DOSHashTableSize 2048

DOSPageCount 20 # 请求同一页面的最大数量

DOSSiteCount 300 # 同一侦听器上同一客户端IP请求任何对象的总数量

DOSPageInterval 10 # 页面数量阈值的间隔

DOSSiteInterval 10 # 站点数量阈值的间隔

DOSBlockingPeriod 100 # 客户机IP被阻止的时间段

DOSLogDir “/var/log/apache2/evasive”

DOSEmailNotify admin@domaincom

阻止Slowloris攻击

还有一个Apache模块可以阻止Slowloris攻击，不过模块名称取决于你使用的Ubuntu的具体版本。如果是Ubuntu 1210或以后版本：

$ sudo apt-get -y install libapache2-mod-qos

然后，检查qosconf中的配置：

$ sudo nano /etc/apache2/mods-available/qosconf

## 服务质量方面的设置

# 处理来自多达100000个不同IP的连接

QS_ClientEntries 100000

# 只允许每个IP仅50条连接

QS_SrvMaxConnPerIP 50

# 活动TCP连接的最大数量限制在256条

MaxClients 256

# 当70%的TCP连接被占用时，禁用保持活动连接状态

QS_SrvMaxConnClose 180

# 最小请求/响应速度(拒绝阻塞服务器的慢速客户端，即slowloris保持连接开启，不提出任何请求)：

QS_SrvMinDataRate 150 1200

# 并限制请求标题和主体(注意，这还限制了上传和发帖请求)：

# LimitRequestFields 30

# QS_LimitRequestBody 102400

注意：如果你运行1204之前的Ubuntu版本，改而使用下面这个命令：

$ sudo apt-get -y install libapache2-mod-antiloris

检查antilorisconf中的配置

$ sudo nano /etc/apache2/mods-available/antilorisconf

# 每个IP地址处于READ状态的最大并行连接数量

IPReadLimit 5

阻止DNS注入攻击

Spamhaus这个模块使用域名系统黑名单(DNSBL)，目的是为了阻止通过Web表单实现的垃圾邮件转发，防止URL注入攻击，阻止来自机器人程序的http DDoS攻击，通常保护服务器，远离已知的恶意IP地址。

$ sudo apt-get -y install libapache2-mod-spamhaus

$ sudo touch /etc/spamhauswl Append the config to apache2conf

$ sudo nano /etc/apache2/apache2conf

MS_METHODS POST,PUT,OPTIONS,CONNECT

MS_WhiteList /etc/spamhauswl

MS_CacheSize 256

重启Apache装入新模块

$ sudo service apache2 restart

现在Web服务器已安装完毕，并在正常运行。将Web浏览器指向你的域，即可看到证明你一切正常的默认消息。作为最后的检查机制，运行下面这个命令，看看你的服务器有没有任何错误信息。要是有错误信息，你需要上谷歌搜索一下，立马解决这些错误。

$ sudo tail -200 /var/log/syslog

网络操作系统与网络结构

操作系统概述

单机操作系统l作为计算机和用户之间的接口，是为用户提供计算机资源的手段；由一些程序模块组成，管理和控制计算机系统中的硬件及软件资源；

合理地组织计算机工作流程，以便有效地利用这些资源为用户提供一个功能强、使用方便的工作环境；

只为本地用户服务，不能满足网络环境的要求；网络操作系统l网络操作系统l屏蔽本地资源与网络资源的差异；

作为网络用户和计算机网络的接口；

管理计算机的硬件和软件资源，如网卡、网络打印机、大容量外存等；

为用户提供文件共享、打印共享等各种网络服务；

完成网络的共享资源管理、网络的安全管理；

网络操作系统的定义：“利用局域网底层所提供的数据传输功能，为网络用户提供局域网共享资源管理服务和其他网络服务功能的局域网系统软件”；网络操作系统的特征 l与硬件无关l广域网连接l支持多客户端和多用户l网络管理l系统容错l安全性和存取控制网络操作系统的服务功能l文件服务l打印服务l数据库服务l通信服务

信息服务

目录服务

网络管理服务Internet/Intranet服务网络系统的结构及相关概念

计算机网络有两种基本的网络结构类型：对等网络；基于服务器的网络；

从资源的分配和管理的角度来看，对等网络和基于服务器的网络最大的差异就在于共享网络资源是分散到网络的所有计算机上，还是使用集中的网络服务器。

l对等网络采用分散管理的结构；基于服务器的网络采用集中管理的结构。对等网络 l网络上的计算机平等地进行通信。每一台计算机都负责提供自己的资源（文件、目录、应用程序、打印机、调制解调器或传真卡等），供网络上的其他计算机使用。

每一台计算机还负责维护自己资源的安全性。

对等网络的优点 l对等网络的结构简单，网络中对硬件的需求比较低。由于对等网络中的资源被分布到许多计算机中，因此不需要高端服务器，节省了网络成本。针对网络用户较少的网络，对等网络很容易安装和管理。

每一台机器都可以对本机的资源进行管理，如设置网络上其他用户可以访问的本地资源，以及设置访问密码等。管理网络的工作人员被分配给每台计算机的用户。

对等网络并不需要使用网络操作系统，只要每台计算机安装有支持对等连网功能的操作系统，就可以实现对等网络。

支持对等网络的操作系统有Windows 95/98、Windows NT Workstation/2000 Professional等。

对等网络的缺点

用户计算机的性能会受影响

网络的安全性无法保证

备份困难基于服务器的网络

使用一台高性能的计算机（服务器）用于存储共享资源，并向用户计算机分发文件和信息。

网络资源由服务器集中管理，服务器控制数据、打印机以及客户机需要访问的其他资源，当客户机或工作站需要使用共享资源时，可以向服务器发出请求，要求服务器提供服务。基于服务器网络的优点

易于实现资源的管理和备份l具有良好的安全性

l具有较好的性能l可靠性较高网络服务器的种类 l

文件服务器l文件服务器主要提供共享的硬盘来存储数据和应用程序，以便向客户机分发这些资源。当一台客户机需要使用文件服务器上的资源时，客户机首先将所需的文件复制到客户机本地，然后再对这些资源进行处理。在服务器上，不进行应用程序的处理，所有任务都在客户机本地进行。

应用服务器l在客户机和应用服务器上都运行有应用程序。客户机运行本地的程序，向服务器发出服务请求，要求服务器对某个数据进行处理，而服务器会将处理后的信息返送给客户机。通过这种方法，客户机几乎不处理信息，所有任务都由服务器处理。

数据库服务器： 其他类型的服务器；

邮件服务器。

邮件服务器专为处理客户机的电子邮件需要而建立，为客户机提供发送和接收电子邮件的环境。Web服务器Web服务器广泛应用于Internet和Intranet，用户通过客户机上的浏览器应用程序，浏览Web服务器上的信息。

通信服务器

通信服务器为处理远程用户拨号入网而建立。为安全起见，通信服务器应用程序通常放置在单独的服务器上。

视频服务器l视频服务器可以提供视频点播业务，同时支持多个视频流的单播或广播。服务器技术

多处理器技术

总线能力

内存

磁盘接口技术

容错技术

磁盘阵列技术

热插拨技术

双机热备份

服务器状态监视多处理器技术

l中央处理器（CPU）是决定服务器性能好坏的重要因素之一。虽然服务器对其他组件的性能要求也很高，但处理器对于决定服务器的性能仍然是很重要的。服务器可以使用一个处理器或多个处理器运行l多处理器技术的类型l非对称多处理器AMP；

对称多处理器SMP；

对多处理器的选择l根据使用的网络操作系统；l根据服务器所完成的功能；lCPU的种类Intel、AMD、Cyrix等总线和内存l服务器需要内部的高速总线来完成各种任务。l总线是计算机系统中的数据传送的“主干线路”，CPU、内存和其他的设备组件都连接到总线上。在某一时刻，服务器可能将大量的数据从磁盘传送到网卡、处理器、系统内存，并在处理完数据后将其传送回磁盘。

内存分为三种l非奇偶校验RAMl奇偶校验RAMl带有错误检查和更正（ECC）的RAM 磁盘接口技术 l计算机系统基本上采用两种硬盘接口，即EIDE（Enhanced Integrated Drive Electronics）和SCSI（Small Computer Systems Interface）。

SCSI系列标准：

SCSI-1

SCSI-1是最基本的SCSI技术规范，它使用8位的数据带宽，以大约5Mbps的速度将数据读出或写入硬盘。由于SCSI技术的不断发展，使得SCSI-1基本上不再使用了。

SCSI-2

SCSI-2扩展了SCSI技术规范，而且向SCSI添加了许多特性，还允许更快的SCSI连接。另外，SCSI-2 大大提高了不同SCSI设备制造商之间的SCSI兼容性。lFAST-SCSIlFAST-SCSI使用了基本的SCSI-2技术规范，将SCSI总线的数据传输速度从5Mbps增加到10Mbps。FAST-SCSI也被称为“Fast NARROW-SCSI”。磁盘接口技术lSCSI系列标准lWIDE-SCSIlWIDE-SCSI也是基于SCSI-2的技术，WIDE-SCSI将SCSI-2从8位增加到16位或32位的数据带宽。使用16位的WIDE-SCSI最高可以达到20Mbps。

Ultra-SCSIlUltra-SCSI也被称为“SCSI-3”，它将SCSI总线的数据传输速度增加到20Mbps。使用8位的总线时，Ultra-SCSI可以达到20Mbps的速度。使用16位总线时，速度可以提高到40Mbps。

Ultra2-SCSI

Ultra2-SCSI是SCSI标准的另一个发展，Ultra2-SCSI 使Ultra-SCSI 性能再次提高。Ultra2-SCSI 系统使用16位的总线，速度可达到80Mbps。

Ultra3-SCSIlUltra3-SCSI使得Ultra2-SCSI 的性能再一次提高，达到了160Mbps的速度。SCSI系列标准l容错是指在硬件或软件出现故障时，仍能完成处理和运算，不降低系统性能，即用冗余的资源使计算机具有容忍故障的能力，容错技术可分为：

软件容错 采用多处理器和具有容错功能的操作系统来实现容错。

硬件容错 由于硬件成本不断下降，而软件成本不断升高，因此硬件容错技术的应用越来越普遍。

硬件容错系统应具有的特性为：

使用双总线体系结构，确保系统的某一部分发生故障时仍能运行，不降低系统性能；l冗余CPU、内存、通信子系统、磁盘、电源等，确保这些关键部件的可靠性；

自动故障检测，以及故障部件的隔离和更换。磁盘阵列技术

磁盘阵列（Disk Array）是由一个硬盘控制器来控制多个硬盘的相互连接，使多个硬盘的读写同步，以减少错误，提高效率和可靠性的技术。

lRAID（Redundant Array of Inexpensive Disks）表示的是廉价磁盘冗余阵列，是磁盘阵列技术标准，RAID采用冗余的硬盘来对信息进行冗余保存，从而提高磁盘系统的可靠性。如果某个硬盘发生故障，则可以通过保存在其他硬盘上的冗余信息恢复故障硬盘的信息。 RAID技术1RAID 0 oRAID 0采用数据分割技术，将所有硬盘构成一个磁盘阵列，可以同时对多个硬盘进行读写操作；oRAID 0阵列将数据分成多个数据块，并将数据分块分布在两个或更多的硬盘上。 oRAID 0阵列中的一个驱动器出错将会导致所有硬盘上的数据全部丢失，因此可靠性最差。 RAID技术2RAID 1 oRAID 1不采用将数据分块存储在多个硬盘上的方法，而是采用磁盘镜像技术。o使用两个硬盘，并且将一个硬盘的内容同步复制到另一个硬盘上。如果其中一个硬盘出现故障，另一个硬盘将继续正常工作。 oRAID 1的可靠性较高，但硬盘的使用效率较低。 RAID技术3RAID 3oRAID 3采用数据交错存储技术。RAID 3在多个数据磁盘上分块分布数据，然后对各个数据磁盘上存储的所有数据使用异或操作，以产生一个校验数据（ECC数据），并将这个数据存储到一个校验硬盘（ECC硬盘）。如果其中一个存储数据的硬盘发生故障，导致数据出错或丢失，那么RAID 3先读出其余硬盘上的数据，再读出ECC硬盘上的校验数据，就可以恢复出错或丢失的数据。 RAID技术4RAID 5oRAID 5对RAID3技术进行了改进，除了保持分块存储数据的功能外，RAID 5将校验数据存放在所有的硬盘中。oRAID 5的优点是不必依赖一个ECC驱动器来进行所有写操作，所有硬盘都共享ECC工作，因此RAlD 5的性能要比RAID 3稍高一些，如果任何一个硬盘出现故障，可以将其替换，且数据也能够恢复。oRAID5能够将三至三十二个硬盘组合到一个阵列中。其他服务器技术

热插拨技术

大多数服务器都支持热插拨技术的组件（热插拨硬盘、热插拨电源和热插拨风扇等），它们可以在系统保持运行的同时被替换。l双机热备份l

双机热备份是指在系统使用两台或多台服务器，其中一台主用，另外一台备用，而且这些服务器都处于正常运行状态，如果主用服务器发生故障，则可自动启动备用服务器。

服务器状态监视 l大多数服务器可以监视内部组件，并预先发出可能会出现问题的警告。高端的服务器通常可以监视以下情况：

风扇的转动、系统电压、内存错误、磁盘错误、内部温度、机箱被打开等。典型的网络操作系统

早期的网络操作系统具有简单的文件服务和某些安全性特性。随着用户要求的增加，现代网络操作系统提供了更为广泛的服务。

目前，常用的网络操作系统有：Novell 公司的NetWare；

Microsoft的Windows NT/2000；l带有网络功能的UNIX。

Windows NT和Windows 2000

1983年11月，Microsoft第一个Windows产品——Windows 10；l1987年12月，Windows 20，其在技术上已有了明显的进步，允许同时执行多个程序，利用微处理器中的保护模式，突破了DOS中的640KB内存的限制 ；l1990年5月，Windows 30，对Windows 20进行了改进；

1992年5月，工作组网络Windows for Workgroup 31；Windows NT和Windows 2000l1993年5月，Windows NT 31，与DOS脱离，采用了很多新技术，但对硬件资源要求较高； l1994年9月，Windows NT 35，对NT 31进行了改进，降低了对硬件资源的要求，增加了与UNIX和NetWare等的连接和集成；

1996年7月，Windows NT 40，在性能、易用性与可管理性以及支持Internet/Intranet方面，有了重大的改进；

2000年，Windows 2000，适用于个人和企业对操作系统的各种需要；

2001年，Window XP。Windows NT的特性 l体系结构的独立性；

多处理器支持；

多线程的多任务；

大量的内存空间；

集中化的用户环境文件；

远程访问服务；

基于域和工作组的管理功能；

容错与多驱动器阵列(RAID)支持；Windows 2000 产品系列 lWindows 2000 ProfessionallWindows 2000 Professional是Microsoft在Windows NT Workstation 40基础上发展起来的客户端的操作系统，不仅继承了NT Workstation 40的稳定性和可靠性等优点，而且还拥有了更好的用户界面、支持即插即用、管理起来也更加方便，而且具有更高级别的安全性和更好的性能。Windows 2000产品系列lWindows 2000 Serverl用来支持文件和打印、应用程序、Web以及通信服务功能的多任务操作系统。

提供可扩展、基于Internet标准、与操作系统紧密结合的活动目录服务，方便了网络资源的管理和查找。

提供了Web和Internet服务，为客户在商业上采用Web技术提供了便利条件，它能适应从简单的Web站点到Web应用及视频点播等流媒体服务的各种需要。l支持4GB的物理内存和两路SMP对称多处理系统，并包含了活动目录、COM+、公共密钥设施、智能镜像(ntellimirror)和Terminal服务等特性，它适合于中小型规模企业作为应用分发、Web服务器、工作组和分支办公室的服务器操作系统。Windows 2000产品系列lWindows 2000 Advanced Serverl部门和应用服务器，比Windows 2000 Server提供了更多的网络功能和Internet服务；支持四路SMP和64GB物理内存；

集成了可伸缩集群服务，是数据库应用、高可用集群和为大型系统和应用的可伸缩性提供负载平衡服务的理想平台。Windows 2000 Server产品系列lWindows 2000 Datacenter ServerlDatacenter Server是功能性最强的服务器操作系统。l支持16路SMP和64GB的物理内存。lWindows 2000 Datacenter Server提供了集群和负载平衡服务两个基本特征服务，适合于大规模数据仓库、计量经济学分析、大规模科学和工程计算、事务处理、大规模的ISP等应用。 NetWare操作系统 lNetWare操作系统的发展起源于1981年，Novell公司首次提出了LAN文件服务器的概念；

1983年，基于Motorola MC68000 (操作系统为CP/M)的网络操作系统Novell SHARE-NET。 1984年， NetWare 10，以MS-DOS为环境的网络操作系统。

1985年，Advanced NetWare 1X，增加了多任务处理功能，完善了低层协议，并支持基于不同网卡的结点互连；

1986年，Advanced NetWare 20，扩充了虚拟内存工作方式，并且内存寻址突破640KB；NetWare操作系统

1987年， NetWare 21，在Netware文件服务器增加了系统容错机制(SFT)，包括热修复、磁盘镜像和磁盘双工等特性；

1990年， NetWare 31，在网络整体性能、系统的可靠性、网络管理 和应用开发平台等方面予以增强；

1993年， NetWare 40，在311的基础上，增加了目录服务和磁盘文件压缩功能，具有良好的可靠性、易用性、可缩放性和灵活性。

1998年9月，NetWare 5，更大程度地支持并加强了Internet/Intranet以及数据库的应用与服务。

NetWare操作系统的结构 lIPX（Internet Packet eXchange）作为网络层的分组交换协议，提供分组寻址和选择路由功能，但不保证可靠到达，相当于数据报功能。IPX是Netware结构中关键部分，是工作站和文件服务器相互通信的协议，是较高层SPX和NetBIOS的基础。lSPX（Sequenced Packet eXchange）是NetWare的运输层协议，它与TCP/IP协议组中的TCP协议类似，以面向连接的通信方式工作，向上提供简单却功能很强的服务。它可以保证信息流按序、可靠地传送。NetWare操作系统的结构 oNetWare核心协议NCP（NetWare Core Protocol）在用户发送请求给服务器的远端文件服务过程中执行。文件服务过程所产生的相应信息送回给用户。在NCP的基础上形成了文件和网络所有的服务。利用这些服务，可以构成各种功能的应用程序。NCP支持使用虚电路和数据报两种网络应用接入接口。oNCP的主要功能是：服务连接维护、目录维护、文件维护、数据访问同步、保密库维护、网络维护、打印维护、软件拷贝保护、计费服务和队列管理服务。

Netware的特点

具有多任务、多用户的功能，工作站软件所占内存较小，支持多种局域网硬件，保护了已有硬件投资；NetWare使用开放性协议技术OPT(Open Protocol Technology)，允许各种协议的结合，使各类工作站可与公共服务器通信；NetWare高效的硬盘存取管理技术消除了服务器的瓶颈。Netware文件服务器具有五种安全性措施：注册口令、受托者权、目录权、文件属性和文件服务器安全性。这些安全性措施可以单独使用，也可以混合使用。Netware的系统容错技术

三级容错l第一级针对硬盘表面介质出故障而设计，采用双重目录、文件夹、磁盘热修复等；

第二级针对硬盘故障而设计，采用硬盘镜像方法；

第三级提供文件服务器镜像的功能；

UNIX操作系统

UNIX不是网络操作系统，但由于它能支持通信功能，并提供一些大型服务器的操作系统的功能，因此也可把它作为网络操作系统；

在20世纪80年代，UNIX是用于小型计算机的操作系统，以替代一些专用操作系统。在这些系统中，UNIX作为一种多用户操作系统运行，应用软件和数据集中在一起，经过不断的发展，UNIX已成为可移植的操作系统，能运行在范围广阔的各种计算机上，包括大型主机和巨型计算机，从而大大扩大了应用范围。 UNIX操作系统的结构

UNIX内核

UNIX内核的功能是完成底层与硬件相关的功能，控制着计算机的资源，并且将这些资源分配给正在计算机上运行的应用程序。

ShelllShell的作用是解释来自用户和应用的命令，使计算机资源的管理更加容易和高效。Shell程序与用户进行交互，使用户能够运行程序、拷贝文件、登录或退出系统以及完成一些其它的任务。Shell程序可以显示简单的命令行提示光标，或者显示一个有图标与窗口的图形用户界面（X-Windows）。Shell程序与在UNIX上运行的应用程序一起利用内核提供的服务，对文件与外围设备进行管理。由于Shell程序与硬件无关，因此更容易移植，UNIX可具有多种 Shell。o实用程序与应用n实用程序处于Shell的外层，提供了大部分的可执行程序，而用户的应用程序在实用程序之上。严格来讲，实用程序和应用程序是属于同一性质的，但实用程序大多是为了帮助操作系统执行作业以及帮助程序员开发软件。由于UNIX具有很多的实用程序，使UNIX实际上成为和硬件独立的操作系统，适用于开发范围甚广的各种应用。UNIX操作系统的结构 UNIX操作系统的功能特性

UNIX是一个多用户、多任务操作系统；

UNIX具有良好的用户界面；

UNIX的设备独立性；l具有很好的可移植性；l可以直接支持网络功能；l可靠的系统安全。关于Linux操作系统

UNIX操作系统一个很大的缺点就是UNIX价格昂贵，Linux是一个自由软件，它对各厂家的UNIX造成了巨大的冲击。

Linux是一套免费使用和自由传播的类UNIX操作系统，它主要用于基于Intel x86系列CPU的计算机上。这个系统是由全世界各地的成千上万的程序员设计和实现的。其目的是建立不受任何商品化软件的版权制约的、全世界都能自由使用的UNIX兼容产品。

试验环境为：Windows server 2008（服务端）、Windows2003（客户端）

一、搭建DHCP服务

“dhpc即动态主机设置协议，是一个局域网的网络协议，使用UDP协议工作。主要是给网络快速自动地分配IP地址，能够帮助我们将IP地址和相关IP信息分配给网络中计算机。

为什么需要dhcp：内网ip不足、手动配置ip造成ip冲突、内网机器多手工配置ip累死人

        1、将两台虚拟机调整到统一网段（LAN），相当于交换机里划分了一个VLAN

        2、2008dhcp一定要配置静态ip

IP： 19216812（随意分配）

子网掩码： 2552552550（默认）

默认网关： 19216811（一般情况下就是路由器的网关/上网地址，网关一般是路由器出口的地址）

首选DNS： 19216811（一般情况下也是网关的地址）

备用DNS： 114114114114（任何人都能使用的公用DNS）

        3、开始 =》 管理工具 =》 服务器管理（默认功能&角色不安装，需要手动安装，安装的时候，必须要挂载镜像文件）

        4、勾选安装dhcp服务器

用2003（客户端）查看

        5、DHCP的保留地址（给领导&运维人员，单独分配给某一个人使用）

        6、DHCP的排除

二、Web服务搭建

又称之为WWW（万维网服务），且服务的运行离不开中间件（如，iis、apache、nginx、tomcat、jboss等），没有中间件的话，则不能运行Web站点

        1、服务器管理  =》 添加角色   =》 web服务

        4、Web站点访问方式

                a）、ip访问，多个ip地址的话自己选择

                b）、多端口访问，默认80端口，访问的时候后面跟:端口

                c）、多主机头（域名访问），目前联网基本都是这个方法，网址与域名绑定，内网需要自己搭建dns服务，详见DNS服务器第三点

三、搭建DNS服务器

        1、服务器管理    =》    DNS服务     =》    一路下一步，安装完成

        2、本地网络中，dns设置成自己的IP地址

        3、开始=》打开DNS管理器

                创建A机

这样也解决了ip地址不容易记住的问题

glance是OpenStack管理镜像的一个组件，从web client上传的镜像或者从命令行上传的镜像默认保存到了那个目录下，可以在： # cat /etc/glance/glance-apiconf | grep -v "^$" | grep -v "^#" filesystem_store_datadir=/var/lib/glance/image

镜像的意思是把一个一模一样的东西放到另一个地方。那么网页镜像的意思也就是把一个一模一样的网页放在另一个地方。顾名思义“海外镜像”就是把一个一模一样的网站放在国外的某个机房。

那么访问者是怎样访问带镜像的网站的呢？那么就提到“智能DNS解析服务”，又叫“DNS负载均衡技术”它的意思是：它是通过DNS服务中的随机名字解析来实现的，在DNS服务器中，可以为多个不同的地址配置同一个名字，而最终查询这个名字的客户机将在解析这个名字时得到其中的一个地址。因此，对于同一个名字，不同的客户机会得到不同的地址，它们也就访问不同地址上的Web服务器，从而达到负载均衡的目的。

当访问者去访问一个网站的时候，DNS服务器会根据访问的用户的地理位置判断网站的哪一个镜像网站访问者访问是最快的，就让哪一个镜像服务器去呈现网站。

在通俗一点讲，就是动态IP解析，域名解析到IP是通过DNS服务器来完成的，当DNS服务器收到访问者访问的域名时，它根据用户的地理位置判断哪个镜像网站访问者访问最快，就把域名绑定到哪一个IP，从而呈现哪个镜像网站给访问者。