Gluster 简介

Gluster 是一种可扩展的分布式文件系统，可将来自多个服务器的磁盘存储资源聚合到一个全局命名空间中。

GlusterFS 体系结构将计算，存储和 I/O 资源聚合到一个全局命名空间中。 每台服务器加上存储设备（配置为直连存储，JBOD 或使用存储区域网络）被视为节点。 通过添加其它节点或向每个节点添加额外存储来扩展容量。 通过在更多节点之间部署存储来提高性能。 通过在节点之间复制数据来实现高可用性。

GlusterFS 通过以太网或 Infiniband RDMA 互连将各种存储服务器聚合到一个大型并行网络文件系统中。 GlusterFS 基于可堆叠的用户空间设计。

GlusterFS 有一个客户端和服务器组件。服务器通常部署为 storage bricks，每个服务器运行 glusterfsd 守护程序以将本地文件系统导出为 volume。 glusterfs 客户端进程通过 TCP/IP，InfiniBand 或套接字直接协议连接到具有自定义协议的服务器，使用可堆叠转换器从多个远程服务器创建复合虚拟卷。默认情况下，文件是整体存储的，但也支持跨多个远程卷分割文件。然后，客户端主机可以通过 FUSE 机制使用自己的本机协议，使用内置服务器转换器的 NFS v3 协议或通过 libgfapi 客户端库访问 volume。

GlusterFS 的大多数功能都实现为转换器，包括基于文件的镜像和复制，基于文件的条带化，基于文件的负载均衡，卷故障转移，调度和磁盘缓存，存储配额以及具有用户可维护性的卷快照（自 GlusterFS 36 版本以来 )。

GlusterFS 服务器有意保持简单：它按原样导出现有目录，将其留给客户端转换器来构建存储。客户端本身是无状态的，不相互通信，并且期望具有彼此一致的转换器配置。 GlusterFS 依赖于弹性散列算法(elastic hashing algorithm)，而不是使用集中式或分布式元数据模型。使用 GlusterFS 31 及更高版本，可以动态添加，删除或迁移卷，有助于避免配置一致性问题，并允许 GlusterFS 通过避免通常会影响更紧密耦合的分布式文件系统的瓶颈，在商用硬件上扩展到几PB 。

GlusterFS 通过各种复制选项提供数据可靠性和可用性：复制卷和地理复制。复制卷确保每个文件至少存在一个副本，因此如果一个文件出现故障，仍然可以访问数据。地理复制提供了主从模式的复制， volume 会跨不同的地理位置进行复制。这是异步发生的，在发生故障时备份数据非常有用。

https://docsglusterorg/en/latest/Administrator%20Guide/GlusterFS%20Introduction/

https://enwikipediaorg/wiki/Gluster

1、意思不同

NAS按字面简单说就是连接在网络上，具备资料存储功能的装置，因此也称为“网络存储器”。它是一种专用数据存储服务器。

IPSAN是在SAN后产生的，SAN默认指FCSAN，以光纤通道构建存储网络，IPSAN则以IP网络构建存储网络，较FCSAN，具有更经济、自由扩展等特点。

存储区域网络简称SAN，采用网状通道技术，通过FC交换机连接存储阵列和服务器主机，建立专用于数据存储的区域网络。

开放系统的直连式存储简称DAS，已经有近四十年的使用历史，随着用户数据的不断增长，尤其是数百GB以上时，其在备份、恢复、扩展、灾备等方面的问题变得日益困扰系统管理员。

2、优点不同

DAS能实现大容量存储，将多个磁盘合并成一个逻辑磁盘，满足海量存储的需求。可实现应用数据和操作系统的分离，能提高存取性能，无须专业人员操作和维护，节省用户投资。

SAN提供了一种与现有LAN连接的简易方法，并且通过同一物理通道支持广泛使用的SCSI和IP协议。SAN不受现今主流的、基于SCSI存储结构的布局限制。

NAS产品是真正即插即用的产品。NAS设备一般支持多计算机平台，用户通过网络支持协议可进入相同的文档，因而NAS设备无需改造即可用于混合Unix/Windows NT局域网内。

IPSAN价格合理的存储合并功能与更为简化的集中数据管理功能实施过程简单。IP网络技术相当成熟，IP-SAN减少了配置、维护、管理的复杂度。

3、特点不同

DAS可视化eCRF编辑功能，更易于数据收集，数据疑点同步自动核查，减少错误，提高数据质量，不同用户及角色选择性地拥有数据接触权，保证数据安全，保留所有用户数据操作痕迹以备查。

SAN由于其基础是一个专用网络，因此扩展性很强，不管是在一个SAN系统中增加一定的存储空间还是增加几台使用存储空间的服务器都非常方便。通过SAN接口的磁带机，SAN系统可以方便高效的实现数据的集中备份。

IP SAN基于十分成熟的以太网技术，由于设置配置的技术简单、低成本的特色相当明显，而且普通服务器或PC机只需要具备网卡，即可共享和使用大容量的存储空间。 

四者的联系：IP-SAN的发展 其实是由 NAS 和SAN 发展过来的。通过NAS 和SAN的发展史，不难看出在早期由于DAS的发展，FAS 发展趋势，慢慢的形成的两个团队。

参考资料：

-DAS

-SAN

-NAS

-IPSAN

主机级别的方案中通常只是虚拟化直连主机的存储，当然也有一些可以部署在一个SAN环境中的多台存储子系统上。

　　早先的存储虚拟化产品常用于简化内部磁盘驱动器和服务器外部直连存储的空间分配，以及支持应用集群。Veritas Volume Manager和Foundation Suite就是首批这类解决方案，这类方案使得存储扩展，以及为应用程序和文件服务器提供空间更为简单快速。

　　随着存储需求的增长远远超过直连存储所能提供的范围，存储虚拟化逐渐成为存储阵列中的一种容量提供方式。而容量持续增长以及诸如iSCSI等小型IT组织负担得起的共享存储技术的出现又使得存储虚拟化技术也融合进基于网络的设备和运行在通用硬件的软件里。

　　不过现今的服务器和桌面虚拟化技术兴起给存储虚拟化技术带来了新的生机，而基于主机的存储虚拟化技术正在逐渐回归。服务器虚拟化平台必需要基于共享存储体系架构来实现一些关键特性，比如VMware的vMotion和Distributed Resource Schedule (DRS)。通过传统的SAN架构自然可以实现这种共享存储体系架构，不过越来越多的IT组织开始寻求更简单的方式来实现共享存储。基于主机的虚拟化技术就是方式之一。

　　诸如VMware之类的服务器虚拟化供应商认为存储是妨碍虚拟化技术大规模普及的瓶颈之一。这些Hypervisor供应商已经实现了处理器和内存资源的抽象，实现更好的控制并提高资源利用率，他们自然而然也会希望这样控制存储。不过将存储控制功能整合到主机服务器端，称之为“存储Hypervisor”时会带来一些潜在的问题。处理一些在虚拟服务器和虚拟桌面环境中至关重要的存储服务，诸如快照、克隆和自动精简配置时，会严重影响主机服务器的性能。

　　Virsto的解决方案

　　Virsto开发出了一款软件解决方案，安装在每台主机服务器上(无论是一台虚拟机或Hypervisor上的过滤驱动器)并在主存储上创建一个虚拟化层，称为Virsto存储池。其同时创建一个高性能磁盘或者固态存储区域，成为“vLog”。读操作会直接指向主存储，不过写操作会通过vLog进行，这会给请求的虚拟机或应用程序发回一个确认。然后vLog将这些写操作异步地分布写入主存储，从而减少对写性能的影响。该存储池可以容纳多至4层的存储方式，包括固态存储和各类型的磁盘驱动器。

　　和缓存的工作方式类似，vLog通过在存储前端降低耦合度改善了存储性能，降低了后端存储的延迟。其同时将前端主机的随机写操作变为顺序方式，实现后端存储的最佳性能。基于Virsto主机的存储虚拟化软件实现了以上这些功能。

　　虚拟存储设备

　　基于主机的存储虚拟化的另一项应用实例是虚拟存储设备(VSA)

　　VSA是运行在虚拟机上的存储控制器，其虚拟化统一集群中的主机所直接连接的存储。VSA提供一个主机使用的简易的存储共享体系架构，并支持高可用性、虚拟机迁移，并改善存储提供方式。对于很多企业，这种方式可以替代原本需要建立并管理传统SAN或NAS来支持虚拟服务器和桌面的体系架构。

　　vSphere Storage Appliance。VMware的vSphere Storage Appliance以一个虚拟机的方式运行，从在2个或3个节点集群中，每个ESX/ESXi主机所直连的DAS存储中，创建一个共享存储池。VMware VSA提供每个节点的RAID保护，并在同一集群的各个节点之间提供镜像保护。虽然从技术角度上看，VMware VSA是一个基于文件的体系架构，不过其亦为集群中每台主机提供数据块级别的存储虚拟化，并用户可以从这种部署方式中获取和基于数据块的共享存储一样的收益。

　　HP的LeftHand Virtual SAN Appliance。虽然和VMware VSA的功能类似，P4000 VSA软件可以支持每台主机直连DAS以外的方式。其还允许使用iSCSI或FC SAN等外部存储来创建共享存储池。这就意味着可以将如何可用的存储，本地存储或用于容灾的异地存储，转变为LeftHand存储节点。P4000t提供快照和自动精简配置，并且支持Hyper-V和VMware。

　　DataCore的SANsymphony-V。DataCore的解决方案是通过在一个虚拟机中部署其SANsymphony软件来整合其它各个VMware，Hyper-V或XEN主机的直连存储，形成共享存储池。SANsymphony-V可以和HP的解决方案那样虚拟化外部的网络存储，并且该软件可以在迁移到传统的共享存储体系架构时部署在外部服务器上。SANsymphony-V同时提供各类存储服务，譬如快照、自动精简配置、自动化分层和远程复制。

　　FalconStor的NSS Virtual Appliance。FalconStor的Network Storage Server Virtual Appliance(NSSVA)是该公司NASS硬件产品中唯一支持的VMware版本，用网络上其它主机的直连存储创建一个虚拟存储池。和DataCore和LeftHand的解决方案类似，该存储池可以扩展到网络上任何可用的iSCSI存储上。该NSS Virtual Appliance包括快照、自动精简配置、读/写缓存、远程复制和卷分层等存储功能。

　　基于主机的存储虚拟化解决方案是目前大多使用在虚拟化服务器和虚拟化桌面环境中，用以实现环境的高可用性特性，以及改善存储性能、利用率和管理效率。

阿卡信息技术的Roc系列网络存储服务器NAS（Nework Attached Storage）系统和设备是专用为提供高性能，低拥有成本和高可靠性的数据保存和传送而设计的产品。Roc系列NAS产品提供安全、稳固的文件和数据保存功能，并且容易使用和管理。

NAS是集成IP技术及RAID技术于一身的直连网络存储系统，也就是通过网络接口和以太网络直接相连的存储服务器系统，各种文件服务器及网络工作站都可透过网络直接存取NAS上的数据，由于它不需要通过文件服务器，明显缩短了响应时间，充分发挥网络的带宽。Roc系列NAS产品采用先进的嵌入式NAS技术，使安装、管理、维护和容量扩充变得极其容易，其集成优化的软件及硬件平台为WINDOWS、UNIX、Novell、LINUX和Macintosh等应用提供了跨平台、更加安全的文件共享。

NAS实施以数据为中心的模式，与传统的“服务器中心”模式相比有着较大的优越性。Roc系列NAS产品可在几分钟内增加到现有网络上，可提供高可用性及高可靠性的磁盘阵列存储系统，还能提高文件服务速度，减轻网络主机的负担，降低购买及维护成本，以及在不间断网络运行环境下增加或设置存储系统。Roc系列NAS产品为教育机构、电子图书馆、政府机关、中小企业提供了新一代最具经济效益和功能强大的网络存储解决方案。

NAS(Network-Attached Storage)

NAS使用了传统以太网和IP协议，当进行文件共享时，则利用了NFS和CIFS以沟通NT和 Unix系统。由于NFS和CIFS都是基于操作系统的文件共享协议，所以NAS的性能特点是进行小文件级的共享存取。

从NAS的简单机制可引申出它的一些明显的优缺点。优点方面，NAS的部署非常简单，只须与传统交换机连接即可；其次，它的成本较低，因为NAS的投资仅限于一台NAS服务器，而不像SAN是整个存储网络，同时，NAS服务器的价格往往是针对中小企业定位的；第三，NAS服务器的管理非常简单，它一般都支持Web的客户端管理，对熟悉操作系统的网络管理人员来说，其设置既熟悉又简单。在简单易用的背后，NAS的缺点也非常明显。从性能上看，由于与应用使用同一网络，NAS会增加网络拥塞，反过来，NAS性能也严重受制于网络传输数据能力; 其次，从数据安全性看，NAS一般只提供两级用户安全机制，虽然这能简化使用，但还需要用户额外增加适当级别的文件安全手段。

概括来说，SAN对于高容量块状级数据传输具有明显的优势，而NAS则更加适合文件级别上的数据处理。尽管二者存在根本特性上的差异，但SAN和NAS 实际上也是能够相互补充的存储技术。例如，SAN擅长块数据传输、极易扩展且管理设备有效。用户可以使用 SAN运行关键应用，比如数据库、备份等，以进行数据的集中存取与管理；而NAS 支持若干客户端之间文件共享，所以用户可以使用NAS作为日常办公中需要经常交换小文件的地方，比如存储网页等。SAN和NAS在实际情况中是可以并存在一个系统中。例如，SAN更多与NAS联合使用，可以为NAS设备提供高性能、大容量的存储设备，同时许多SAN通常驻留在NAS应用中。

21、高性能集群（科学集群）

想法是通过很多的PC计算机来实现很强的计算机处理能力来替代小型计算机等等这样的想法可以实现，但是在现在这样的计算机技术情况下是无法实现的，因为，不管PC的处理能力有多高，多快，但是稳定性上，安全性上以及I/O的处理能力上，PC同小型机还是有很大的差异的。

不过，随着现代计算机技术的发展，基于PC的高性能集群技术在某些领域中还是有他的使用范围的。

211 Beowulf

Beowulf不是科学集群软件的名称，而是一个术语，适用于在 Linux 内核上运行的一组公共软件工具。关于这个主题，有许多文档和书籍。Beowulf 与以下一些科学集群系统之间的差异可以是实际的，或者只是在产品名称中有差异。

212 Giganet cLAN

它使用非 IP 协议在一个科学群集的节点间进行通信。它也有 Beowulf 的缺点，即不能用作网络负载共享系统，除非想要编写应用程序来监控和分发在服务器间传送的网络包。

22 负载均衡群集

221TurboLinux TurboCluster 和 enFuzion

EnFuzion 支持在节点之间实现自动负载均衡和资源共享，而且可以自动重新安排失败的作业。EnFuzion 是 TurboLinux 即将推出的科学群集产品，它并不基于 Beowulf。但是，它可以支持上百个节点以及许多不同的非Linux 平台，包括 Solaris、Windows NT、HP-UX、IBM AIX、SGI Irix 和 Tru64。EnFuzion 非常有趣，因为它运行所有现有软件，并且不需要为环境编写定制的并行应用程序。它支持在节点间实现自动负载均衡和资源共享，而且可以自动重新安排失败的作业。

但是，这个软件包的价格非常昂贵，性能还是不错，如果能够将价格下调一些，那就爽了～

222MOSIX

MOSIX 使用 Linux 内核新版本来实现进程负载均衡集群系统。该系统在以后的帖子中会讲解如何来实现配置的过程，他是免费的，个人非常喜欢。

他对于应用来说是透明的，提供了很好的配置文件来实现添加到群集的总处理能力，现在基于MOSIX的计算机集群技术发展的很快，在很多地方已经开始了正式的商业应用。

23 高可用性群集

简称HA，这种技术在商业上是应用的最为广泛的集群技术，当构成集群的节点中其中一个节点当机或者失败的时候，由集群中的其他节点接管他的运行任务，这样就可以保证系统最大的可用性。在WEB上比如MAIL server也是经常使用这样的技术。

在这里，我主要推荐的是HP的MC/ServerGuard fot Linux软件包，本来HP的MC/ServerGuard在HPUX中是采用最为广泛的集群软件包，现在hp将他抑制到linux中来，这样就可以保证软件最大的稳定性

一共三种连接方式：SAS、iSCSI、FC（光纤），都需要安装在服务器上HBA（连接主机I/O总线和计算机内存系统的I/O适配器）卡，通过相对应的线缆连接盘柜。

1、SAS连接方式：服务器需要安装SAS HBA卡，通过SAS线连接到盘柜上的SAS接口。速率3Gb/S，可以通过SAS交换机(此类SAN交换机相对其它SAN交换机较少）扩展成SAS SAN存储区域网络 ，如 Powervault MD3000 用的是SAS连接方式

2、iSCSI连接方式：服务器需要安装iSCSI HBA卡，通过以太网线连接盘柜上的iSCSI接口，速率1Gb/S，可以通过以太网交换机扩展成iSCSI（IP） SAN存储区域网络 如：Powervault MD3000 i

3、FC连接方式：服务器需要安装FC HBA卡，通过FC线连接到盘柜上的FC接口(接口上必须安装短波光模块）。速率4/8/10Gb/S，可以通过FC交换机（需要安装短波光模块）扩展成FC SAN存储区域网络

目前企业数据存储的主流是FC SAN 和IP SAN,前者吞吐量高、性能最好，后者经济实惠、扩展方便。SAS接口的存储一般都用于入门级直连存储，少有扩展成SAS SAN的。传输速率ISCSI < SAS < FC

扩展资料：

磁盘阵列（Redundant Arrays of Independent Drives，RAID），有“独立磁盘构成的具有冗余能力的阵列”之意。

磁盘阵列是由很多价格较便宜的磁盘，组合成一个容量巨大的磁盘组，利用个别磁盘提供数据所产生加成效果提升整个磁盘系统效能。利用这项技术，将数据切割成许多区段，分别存放在各个硬盘上。 

磁盘阵列还能利用同位检查（Parity Check）的观念，在数组中任意一个硬盘故障时，仍可读出数据，在数据重构时，将数据经计算后重新置入新硬盘中。

由加利福尼亚大学伯克利分校（University of California-Berkeley）在1988年，发表的文章：“A Case for Redundant Arrays of Inexpensive Disks”。文章中，谈到了RAID这个词汇，而且定义了RAID的5层级。伯克利大学研究目的是反映当时CPU快速的性能。

CPU效能每年大约成长30～50%，而硬磁机只能成长约7%。研究小组希望能找出一种新的技术，在短期内，立即提升效能来平衡计算机的运算能力。在当时，柏克莱研究小组的主要研究目的是效能与成本。

另外，研究小组也设计出容错（fault-tolerance），逻辑数据备份（logical data redundancy），而产生了RAID理论。研究初期，便宜（Inexpensive）的磁盘也是主要的重点，但后来发现，大量便宜磁盘组合并不能适用于现实的生产环境，后来Inexpensive被改为independent，许多独立的磁盘组。

独立磁盘冗余阵列（RAID，redundant array of independent disks）是把相同的数据存储在多个硬盘的不同的地方（因此，冗余地）的方法。通过把数据放在多个硬盘上，输入输出操作能以平衡的方式交叠，改良性能。因为多个硬盘增加了平均故障间隔时间（MTBF），储存冗余数据也增加了容错。

（资料来源：：磁盘阵列）