raid5和raid10有什么区别? 现在有24块2T的硬盘,想做成raid,该如何操作,做几个g
Raid5,容量是N-1,容量损失小,坏2块就所有数据Over,更换坏盘后重组很慢
rand10,容量是N/4,容量损失大,但再极端情况下坏一半都不会丢数据,更换坏盘后恢复也快
如果是存储服务器,一半都是Raid5了,现在冗余性更多的是Raid6
典型的服务器会被配置来执行多种功能,如它可以作为文件服务器、打印服务器、应用数据库服务器、Web服务器,甚至可以是集以上多种功能于一身。这样,它就必须有快速的处理器芯片、比较多的RAM以及足够的内部磁盘空间,以便应对终端用户随时可能出现的应用调配需求。
但存储服务器绝对不是这样的。它是为特定目标而设计,因此配置方式也不同。它可能是拥有一点额外的存储,也可能拥有很大的存储空间。
“一台多用途的服务器通常拥有五块以下的内部磁盘,但一台存储服务器至少会拥有6块内部磁盘,大多时候会达到12块到24块内部磁盘。”Sun公司x64服务器高级主管Graham Lovell这么说。
存储服务器通常是独立的单元。有的时候它们会被设计成4U机架式。或者,它们也可以由两个箱子组成——一个存储单元以及一个位于附近的服务器。然后两个箱子可以并行地安装在机柜中。像Sun StorEdge 3120 存储单元和SunFire X4100服务器,就可以合并为一个存储服务器并放置在一个机柜中。
那么,除了额外的磁盘外,存储服务器还有什么不同或独特的地方呢在很多情况下,存储服务器会携带一大堆的特殊服务,包括存储管理软件、保证高灵活性的额外硬件、RAID配置类型,以及确保更多桌面使用者与之连接的额外网络连接等。
服务器机身上是没有这么多槽位的。
需要你购买外置磁盘阵列柜,在服务器里添加一块HBA卡(光纤通道卡),通过光纤通道将磁盘阵列柜做为服务器的外置硬盘。
你说需要一百块硬盘,你没有说明你的应用需要多少裸磁盘容量,一般来说都是按裸磁盘容量来对阵列柜选型的,很少会有人用硬盘槽位数来选型。
如:惠普的StorageWorks 2000fc G2 模块化智能阵列做为机头,机箱支持24个硬盘槽位,再拖3个MSA70 25 英寸盘柜,每个盘柜支持25个槽位,就满足你要的100硬盘的容量需求了。
1 序
前段时间终于把自己设想了好久的家用NAS配好了,想好好写一下自己的心得,希望对别人有一点帮助,也希望和大家交流关于ZFS和Freenas的意见和想法。
2 你需要NAS吗?
你认为数据的价值很重要,愿意投入一点资金来降低数据丢失的风险。比如,你自己原创的文字和、各种word和excel的文件、各种照片和视频,这些原创性的内容都是全世界仅此一份的,还有一些你认为很难再从网络上下载到的资源,这些内容都需要一个比台式机(或者手提电脑)、U盘、移动硬盘和光盘等,更安全可靠的储存方式。由于网络条件和价格的限制,或者是由于对云储存的不信任,把大容量的文件备份到云端好像也不是最好的选择。
你的家庭网络内有2台或更多的电脑,需要中转空间来传递文件,特别是大容量的文件。如果只有2台电脑的话,网络邻居共享或者FTP访问也算可行。但如果3台或更多电脑,动辄几个G容量的内容,还要分发到每一台电脑,这个时候如果有一个大容量、访问速度快的共享储存空间就方便很多了。
如果以上两段描述符合你的实际,那么你应该开始考虑入手一台NAS了。
3 买成品还是DIY?
31 NAS与其它备份手段的比较
311 U盘和移动硬盘
NAS一般容量相对比较大。如果U盘和移动硬盘也是在线使用,除了RAID 0的配置,个人觉得其它RAID配置的可靠性都比U盘和移动硬盘好。当然,如果把U盘和移动硬盘作为离线备份的手段,可靠性应该会提高不少,不过要牺牲部分的数据可用性。
312 光碟(DVD和蓝光)
如果是可擦写的,每次重新擦写的速度比较慢。如果是不可擦写的,倒可以作为离线备份的手段。数据的不可更改始终会带来不方便,比如整理好资料目录,刻碟完,结果以后又发现要往中间加内容。
313 云储存
主要有三方面的限制:速度、容量和价格。那些不是世界知名的IT巨头搞的,会担心它不知道哪一天就宣布停止服务。Amazon的S3倒是信得过(相比之下),但是访问速度和价格又是个问题。
32 成品NAS和自己DIY的区别
321 安全性、价格和售后服务
几个著名的品牌(如synlogy、qnap、thecus、zyxel、buffalo、netgear等等)提供的家用NAS,大部分最多到六盘位,组RAID 6吧?(不知道可不可以组多个RAID 1),理论上是最多允许两只硬盘损坏。如果是自己DIY的话,无论是硬RAID或者基于ZFS,RAID的配置都可以更加灵活,只要硬件配置跟得上,提供更高的可靠性完全没有问题。
盘位越少,成品NAS的价格貌似更有优势。假如需求只是两个盘组RAID 1,那毫无疑问成品NAS更便宜。DIY的话,固定成本是主板、CPU、内存、机箱和电源(或者加上RAID卡),硬盘数量一般不少于3个。同样是4个盘位,不算硬盘的话,DIY的价格已经大大低于成品NAS。6个盘位,京东上有个要9k+,自己DIY的话,2k搞定。
自己DIY的NAS,各个零配件的售后服务要看你选择的硬件品牌的生产商。整台NAS在组装和调试的时候,以后的使用中要排除故障或增加功能,都需要你自己在网上找资料或者和别人讨论,所以如果你是伸手党,还是买成品NAS好了。
322 功能、灵活性和功耗
成品NAS提供的功能,大部分可以通过各种开源的解决方案来实现。而DIY的NAS提供的灵活性,比如和htpc或者网关结合在一起,硬件配置的更改都是成品NAS所不能比拟的。
功耗方面,DIY的NAS要追求低功耗,可以选择直流电源+整合主板,貌似网上也有人可以做到待机十几瓦的。个人就觉得没必要苛求,相比节省的电费,我更希望电源和UPS都稳定可靠,机箱内空间够大方便散热。
323 噪音控制和外形
现在很多DIY的机箱,也足够小巧和精致了,摆在客厅或书桌台面都完全没问题。舍得花钱的话,用无风扇电源和CPU散热器,加上机箱内全用静音风扇,相信可以把噪音控制在非常低的范围。
33 DIY NAS的种类
首先要把专用和多用途的NAS区分开来。专用的NAS一般只提供文件共享和相关的网络服务,可能也作为247的下载机。多用途的NAS有的是作为HTPC,连接电视来直接播放媒体内容,也有是利用虚拟化,通过一台硬件服务器提供网关、媒体服务器等多台虚拟服务器的功能。主要有以下三种组建RAID的方式:
软RAID,利用主板芯片组自带的功能组建RAID。性能比不上硬RAID,和ZFS的比较我不清楚,感觉应该也不如。好像有些软RAID认主板,转移的时候一定要同型号的主板才可以认出来原有的RAID配置,也有人说intel的是认芯片组,不要求同型号主板。虽然不需要额外的硬件RAID卡投入,也限制了安全性的提示和功能的扩展,除非是换主板。
硬RAID,在主板上插RAID卡,RAID卡再接硬盘。注意有些便宜的RAID卡其实是把运算交给CPU的,自己纯粹就是一个接口。一般好的硬RAID卡上有专门的运算芯片,还要带电池,防止数据丢失。硬RAID是目前最主流的解决方案,价格范围广,可以投入很小,也可以很发烧。
基于ZFS,不需要安装RAID卡,也不利用主板芯片组的RAID功能。硬件配置丰俭由人,数据安全可靠。。。(ZFS的特点请看41)
4 软硬件配置
41 ZFS的特点
请允许偷懒一下,介绍ZFS的资料网上已经有很多了,如果有兴趣,一定可以深入了解,
简单来说,基于ZFS的储存,不怕断电(就算正在写入的时候断电了,数据也不会损坏或者丢失,用硬RAID卡的有可能的哦),有快照功能,不怕误删除(而且快照占空间很小),可以通过加入固态硬盘来大幅提高读写性能(跑满千兆局域网很轻松),容易扩充(把原来的RAID里面每个硬盘都换成容量更大的,总容量自动增加),硬件无关(换主板都毫无压力),操作简单(常用命令才几个,如果是用Freenas的图形管理界面的话,更加简单)。
42 操作系统的选择
所有支持ZFS的操作系统(或发行版)都可以在ZFS的wiki查到,主要用来做NAS的系统有以下几个:
421 Oracle Solaris和 OpenIndiana
Oracle Solaris的zpool(ZFS的管理软件)版本最新,不过是商业软件;OpenIndiana是OpenSolaris的后续,开源的,我自己没有用过,跟FreeBSD一样,应该没有ZFS的图形管理界面。
422 FreeBSD
网上介绍也很多,简单说就是稳定、稳定和稳定。我在virtual box里面用FreeBSD,对照着文档,测试过ZFS的各种操作和功能。另外,FreeBSD的Handbook写得非常好,有中文版哦,喜欢折腾的同学首选。
423 Freenas
主角登场,热烈鼓掌!安装简单,界面清爽!第5章将会介绍安装和配置的过程。这是一个商业公司维护的开源,基于FreeBSD,专门用于NAS的系统。
424 NexentaStor Community Edition
跟Freenas一样,都有ZFS的图形管理界面,根据网络上的测试报告,貌似这个的IO性能比Freenas好。一点小限制是免费版最大容量为18TB。
43 硬件配置
431 终于写到我最喜欢的部分了,确定硬件搭配让我纠结了n长时间,最终结果兼顾了钱包、个人喜好和性能,还算满意。我的NAS的配置如下:(推荐配置从432开始)
UPS:APC Smart-UPS SC420
(UPS最重要,所以排第一。虽然说ZFS不怕断电,不过有个在线式的UPS,应付各种拔插头、按开关和电网的浪涌,还可以接NAS的串口实现市电中断时自动关机,实在是硬件配置里面的MVP。这个UPS是以前买的,伏安只有420,容量有点小,现在拖三个硬盘,估计拖5个没问题)
电源:全汉(FSP)蓝暴节能版360
CPU:AMD A4-3300
技嘉(GIGABYTE)GA-A75M-D2H
(选这个主板CPU的搭配是因为功耗较低又有较多的SATA 6G接口,最大内存又可以到32G,跑ZFS的话,内存越大越好。写文章的时候才看到技嘉出了F2A75M-D3H,更加适合,搞到我都想换主板了,T_T)
三星(SAMSUNG)DDR3 1600 4G 2
西部数据 WD20EARX 3
(这三块硬盘是跑去广州的百脑汇买的,第一次的时候自己小白了,居然买到两块是换标签的WD20EARS,只好跑多一次去换,大家如果在电脑城买的请小心)
联力PC A04A
(我是第一次用联力机箱的土人,一边安装一边赞叹“做工果然好啊”,然后各种调整硬盘位置,各种拆装硬盘笼子,各种调整走线。等写完这篇文章的第一版再补上)
因为一开始就确定了NAS要配已有的UPS,而且不兼任HTPC,所以我的NAS是放在书房里面的。书房里面有一台D-Link的5口百兆交换机,连接一台台式机,一台手提和NAS,再通过电力猫连接整个家庭网络的核心交换机和无线路由Linksys WRT610N。
功耗测试用的是深圳北电的电力检测仪,实测数据如下:
关闭NAS电源(全汉蓝暴)上的开关,0 W
打开NAS电源上的开关,NAS未开机,32 W
按NAS机箱面板的开关开机,功耗一直爬升,最高达到 72 W
NAS的启动过程结束,进入正常状态,44 W
测试连续读取,通过百兆的LAN连接,台式机播放NAS共享出来的mkv文件,44W
测试连续写,用FTP上传大文件,速度大概10MB/s,56W
在NAS的web管理界面点关机,等到机箱的电源指示灯熄灭,15W
另外,在Freenas里面可以设置每个硬盘的电源选项,比如多长时间之后进入待机。我这台NAS现在还负责BT下载,所以硬盘是一直没有停的,测不了全部硬盘都进入待机时候的功耗。
432 普通版配置
强烈推荐UPS作为标配,花的钱不多,可靠性大幅提高。后备式的也可以接受。注意UPS一般容量标的是伏安,要转换成瓦特。这里插播一段网上找来的计算硬盘功率的方法:先通过spec sheet找到硬盘12V的最大电流(据说就是启动的时候了),比如WD20EARS的是175A,然后在硬盘标签上找到5V的电流,这个例子里面是055A,所以这个硬盘的最大功率就是12V x 175A + 5V x 055A = 24W。在挑选UPS和NAS的电源的时候就要注意考虑功率了。当然,服务器专用的主板通常有逐个启动硬盘的功能,可以降低对功率的要求,这个在高帅富版的推荐配置里面谈。
千兆网络,你懂的。
最少三个硬盘,组RAIDZ 1,可以承受其中一个硬盘损坏。ZFS当然也支持条带(RAID 0)和镜像(RAID 1),还有RAIDZ 2和RAIDZ 3,还可以加热备,加L2ARC等等,看需求和预算来配置吧。如果你的配置里面硬盘数量超过9个,最好分组,具体参考:
8G+ 的内存,跑ZFS的话,内存越大越好,所以挑选主板的时候注意选最大内存容量比较大的。
一个4G+的U盘,做系统盘。把Freenas的系统装在U盘上是最简单快捷的,还可以把这个系统U盘备份多几个。安装到硬盘上的话,Freenas一定要独占整个硬盘,浪费空间和一个SATA接口。
433 屌丝版配置
百兆网络,我用的就是了,泪奔。
两个硬盘,组镜像。其实这个组合也很灵活,以后你可以把这两个硬盘都换成容量翻倍的,那么你的ZFS的容量也翻倍。或者再增加一对镜像配置的硬盘,跟原有的镜像做条带,总容量也可以增加。再或者为了提高可靠性,加入第三块硬盘到镜像里面,变成1:3的镜像,ZFS果然很灵活吧,呵呵。
4G内存,最低配置了。
434 高帅富版配置(其实这些高端硬件我也不是很懂,不过yy起来好爽,哈哈)
全屋强电弱电的防雷装置,这个算题外话,不过确实很必要,特别是多雷雨的地区。
在线式UPS,作用前面讲过了。
冗余电源,这个算服务器的基本配置了吧。
服务器主板、服务器CPU和ecc buffered内存。可以用容量更大、可靠性更高的内存,可以接更多的硬盘,可以热插拔,可以ooo,可以xxx。。。
SAS硬盘,N个,怎么组RAID就只看对容量、可靠性和速度的需求了。记得其中一些硬盘做热备。
固态硬盘,N个,做L2ARC,大幅提高NAS的读性能;做ZIL(ZFS Intent Log),大幅提高NAS的写性能。
千兆网卡,N张加上支持LACP(链路聚合)的千兆网管交换机,突破千兆局域网的带宽就靠它们了。
机箱,塞得进上面所有东西的,随便挑吧。
作为高帅富,当然不只一套房子了,请把以上配置克隆到每一套房子,这样就可以实现异地容灾远程镜像自动备份了,鼓掌!
5 Freenas的安装和配置
大概的流程是这样的:
把映像文件写到U盘
用U盘启动,进行初始化设置,包括网卡、DNS和Web界面的密码
创建volume
设定scrub(对volume的定时检查)
在volume里面创建dataset(dataset是Freenas里面的管理单位)
针对dataset设置snapshot(快照,用于回滚和远程备份)
建立用户和用户组
针对dataset设置权限
设置share(有CIFS、NFS、iSCSI、AFP等等)
从客户端测试(测试连接和读写权限)
备份配置文件和系统U盘 。
全球已于2010年正式进入了ZB时代,根据IDC的预计,到2020年全球将总共拥有35ZB的数据量,相较2009年,数据量将增长44 倍。2012年3月,奥巴马政府公布大数据计划,首批宣布投资2亿美元。工信部发布的物联网“十二五”规划,把信息处理技术作为4项关键技术创新工程之一而提出来——毋庸置疑,我们已经进入“大数据时代”,大数据正在影响着我们的生活,改变着商业甚至政府。
如此巨量的数据存储在哪如何来管理、分析、归档,从中获得更多价值,成为企业面临急需解决的问题。对于个人来讲,我们可将数据存储在U盘、移动硬盘或笔记本硬盘,甚至是个人云网盘;对于企业来讲,如果说服务器和存储设备是网络数据的核心,是企业业务发展的基石,那么服务器硬盘就是这个核心的数据仓库,所有的用户数据和软件均存于此,足见安全、稳定对于服务器硬盘是多么的重要。
目前,服务器硬盘按所采用端口不同,主要有SCSI、SAS及SATA等几种,而SATA硬盘广泛用于台式机电脑(PC)硬盘,同时一些低端服务器为节省成本也有选用此种接口的产品,而市售主流服务器设备,主要采用SCSI和SAS硬盘,而且以SAS居多。
相较PC机硬盘,服务器硬盘又有哪些优势或特点呢归纳起来主要有以下四点,服务器硬盘数据读写更快、可靠性更高、多采用SCSI或SAS接口及支持热插拔技术。
·速度更快:服务器所使用硬盘转速更快,每分钟10000转以上(如SAS硬盘常见转速为:15000转/分),且配置较大回写式缓存;
·高可靠性:服务器硬盘需24×7小时运转,同时承受大量数据的反复读写。服务器硬盘生产商会通过各自独有技术来确保数据安全;
·SCSI或SAS接口:服务器多采用磁盘阵列卡,来获得更大的存储容量,更灵活的阵列规划,保证服务器数据的安全和更高效的数据吞吐;
·支持热插拔:硬盘支持热插拔技术对于24小时运行服务器非常重要。在服务器不停机或某一块硬盘损坏情况下,拔出或插入一块硬盘,操作系统自动识别硬盘改动,尽可能的降低数据损失。
虽然服务器硬盘在高可靠方面下了很多功夫,比我们常用的PC用硬盘有绝对优势,但如同其它设备一样“硬件故障还是在所难免的”。而作为最直接也是最终数据的存身之处,硬盘有时可以说是一家企业的命脉所在,特别是对于研发和设计型企业来说,如果数据或研发成果因硬盘损坏而丢失,将会对企业造成无法估量的损失。因此,企业在选购产品前早做打算才是上策。
从总体成本考虑,企业所购买服务器、存储、交换机及硬盘等产品的售后服务成为日后运维的关键,既可节约成本,又可确保平台安全、稳定、高效运行。因此,选购拥有良好售后服务的产品才是解除IT管理者后期运维烦恼的最有效方式。
CIO如何选购服务器、存储等设备
产品售后服务有很多细节,所以同样需要IT经理注意。我们用一个真实案例(酷盘)来让大家明了在选购服务器、存储等IT设备时企业用户应该注意的地方。
酷盘:2010年8月成立,上线一年后注册用户量即超过千万,是国内发展最快的个人云存储服务公司。由著名天使投资人薛蛮子投资,2011年3月完成A轮500万美金融资,2011年10月完成B轮2000万美元融资。
“酷盘对服务器的I/O(输入输出能力)和磁盘的稳定性要求比较高。在采购服务器之初,我们选过好多种服务器,甚至尝试根据业务类型DIY服务器。但我们发现,在同档次、同价位的服务器磁盘压力测试中,戴尔服务器能够轻松通过。下单后,戴尔发货很快,且机器已经调试完毕,由戴尔专业员工直接送到我们指定机房。机器到机房后,我们通过远程管理卡在三五分钟内就把机器准备好,立刻投入使用。”酷盘创始人兼CEO 顾志诚还指出,“对于企业运维来讲,服务器的售后服务是非常重要的。因为云存储服务的独特性,坏盘率比其他行业稍高一点。这就意味我们每隔一段时间都有硬盘报错。如果使用戴尔服务器,戴尔每天都可以给你换盘。戴尔还有一些软件类服务,比如说远程管理卡,使用起来感觉也非常好。”
正如酷盘创始人顾志诚所述,服务器、存储及交换机,甚至是硬盘等网络设备并非一劳永逸,无论采购之前厂商如何承诺产品返修率多低,甚至是零故障保证,但售后问题依然值得重视。因此,企业为了避免损失最有效的措施就是选择具有良好售后服务的产品提供商。
服务器硬盘你知道与不知道的
谈到硬件故障、企业损失,IT机房除了服务器宕机外,服务器、存储等设备硬盘的报错、数据无法正常读写等常见问题不可不提。而造成硬盘损坏、数据无法读取或丢失的原因有以下几种:
1服务器设备升级,更换大容量硬盘,导致主板不能匹配;
2硬盘处于读写状态,服务器、存储电源突然中断;
3硬盘处于读写状态时,受到较大震动,使磁头与盘片发生撞击,导致损坏;
4工作环境温度过高或过低都会使晶体振荡器的时钟主频发生改变,从而使硬盘处于非正常工作状态,易于损坏。
企业服务器硬盘损坏或数据丢失,一般由产品生产商提供硬盘更换或数据恢复等服务,但生产商不保证企业硬盘的所有数据都会恢复。因此,企业在选择好的服务器、好的售后外,还应对数据做好实时备份和恢复解决方案,从而最大限度降低损失。
去年9月,eNet服务器频道记者针对国内市场三大主流服务器厂商DeLL、HP和联想的售后情况,从多维度进行探访,最终结果显示戴尔提供服务最优。
戴尔服务器售后除了在线支持(24小时7天)、电话支持(24小时7天)、邮件支持及网上报修外,戴尔还提供服务器延保方案和“保留您的硬盘服务”,让IT建设者或管理者更加放心。
戴尔“保留您的硬盘服务”允许用户在按有效期保修条款获得替换更换硬盘并保留故障硬盘,从本质上确保了企业的数据信息安全。其优点主要表现为:
·更高的安全性:企业敏感数据和硬盘依旧在IT管理部门控制范围内。保留对故障硬盘的实际拥有权是确保分类数据、专利数据或敏感数据安全可靠的有效方法。
·数据完全控制:通过内部保留故障硬盘,用户能够根据实际情况决定处置数据的方法和时间。在运输过程中跟踪故障硬盘也将不再困难。
·遵守法规要求:通过确保硬盘中的敏感信息安全可靠,有助于企业遵守现行的数据隐私法规和内部公司政策。
·降低企业风险:正确控制/处置敏感数据有助于防止客户机密数据或知识产权受到潜在的暴露威胁,从而降低面临代价高昂的民事责任的风险。
戴尔服务器延保方案及资费:1年下一工作日上门服务(40014元)、2年下一工日上门服务(65052元);1年下一工作日上门服务+1年意外损坏保护(47034元)、2年下一工日上门服务+2年意外损坏保护(74061元)。
数据,企业未来转型的方法论
全球数据总量突破ZB级,标志着我们已然迈入大数据时代初期,而面对爆炸式增长地海量数据,如何在合理时间内撷取、管理、分析、归档高价值数据将成为企业未来转型的方法论。
数据作为企业未来业务转型的唯一依据,直接存储介质服务器、存储硬盘的稳定、安全性,更需企业重视。
0条评论