大数据的特征有哪些？

大数据是什么？其实很简单，大数据其实就是海量资料巨量资料，这些巨量资料来源于世界各地随时产生的数据，在大数据时代，任何微小的数据都可能产生不可思议的价值。大数据有4个特点，为别为：Volume（大量）、Variety（多样）、Velocity（高速）、Value（价值），一般我们称之为4V。

所谓4V，具体指如下4点：

1．大量。大数据的特征首先就体现为“大”，从先Map3时代，一个小小的MB级别的Map3就可以满足很多人的需求，然而随着时间的推移，存储单位从过去的GB到TB，乃至现在的PB、EB级别。随着信息技术的高速发展，数据开始爆发性增长。社交网络（微博、推特、脸书）、移动网络、各种智能工具，服务工具等，都成为数据的来源。淘宝网近4亿的会员每天产生的商品交易数据约20TB；脸书约10亿的用户每天产生的日志数据超过300TB。迫切需要智能的算法、强大的数据处理平台和新的数据处理技术，来统计、分析、预测和实时处理如此大规模的数据。

2．多样。广泛的数据来源，决定了大数据形式的多样性。任何形式的数据都可以产生作用，目前应用最广泛的就是推荐系统，如淘宝，网易云音乐、今日头条等，这些平台都会通过对用户的日志数据进行分析，从而进一步推荐用户喜欢的东西。日志数据是结构化明显的数据，还有一些数据结构化不明显，例如、音频、视频等，这些数据因果关系弱，就需要人工对其进行标注。

大数据

3．高速。大数据的产生非常迅速，主要通过互联网传输。生活中每个人都离不开互联网，也就是说每天个人每天都在向大数据提供大量的资料。并且这些数据是需要及时处理的，因为花费大量资本去存储作用较小的历史数据是非常不划算的，对于一个平台而言，也许保存的数据只有过去几天或者一个月之内，再远的数据就要及时清理，不然代价太大。基于这种情况，大数据对处理速度有非常严格的要求，服务器中大量的资源都用于处理和计算数据，很多平台都需要做到实时分析。数据无时无刻不在产生，谁的速度更快，谁就有优势。

1MB =1024KB，，，，，，，， 一般MP3就几个MB ，

1GB =1024MB，，，，，，，，，，现在一般家用电脑硬盘500GB

1TB=1024GB，，，，，，，，，公司的服务器一般都是几百个TB

1PB=1024TB，，，，，，，，国家气象局在计算天气情况时，有时会用上吧

地球表面的总面积为510067860平方公里，gta5陆地面积是252平方公里，gta5大概70g，水域算20g(应该没有这么多)，gta5陆地面积大概占50g，地球表面大概需要102000TB(1TB＝1000GB)的硬盘，然而地球表面复杂的很，还有各种生物和人，还有不同季节气候。。。估计还多需要一些储存空间，大概150000TB，折合150PB(1PB＝1000TB)。而这么大的游戏需要用什么网速来下载呢？

用飞行器跑图做任务，需要瞬间加载很多地图，对于内存条容量和读写速度要求高的很，对硬盘读写速度要求也高的很，对CPU单线程和多线程要求也高的很，对显卡图像处理能力和显存的容量读写速度也要求高的很。现在家用最快宽带也只是1000M，下载游戏都要下载几年。。以现在科技发展能力，优化一下代码，进步一下硬件，家用消费级硬件怎么也得50年才能有支持这么大沙盒类游戏的硬件吧，那时候硬盘容量都以PB计算了。

我感觉近十年内，搞出五六个gta5这样的大岛，再弄一些小岛，画质再提升一个档次，组成一个更大的沙盒游戏就已经很不错了，做的再更真实一些，玩法再多样化一些，就已经很不错了，估计一个游戏五百来GB了。

所以啊，想想还是很美好的，不过限制也很多，最重要一点是很多人都没有时间玩一个这么大世界观的游戏了，做个任务跑图跑半小时能跑到吐了。太难，不过我很期待。

MB大，计算机存储信息的最小单位，称之为位(bit，又称比特)，它们之间的换算关系是：

字节再大一点就是KB。1KB=1024B  

接下来是MB，1MB=1024KB  

再大就是GB，1GB＝1024MB  

还有就是TB，1TB=1024GB，这么大的单位。一般只有大型服务器才会用TB级的容量。

存储器中所包含存储单元的数量称为存储容量，其计量基本单位是字节(Byte。简称B)

8个二进制位称为1个字节。

电脑中，计数使用的都是二进制，它是以2的次方数来计算的。 

拍，1PB=2的50次方＝10241024102410241024B=1024TB, 

艾，1EB=2的60次方＝102410241024102410241024B=1024PB, 

泽，1ZB=2的70次方＝1024102410241024102410241024B=1024EB, 

尧，1YB=2的80次方＝10241024102410241024102410241024B=1024ZB 

每个等于前一个乘以1024。

还有一种算法，就是把1024看成整数1000称作千，也就是10的3次方，那么从千以后的兆、吉、太相应地就是10的6、9、12、15、18、21。24次方。这种算法都是整数。 

以上两种方法都是对的，只是场合不同用法不同。

计算机行业偏重于用第一种，数学上一般用第二种。

计算机厂商标注内存常使用第二种方法。

存储服务器可以轻松满足。

当然，目前流行的三种网络存储也能轻松满足：

网络存储结构大致分为三种：直连式存储（DAS：Direct Attached Storage）、网络存储设备（NAS：Network Attached Storage）和存储网络（SAN：Storage Area Network）。

上述的存储都是基于硬盘，只是访问方式不同。 也就是所谓的云计算的一种，（云存储，分布式存储等）。

至于楼主问的比移动硬盘更大，那就是普通硬盘或者说硬盘库

RAID只是一种存储方式， NAS、SAN等都可能会使用到。

RAID更趋于物理层（注重实际电气连接和管理）

文件服务器，存储池、网络存储器更趋于逻辑层（从宏观，顶端实现巨大的逻辑单盘 比如超过500T的分区之类）

当然，逻辑层可以和物理层有机结合，也可以独立完成，具体需要看需求。（超级巨型数据库依赖于存储和运算，所以网络存储更符合其需要）

很多NAS或者文件服务器也都采用RAID方式，增加安全性（其实RAID的多数常见方案在性能上都并不处于优势，更多的只是在稳定性上，牺牲更多造价来提升稳定性和可用性）

未来可能会使用生物硬盘(DNA硬盘)，据说手掌大小可以实现超过PB的容量（1PB=1000TB）

网络存储技术 ： http://baikebaiducom/linkurl=Rsq264Jd73eVW8B2XJKJK1gBvsiYP5R3Z5E8jbQDtmsjN5jkZFtcNVwbAv84wEL_QDThbheyxw_oVbeq66tKMq

DNA硬盘：http://baikebaiducom/linkurl=31mGA0IsKmlFl98yVMBwvrbQrtrShiMgQaOjHAdG0pwfSsuh3lqK91ZdDhGqz3p1QWgG01ZaNgMtC34XeXwkCK

固态硬盘怎么选择 大容量SSD采购指南

大容量固态硬盘(SSD)了不起。现在其中许多款式在纷纷涌入市场。不久前1 TB的普通硬盘(HDD)还是重大新闻，而SSD在阔步前行，即将迎来32 TB大关。

市面上已经有许多大容量SSD。下面是其中几种主流的选择。

三星

三星电子公司提供一系列广泛的SSD。比如说，PM1725是一款64 TB SSD，顺序读取速度可高达2000 MB/s，随机读取操作速度达到120k IOPS。与大多数企业SSD一样，它也使用NAND闪存内存作为存储介质，使用控制器作为与主机系统连接的接口，以便映射坏的数据块、缓存读/写数据，并执行错误检验和纠正(ECC)。但三星也在推出最新产品，考验SSD技术的极限，这个季度会推出第一批新品。

三星的内存业务总裁杨铉浚(Young-Hyun Jun)说：“有了我们的第四代V-NAND技术，我们可以在大容量、高性能和紧凑产品等方面提供带来差异化优势的价值。”

据说相比前一代技术，V-NAND垂直堆叠的存储单元阵列要多30%。这让其成为64层的三级单元闪存。因而，单晶片密度提高到512 Gb，输入输出速度提高到800Mbps。顶级系列将是面向企业存储系统的32 TB SAS SSD，预计在2017年上市。512块V-NAND芯片堆叠在16层，构成一个1 TB封装件，而一块25英寸的SSD里面含有32个这样的封装件。该公司的路线图包括到2020年推出100 TB SSD。

美光

美光对市场的解读是，大容量SSD的出现归因于企业需要更新改造老式的IT基础设施，需要更大的灵活性。基于帧的阵列(塞满了一只只托架的10K和15K HDD)逐渐被固态存储取而代之。

美光的首席技术专家斯科特·谢德莱(Scott Shadley)说：“企业组织在采取必要的措施，将更活跃的应用存储与传统的存储网络分离开来。它们在纷纷采用直接连接存储(DAS)方法，让公司能够更迅速地访问和利用数据，从而获得成功所需的那种灵活性和洞察力。”

美光一向坚定地支持新的接口技术(比如NVMe)，帮助系统进入到速度快、效率高的大容量驱动器行列。比如说，美光9100 PCIe NVMe SSD旨在为要求很高的数据中心工作负载提供灵活性和规模。基本的想法是，让非易失性内存尽可能挨近处理器，据说相比单一的企业SATA SSD，速度最多要快10倍。它提供32TB的存储容量，半高半长(HHHL)款式和25英寸款式都有这个容量。

美光认为，最高端系列的最大容量的SSD适用于许多应用领域，但并非适用于所有应用领域。

谢德莱说：“改用SSD的初始费用不是很高，由于性能、功耗和总的占用空间，实际上从长远来看可以节省更多的钱。大容量SSD是为支持内容共享流量的云服务(比如视频和媒体流)以及主动归档应用领域(高度敏感的信息并不仅仅被覆盖)精心设计的。”

但是他补充道，至于读取操作密集型工作负载，你需要适中的耐用性，为用户提供一致的数据吞吐量，以确保快速提供阅读、听取或观看所请求的信息。

谢德莱说：“由于3D NAND的问世，单个SSD达到了之前HDD所达到的成本敏感和容量方面的阈值。”

西部数据

西部数据HGST品牌的Ultrastar SN100 SSD系列兼顾容量和性能。它面向云系统、超大规模系统和企业超融合系统。Ultrastar SN100有25英寸或U2这两种款式，使用PCIe接口和NVMe驱动程序，即便在繁重负载下也能确保低延迟。其容量为32 TB。

西部数据的客户和企业解决方案营销主管沃尔特·欣顿(Walter Hinton)说：“在处理混合的读/写工作负载时，Ultrastar SN100 PCIe NVMe SSD的表现尤为出色(可提供高达310K IOPS的性能)。SN100常常被拥有MySQL、 Cassandra、MongoDB或Hadoop的 HDFS等大型横向扩展数据库的客户使用，因为这些数据库青睐服务器里面的设备，而不是传统的基于网络的SAN或NAS存储。”

虽然SN100是市面上封装密度最高的SSD之一，但西部数据并没有把它视作HDD的替代者。事实上，它是被大多数超大规模/云/电信企业使用的分层架构的一部分，用于处理数量最庞大的联机事务处理(OLTP)或联机分析处理(OLAP)数据，以便迅速获得洞察力、做出决定，这种情形下，绝大多数的数据长期存储在数据湖或归档系统中。

欣顿说：“就数据库应用而言，应考虑IOPS-to-GB比率，以便选择大容量SSD还是针对性能经过优化的SSD，或者甚至是分层架构。SSD的性能和容量有好多档次，总体拥有成本(TCO)常常不一样。”

NetApp

虽然西部数据、三星和美光等磁盘和闪存生产商生产大容量SSD，但存储OEM厂商将它们部署到自己的阵列中。比如说，采用ONTAP操作系统的NetApp全闪存FAS阵列据说可提供高性能，此外还提供数据效率功能，可以最大限度地提高大容量15 TB SSD的实际容量。它拥有4:1数据效率、高级数据管理和数据保护功能。

市面上还有另外许多大容量SSD来自领先的存储厂商，以及市场上的许多闪存阵列厂商。这包括：

HPE

HPE 3PAR StoreServ全闪存存储产品有多种容量的SSD，从400 GB一直到1536 TB SSD。虽然SSD容量增加后，每GP的总体IOPS随之下降，但是总的延迟在大规模环境下仍保持不变。因而，即便是像1536 TB这些更大的容量，IOPs密度仍要比HDD高出15倍。另外，总的重构时间与HDD相比要少得多。

HPE 3PAR的产品管理主管埃文·扬纳科内(Ivan Iannaccone)说：“我们注意到，我们推出这些采用更新技术、更大容量的SSD后，迅速得到了用户的采用。这归功于技术发展带来的密度优势和这些高密度硬盘具有的成本优势。”

比如在今年夏季，HPE为其3PAR StoreServ系统推出了768 TB和1536 TB SSD。HPE的看法是，容量较大的SSD只有采用能处理大容量SSD的架构才合理。由于这个原因，HPE发明了自适应容量节约(Adaptive Sparing)和Express Layout等技术，帮助SSD和阵列大规模处理闪存。自适应容量节约是一种存储虚拟化技术，让过多容量能够用作备用容量。这让存储系统在遇到部件故障后得以幸存下来。类似的是，Express Layout是另一种存储虚拟化技术，它在数据存储在何处、如何存储方面增添了更大的控制性。

Tintri

迄今为止，Tintri还没有推出最大容量的SSD。话虽如此，它确实提供在其T5080全闪存系统中的384 TB SSD。但是如果每个单元塞入24个这样的设备，就可以扩展到66U的机架空间中的10 PB容量。

戴尔EMC

戴尔EMC最近发布了VMAX 250F，据说该产品提供企业级解决方案，拥有中级市场的价位。可扩展到1PB的实际容量和100多万 IOPS，响应时间不到1微秒。VMAX 250F支持76 TB和15 TB的企业闪存驱动器。VMAX 250F基于戴尔EMC V-Brick架构。一个配置齐全的VMAX 250F最多可提供64个主机端口，而一只装满的VMAX 250F V-Brick只占用10U的机架空间。

Pure Storage

Pure Storage也凭借最新的FlashArray//m，杀入了PB级闪存存储市场。这是Pure Storage的旗舰FlashArray产品的第五代，它可以扩展到7U机架空间中的512 TB原始容量。有四种不同的控制器可供选择，相比上一代的FlashArray//m，性能有望提升20%至30%，容量提升100%至276%。

原文标题：High-Capacity SSD Buying Guide，作者：Drew Robb

电脑最大内存是98TB，98TB=100352GB。安装在“天河一号”上。

天河一号具体配置情况

–6144个通用处理器（3072x2 Intel Quad Core Xeon E5540 253GHz/E5540 30GHz）；

–5120个加速处理器（2560 ATI Radeon 4870x2 575MHz）

–内存总容量98TB ；

–点点通信带宽40Gbps ；

–共享磁盘总容量为1PB

天河一号A

–2048颗我国仿制sun公司的UltraSparc T2处理器（飞腾FT-1000）八核心处理器

–14336颗Intel Xeon X5670 293GHz六核心处理器

–7168块NVIDIA Tesla M2050高性能计算卡

硬件系统

–计算阵列、加速阵列、服务阵列，以及互连通信子系统、I/O存储子系统和监控诊断子系统等

计算阵列

–2560个计算结点 ；

–每个计算结点集成2个Intel CPU，配32GB内存 。

加速阵列

–2560个加速结点；

–每个加速结点含2个NVIDIA Tesla C2050/2070 GPU、 2GB显存 。

服务阵列

–512个服务结点 ；

–每个服务结点含2个Intel EP CPU、32GB内存 。

互连通信子系统

–采用两级Infiniband QDR互 ；

–单个通信链路的通信带宽为40Gbps、延迟12μs 。

I/O存储子系统

–采用全局分布共享并行I/O系统结构 ；

–磁盘总容量1PB 。

监控

–采用分布式集中管理结构，实现全系统的实时安全监测、系统控制和调试诊断等功能

软件系统

–操作系统、编译系统、资源管理系统和并行程序开发环境等四部分组成 。

操作系统

–操作系统采用64位Linux；

–面向高性能并行计算、支持能耗管理、虚拟化和安全隔离等进行了针对性设计 。

“天河一号”的操作系统用的是我国的“银河麒麟”操作系统，在“银河麒麟”操作系统基础上进行改造的。“银河麒麟”是国防科技大学自主研制，目前我国等级最高的操作系统。它是自主研制的，它的内核、很多接口我国拥有自主知识产权；同时，它又能兼容国际上很多操作系统，主要是linux操作系统，因此能够广泛地支持第三方软件。

编译系统

–支持C、C++、Fortran77/90/95、Java语言；

–支持OpenMP、MPI并行编程 ；

–提供异构协同编程框架，高效发挥CPU和GPU的协同计算能力 。