并行处理是云存储的用途吗？

　　云存储的应用领域

　　云物联应用

　　云计算和物联网之间的关系可以用一个形象的比喻来说明：“云计算”是“互联网“中的神经系统的雏形，“物联网”是“互联网”正在出现的末梢神经系统的萌芽。

　　云存储应用

　　云存储是在云计算（cloud computing）概念上延伸和发展出来的一个新的概念，是指通过集群应用、网格技术或分布式文件系统等功能，将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作，共同对外提供数据存储和业务访问功能的一个系统。当云计算系统运算和处理的核心是大量数据的存储和管理时，云计算系统中就需要配置大量的存储设备，那么云计算系统就转变成为一个云存储系统，所以云存储是一个以数据存储和管理为核心的云计算系统。

　　云呼叫应用

　　云呼叫中心是基于云计算技术而搭建的呼叫中心系统，企业无需购买任何软、硬件系统，只需具备人员、场地等基本条件，就可以快速拥有属于自己的呼叫中心，软硬件平台、通信资源、日常维护与服务由服务器商提供。具有建设周期短、投入少、风险低、部署灵活、系统容量伸缩性强、运营维护成本低等众多特点；无论是电话营销中心、客户服务中心，企业只需按需租用服务，便可建立一套功能全面、稳定、可靠、座席可分布全国各地，全国呼叫接入的呼叫中心系统。

　　私有云应用

　　私有云（Private Cloud）是将云基础设施与软硬件资源创建在防火墙内，以供机构或企业内各部门共享数据中心内的资源。 创建私有云，除了硬件资源外，一般还有云设备（IaaS）软件；现时商业软件有VMware的 vSphere 和Platform Computing 的ISF， 开放源代码的云设备软件主要有Eucalyptus和OpenStack。

　　私有云计算同样包含云硬件、云平台、云服务三个层次。不同的是，云硬件是用户自己的个人电脑或服务器，而非云计算厂商的数据中心。云计算厂商构建数据中心的目的是为千百万用户提供公共云服务，因此需要拥有几十上百万台服务器。私有云计算，对个人来说只服务于亲朋好友，对企业来说只服务于本企业员工以及本企业的客户和供应商，因此个人或企业自己的个人电脑或服务器已经足够用来提供云服务。

　　云游戏应用

　　云游戏是以云计算为基础的游戏方式，在云游戏的运行模式下，所有游戏都在服务器端运行，并将渲染完毕后的游戏画面压缩后通过网络传送给用户。在客户端，用户的游戏

负载均衡有两种含义：第一种，单个负载的运算分担到多台节点设备上做并行处理，每个节点设备处理结束后，将结果汇总，返回给用户，系统处理能力得到大幅度提高，也就是常说的集群（clustering）技术。第二种，大量的并发访问或数据流量分担到多台节点设备上分别处理，减少用户等待响应的时间，这主要针对Web服务器、FTP服务器、企业关键应用服务器等网络应用。通常，负载均衡会根据网络的不同层次（网络七层）来划分。其中，第二层的负载均衡指将多条物理链路当作一条单一的聚合逻辑链路使用，这就是链路聚合（Trunking）技术，它不是一种独立的设备，而是交换机等网络设备的常用技术。现代负载均衡技术通常操作于网络的第四层或第七层，这是针对网络应用的负载均衡技术，它完全脱离于交换机、服务器而成为独立的技术设备。

服务器实现负载均衡有软件和硬件两种方式

软件负载均衡的方式是在一台或多台服务器相应的操作系统上安装一个或多个应用软件来实现负载均衡，如DNS Load Balance，CheckPoint Firewall-1 ConnectControl等，它的优点是基于特定环境，配置简单，使用灵活，成本低廉，可以满足一般的负载均衡需求。缺点就是服务器上的软件本身就会消耗服务器系统不定量的资源，同时操作系统本身的原因，安全方面会有影响

硬件负载均衡的方法就是直接在服务器和外部网络间安装负载均衡设备，专由门的设备完成专门的任务，独立于操作系统，整体性能得到提高，加上多样化的负载均衡策略，智能化的流量管理，可达到负载均衡需求。

负载均衡具体有三种部署方式：路由模式、桥接模式、服务直接返回模式。

路由模式部署灵活，服务器的网关设置成负载均衡机的LAN口地址，且与WAN口分署不同的逻辑网络。因此所有返回的流量也都经过负载均衡。这种方式对网络的改动小，能均衡任何下行流量。

桥接模式配置简单，不改变现有网络。负载均衡的WAN口和LAN口分别连接上行设备和下行服务器。LAN口

不需要配置IP（WAN口与LAN口是桥连接），所有的服务器与负载均衡均在同一逻辑网络中。这种安装方式容错性差，网络架构缺乏弹性，对广播风暴及其他生成树协议循环相关联的错误敏感。

服务直接返回模式这种安装方式负载均衡的LAN口不使用，WAN口与服务器在同一个网络中，互联网的客户端访问负载均衡的虚IP（VIP），虚IP对应负载均衡机的WAN口，负载均衡根据策略将流量分发到服务器上，服务器直接响应客户端的请求。因此对于客户端而言，响应他的IP不是负载均衡机的虚IP（VIP），而是服务器自身的IP地址。也就是说返回的流量是不经过负载均衡的。因此这种方式适用大流量高带宽要求的服务。

　　Dryad：MapReduce之外的新思路　　目前各大软件巨头都搭建了自己的分布式平台解决方案，主要包括Dryad，DynamoSDMapReduce等框架。2010年12月21日，微软发布了Dryad的测试版本，成为谷歌MapReduce分布式并行计算平台的竞争对手。Dryad是微软构建云计算基础设施的重要核心技术之一，它可以让开发人员在Windows或者，NET平台上编写大规模的并行应用程序模型，并能够让在单机上编写的程序运行在分布式并行计算平台上。工程师可以利用数据中心的服务器集群对数据进行并行处理，当工程师在操作数千台计算机时，无需关心分布式并行计算系统方面的细节。

DryadgDDryadLINO是微软硅谷研究院创建的研究项目，主要用来提供一个分布式并行计算平台。DryadLINO是分布式计算语言，能够将LINQ编写的程序转变为能够在Dryad上运行的程序，使普通程序员也可以轻易进行大规模的分布式计算。它结合了微软Dryad和LINO两种关键技术，被用于在该平台上构建应用。Dryad构建在Cluster Service(集群服务)和分布式文件系统之上，可以处理任务的创建和管理、资源管理，任务监控和可视化、容错，重新执行和调度等工作。

Dryad同MapReduce样，它不仅仅是种编程模型，同时也是一种高效的任务调度模型。Dryad这种编程模型不仅适用于云计算，在多核和多处理器以及异构机群上同样有良好的性能。在VisualStudio 2010 C++有一套并行计算编程框架，支持常用的协同任务调度和硬件资源(例如CPU和内存等)管理，通过WorkStealing算法可以充分利用细颗粒度并行的优势，来保证空闲的线程依照一定的策略建模，从所有线程队列中“偷取”任务执行，所以能够让任务和数据粒度并行。Dryad与上述并行框架相似，同样可以对计算机和它们的CPU进行调度，不同的是Dryad被设计为伸缩于各种规模的集群计算平台，无论是单台多核计算机还是由多台计算机组成的集群，甚至拥有数千台计算机的数据中心，都能以从任务队列中创建的策略建模来实现分布式并行计算的编程框架。

Dryad系统架构

Dryad系统主要用来构建支持有向无环图(Directed Acycline Graph，DAG)类型数据流的并行程序，然后根据程序的要求进行任务调度，自动完成任务在各个节点上的运行。在Dryad平台上，每个任务或并行计算过程都可以被表示为一个有向无环图，图中的每个节点表示一个要执行的程序，节点之间的边表示数据通道中数据的传输方式，其可能是文件、TCPPipe、共享内存

用Dryad平台时，首先需要在任务管理(JM)节点上建立自己的任务，每一个任务由一些处理过程以及在这些处理过程问的数据传递组成。任务管理器(JM)获取无环图之后，便会在程序的输入通道准备，当有可用机器的时候便对它进行调度。JM从命名服务器(NS)那里获得一个可用的计算机列表，并通过一个维护进程(PD)来调度这个程序。

Dryad的执行过程可以看做是一个二维管道流的处理过程，其中每个节点可以具有多个程序的执行，通过这种算法可以同时处理大规模数据。在每个节点进程(VerticesProcesses)上都有一个处理程序在运行，并且通过数据管道(Channels)的方式在它们之间传送数据。二维的Dryad管道模型定义了一系列的操作，可以用来动态地建立并且改变这个有向无环图。这些操作包括建立新的节点，在节点之间加入边，合并两个图以及对任务的输入和输出进行处理等。

Dryad模型算法应用

DryadLINQ可以根据工程师给出的LINQ查询生成可以在Dryad引擎上执行的分布式策略算法建模(运算规则)，并负责任务的自动并行处理及数据传递时所需要的序列化等操作。此外，它还提供了一系列易于使用的高级特性，如强类型数据、Visual Studio集成调试以及丰富的任务优化策略(规则)算法等。这种模型策略开发框架也比较适合采用领域驱动开发设计(DDD)来构建“云”平台应用，并能够较容易地做到自动化分布式计算。

我们经常会遇到网站或系统无法承载大规模用户并发访问的问题，解决该问题的传统方法是使用数据库，通过数据库所提供的访问操作接口来保证处理复杂查询的能力。当访问量增大，单数据库处理不过来时便增加数据库服务器。如果增加了三台服务器，再把用户分成了三类A(学生)、B(老师)，C(工程师)。每次访问时先查看用户属于哪一类，然后直接访问存储那类用户数据的数据库，则可将处理能力增加三倍，这时我们已经实现了一个分布式的存储引擎过程。

我们可以通过Dryad分布式平台来解决云存储扩容困难的问题。如果这三台服务器也承载不了更大的数据要求，需要增加到五台服务器，那必须更改分类方法把用户分成五类，然后重新迁移已经存在的数据，这时候就需要非常大的迁移工作，这种方法显然不可取。另外，当群集服务器进行分布式计算时，每个资源节点处理能力可能有所不同(例如采用不同硬件配置的服务器)，如果只是简单地把机器直接分布上去，性能高的机器得不到充分利用，性能低的机器处理不过来。

Dryad解决此问题的方法是采用虚节点，把上面的A、B、C三类用户都想象成一个逻辑上的节点。一台真实的物理节点可能会包含一个或者几个虚节点(逻辑节点)，看机器的性能而定。我们可以把那任务程序分成Q等份(每一个等份就是一个虚节点)，这个Q要远大于我们的资源数。现在假设我们有S个资源，那么每个资源就承担Q／S个等份。当一个资源节点离开系统时，它所负责的等份要重新均分到其他资源节点上；当一个新节点加入时，要从其他的节点1偷取2一定数额的等份。

在这个策略建模算法下，当一个节点离开系统时，虽然需要影响到很多节点，但是迁移的数据总量只是离开那个节点的数据量。同样，～个新节点的加入，迁移的数据总量也只是一个新节点的数据量。之所以有这个效果是因为Q的存在，使得增加和减少节点的时候不需要对已有的数据做重新哈希(D)。这个策略的要求是Q>>s(存储备份上，假设每个数据存储N个备份则要满足Q>>SN)。如果业务快速发展，使得不断地增加主机，从而导致Q不再满足Q>>S，那么这个策略将重新变化。

Dryad算法模型就是一种简化并行计算的编程模型，它向上层用户提供接口，屏蔽了并行计算特别是分布式处理的诸多细节问题，让那些没有多少并行计算经验的开发 人员也可以很方便地开发并行应用，避免了很多重复工作。这也就是Dryad算法模型的价值所在，通过简化编程模型，降低了开发并行应用的入门门槛，并且能大大减轻了工程师在开发大规模数据应用时的负担。

通过上述的论述，我们可以看到Dryad通过一个有向无环图的策略建模算法，提供给用户一个比较清晰的编程框架。在这个编程框架下，用户需要将自己的应用程序表达为有向无环图的形式，节点程序则编写为串行程序的形式，而后用Dryad方法将程序组织起来。用户不需要考虑分布式系统中关于节点的选择，节点与通信的出错处理手段都简单明确，内建在Dryad框架内部，满足了分布式程序的可扩展性、可靠性和对性能的要求。

使用Drvad LINO

通过使用DryadLINQ编程，使工程师编写大型数据并行程序能够轻易地运行在大型计算机集群里。DryadLINO开发的程序是一组顺序的L_NQ代码，它们可以针对数据集做任何无副作用的操作，编译器会自动将其中数据并行的部分翻译成并行执行的计划，并交由底层的Dryad平台完成计算，从而生成每个节点要执行的代码和静态数据，并为所需要传输的数据类型生成序列化代码；

LINQ本身是，NET引入的组编程结构，它用于像操作数据库中的表一样来操作内存中的数据集合。DryadLINQ提供的是一种通用的开发／运行支持，而不包含任何与实际业务，算法相关的逻辑，Dryad和DryadLINQ都提供有API。DryadLINQ使用和LINQ相同的编程模型，并扩展了少量操作符和数据类型以适用于数据并行的分布式计算。并从两方面扩展了以前的计算模型(SQL，MapReduce，Dryad等)它是基于，NET强类型对象的，表达力更强的数据模型和支持通用的命令式和声明式编程(混合编程)，从而延续了LINQ代码即数据(treat codeas data)的特性。

DryadLINQ使用动态的代码生成器，将DryadLINQ表达式编译成，NET字节码。这些编译后的字节码会根据调度执行的需要，被传输到执行它的机器上去。字节码中包含两类代码完成某个子表达式计算的代码和完成输入输出序列化的代码。这种表达式并不会被立刻计算，而是等到需要其结果的时候才进行计算。DryadLINQ设计的核心是在分布式执行层采用了一种完全函数式的，声明式的表述，用于表达数据并行计算中的计算。这种设计使得我们可以对计算进行复杂的重写和优化，类似于传统的并行数据库。从而解决了传统分布式数据库SQL语句功能受限与类型系统受限问题，以及MapReduce模型中的计算模型受限和没有系统级的自动优化等问题。

在Dryad编程模式中，应用程序的大规模数据处理被分解为多个步骤，并构成有向无环图形式的任务组织，由执行引擎去执行。这两种模式都提供了简单明了的编程方式，使得工程师能够很好地驾驭云计算处理平台，对大规模数据进行处理。Dryad的编程方式可适应的应用也更加广泛，通过DryadLINQ所提供的高级语言接口，使工程师可以快速进行大规模的分布式计算应用程序的编写。

Dryad技术的应用

云计算最重要的概念之～就是可伸缩性，实现它的关键是虚拟化。通过虚拟化可以在一台共享计算机上聚集多个操作系统和应用程序，以便更好地利用服务器。当一个服务器负载超荷时，可以将其中一个操作系统的一个实例(以及它的应用程序)迁移到一个新的，相对闲置的服务器上。虚拟化(Virtualization)是云计算的基石，企业实现私有云的第一步就是服务器基础架构进行虚拟化。基础设施虚拟化之后。接下来就是要将现有应用迁移到虚拟环境中。

Dryad结合Hyper-V(Windows Server 2008的一个关键组成部分)虚拟化技术。可以实现TB级别数据的在线迁移。中小型企业也可以针对企业内部小型集群服务器进行分布式应用系统编程，以及制定私有云开发与应用解决方案等设计。Windows Azure是微软的公有云解决方案，但是目前要大规模应用还为时过早。使用现有Windows第三方产品实现私有云，花费成本却很大。然而Dryad技术给我们带来了不错的折中选择，当我们基于Windows Server台运行应用系统或者网站时，便可以基于Dryad分布式架构来开发与设计实现。当公有云时机成熟和各种条件完备时，系统可以很轻易地升级到公有云，企业而无需花费太多成本。

写在最后

云计算可以看成是网络计算与虚拟化技术的结合，利用网络的分布式计算能力将各种IT资源筑成一个资源池，然后结合成熟的存储虚拟化和服务虚拟化技术，让用户实时透明地监控和调配资源。Dryad是实现构建微软云计算基础设施的重要核心技术之一，其具有诸多优点，如DryadLINQ具有声明式编程并将操作的对象封装为，NET类数据，方便数据操作，自动并行化、VisualStudio IDE和，NET类库集成，自动序列化和任务图的优化(静态和动态(主要通过DryadAPI实现))，对J0in进行了优化，得到了比BigTable+MapReduee更快的Join速率和更易用的数据操作方式等。

不过，Dryad和DryadLINQ也同样具有局限性。其一，它更适用于批处理任务，而不适用于需要快速响应的任务；这个数据模型更适用于处理流式访问，而不是随机访问。其二，DryadLINQ使用的是，NET的LINO查询语言模型，针对运行Windows HPC Server的计算机集群设计，而目前高性能计算市场被Einux所占领。此外，和MapReduce的应用时间和实践相比，Dryad的可靠性还明显不足，据了解除了微软AdCenter中的数据分析和Trident项目之外，其它应用Dryad的地方还很少。不过总的来看，Dryad平台在将来仍具有很广泛的发展前景，尤其对NET开发人员来说是―次很重要的技术革新机遇。

名词解释

任务管理器(Job Manager，JM)：每个Job的执行被一个Job Manager控制，该组件负责实例化这个Job的工作图，在计算机群上调度节点的执行；监控各个节点的执行情况并收集一些信息，通过重新执行来提供容错：根据用户配置的策略动态地调整工作图。

计算机群(Cluster)：用于执行工作图中的节点。

命名服务器(Name Server,Ns)：负责维护cluster中各个机器的信息。

维护进程(PDaemon,PD)：进程监管与调度工作。

英特尔工程师们开发了多核芯片，使之满足“横向扩展”（而非“纵向扩充”）方法，从而提高性能。该架构实现了“分治法”战略。

通过划分任务，线程应用能够充分利用多个执行内核，并可在特定的时间内执行更多任务。

多核处理器是单枚芯片（也称为“硅核”），能够直接插入单一的处理器插槽中，但操作系统会利用所有相关的资源，将它的每个执行内核作为分立的逻辑处理器。通过在两个执行内核之间划分任务，多核处理器可在特定的时钟周期内执行更多任务。

多核架构能够使软件更出色地运行，并创建一个促进软件编写更趋完善的架构。

尽管认真的软件厂商还在探索全新的软件并发处理模式，但是，随着向多核处理器的移植，现有软件无需被修改就可支持多核平台。

操作系统专为充分利用多个处理器而设计，且无需修改就可运行。为了充分利用多核技术，应用开发人员需要在程序设计中融入更多思路，但设计流程与对称多处理 (SMP) 系统的设计流程相同，并且现有的单线程应用也将继续运行。

得益于线程技术的应用在多核处理器上运行时将显示出卓越的性能可扩充性。此类软件包括多媒体应用（内容创建、编辑，以及本地和数据流回放）、工程和其他技术计算应用以及诸如应用服务器和数据库等中间层与后层服务器应用。

多核技术能够使服务器并行处理任务，而在以前，这可能需要使用多个处理器，多核系统更易于扩充，并且能够在更纤巧的外形中融入更强大的处理性能，这种外形所用的功耗更低、计算功耗产生的热量更少。多核技术 是处理器发展的必然近20年来，推动微处理器性能不断提高的因素主要有两个：半导体工艺技术的飞速进步和体系结构的不断发展。半导体工艺技术的每一次进步都为微处理器体系结构的研究提出了新的问题，开辟了新的领域；体系结构的进展又在半导体工艺技术发展的基础上进一步提高了微处理器的性能。这两个因素是相互影响，相互促进的。一般说来， 工艺和电路技术的发展使得处理器性能提高约20倍，体系结构的发展使得处理器性能提高约4倍，编译技术的发展使得处理器性能提高约14倍。但是今天，这种规律性的东西却很难维持。多核的出现是技术发展和应用需求的必然产物。这主要基于以下事实； 超标量（Superscalar）结构和超长指令字（VLIW）结构在高性能微处理器中被广泛采用。但是它们的发展都遇到了难以逾越的障碍。Superscalar结构使用多个功能部件同时执行多条指令，实现指令级的并行（Instruction-Level Parallelism，ILP）。但其控制逻辑复杂，实现困难，研究表明，Superscalar结构的ILP一般不超过8。VLIW结构使用多个相同功能部件执行一条超长的指令，但也有两大问题：编译技术支持和二进制兼容问题。

未来的主流应用需要处理器具备同时执行更多条指令的能力，但是从单一线程中已经不太可能提取更多的并行性，主要有以下两个方面的原因：一是不断增加的芯片面积提高了生产成本；二是设计和验证所花费的时间变得更长。在处理器结构上，更复杂化的设计也只能得到有限的性能提高。

对单一控制线程的依赖限制了多数应用可提取的并行性，而主流商业应用，如在线数据库事务处理（Online Database Transaction）与网络服务(如Web服务器)等，一般都具有较高的线程级并行性(TLP，Thread Level Parallelism）。为此，研究人员提出了两种新型体系结构: 单芯片多处理器(CMP)与同时多线程处理器(Simultaneous Multithreading，SMT)，这两种体系结构可以充分利用这些应用的指令级并行性和线程级并行性，从而显著提高了这些应用的性能。

从体系结构的角度看，SMT比CMP对处理器资源利用率要高，在克服线延迟影响方面更具优势。CMP相对SMT的最大优势还在于其模块化设计的简洁性。复制简单设计非常容易，指令调度也更加简单。同时SMT中多个线程对共享资源的争用也会影响其性能，而CMP对共享资源的争用要少得多，因此当应用的线程级并行性较高时，CMP性能一般要优于SMT。此外在设计上，更短的芯片连线使CMP比长导线集中式设计的SMT更容易提高芯片的运行频率，从而在一定程度上起到性能优化的效果。