建立数据分析平台花费有多大？NASA气候模拟中心告诉你

中国太空天团又添新成员

不久前"祝融号"成功着陆火星

并开始巡视探测

立下中国航天又一里程碑

从嫦娥、玉兔、悟空再到祝融

这些寄予着国人

太空梦的大国重器

指引着人类对

神秘宇宙的持续 探索

提到 探索 宇宙，先后执行了水星计划、阿波罗计划、国际空间站等研究任务的美国国家航空航天局(NASA)可谓鼎鼎有名。

其实，除了空间科学，地球学研究也在NASA的研究领域之内。位于马里兰州格林贝尔特的戈达德航空飞行中心(NASA-GSFC)，就拥有一支庞大的地球科学家队伍。

这些科学家研究天气和气候现象，时间跨度极大，从几天到几个世纪不等，他们需要分析 历史 天气和气候数据，并预测未来几十年的气候变化。

为了满足气候研究中存在的数据存储和计算需求，NASA专门设立了气候模拟中心(NCCS)。其内部运营着强大的超级计算资源库，这些资源包括一个庞大且不断发展的高性能计算系统——Discover，它拥有大约90个机架和90000个内核。

"一箭双雕"

组建高级数据分析平台

考虑到Discover被设计用来支持大规模的模拟，无法对高性能计算与大数据相结合的应用进行优化，NCCS又推出了高级数据分析平台(Advanced Data Analytics PlaTform，ADAPT)。

该平台是一个在私有云中结合HPC和虚拟化技术的系统，被用于进行大规模的数据分析。这种以数据为中心的虚拟系统方法，大大降低了用户访问HPC解决方案的障碍和风险。

看到这里，你会不会觉得NCCS"财大气粗"，直接新建平台，大手一挥说干就干

重点来了，ADAPT最亮眼的地方就在于，它实现了IT资源的循环利用。平台由退役的HPC部件建造，而这些部件正是来自于Discover升级后的旧设备。

这些被重新利用的设备包括数百台戴尔易安信PowerEdge C6100服务器，它们为ADAPT提供了大部分的计算节点。

戴尔易安信PowerEdge服务器搭载英特尔 至强 系列可扩展处理器，在核心、缓存、内存以及I/O方面进行了大量优化，使得其在整体性能上有了极大的提升，可满足多种工作负载需求。

NCCS的做法很聪明，可谓是"一箭双雕"。

一方面，这种处理方式对环境非常友好。在绿色环保已成为全球趋势的大背景下，妥善处理旧HPC设备，为IT产品的再利用进行了积极正向的示范。

另一方面，这种行为盘活了现有资源，利用旧设备组建的ADAPT切实解决了中心对数据分析的需求，同时没有产生较大的成本开支。

仔细观察，我们会发现，ADAPT当前表现为一个类似于平台即服务(PaaS)云的托管虚拟机(VM)环境。

它最重要的特点是通过存储、计算、网络和云计算能力的架构组合，实现大规模数据分析。这使科学家能够快速创建分析应用程序，将其移植到一个非常大的资源上，并能够访问庞大的模型和观测数据集。

在该资源的中心是一个大型的并行文件系统，拥有大约8PB的配置存储。围绕着存储的是一朵高性能计算资源云，它有许多处理核心和大内存，并借助InfiniBand网络与存储相连。

通过使用单根输入/输出虚拟化(SR-IOV)等技术，ADAPT可以在计算资源上配置虚拟系统，与存储和其他虚拟系统进行高速的网络连接。

为ADAPT提供了大部分计算节点的戴尔易安信PowerEdge C6100，具有容量大、性能强和灵活度高等优点，并且采用高密度封装。其高效的2U机架式机箱最多可支持12个35英寸或24个25英寸热插拔SAS、SATA或固态硬盘。

即便是退役后再上岗，PowerEdge服务器依旧"能打"，能实现单节点可维护性以及热插拔硬盘灵活性，为数据密集型科学应用程序提供坚实的基础架构。

在PowerEdge服务器的强力"助攻"下，ADAPT使科学家们能够随时访问大量数据集和强大的计算资源，并获得了HPCwire读者选择奖——最佳数据密集型系统(以终端用户为中心)。

软硬件服务兼具

提供HPC一站式解决方案

不仅是科学研究领域需要HPC，经过近些年高性能计算机器周边生态的快速发展，高性能计算逐渐成为一种"飞入寻常百姓家"的实用技术，在基因工程、生物制药、能源、金融等领域有着广泛的应用需求。

戴尔 科技 深耕高性能计算领域多年，从高性能计算的计算能力、网络能力、存储能力等多方面布局，能为多个垂直行业提供高性能、高IO、易用、易于扩展且服务周全的HPC方案，帮助客户更快速、更经济地部署HPC系统。

01在高性能服务器方面

戴尔易安信PowerEdge服务器提供可扩展的企业体系结构、智能的自动化和集成的安全性，其机架式、塔式和模块化服务器基础架构产品组合可以帮助用户快速地从数据中心向云端扩展。

不久前，戴尔 科技 发布了新一代戴尔易安信PowerEdge服务器产品。新款PowerEdge服务器采用了PCIe Gen 40，吞吐性能是上一代产品的两倍，每台服务器最多配有六个加速器，可提供给客户最关键负载和应用所需的计算能力。

这17款新服务器涵盖传统机架式服务器、2U4节点C系列、模块化服务器，此外还有专用的GPU优化服务器、 专用的边缘和电信服务器等。

比如说，采用了GPU加速器优化的PowerEdge R750xa，就是一款理想的高性能计算服务器，它能够为机器学习训练、推理和人工智能提供GPU密集型性能。这款双插槽2U服务器采用第三代英特尔 至强 可扩展处理器，最多支持4个双宽GPU和6个单宽GPU。

新款戴尔易安信PowerEdge R750的表现也令人眼前一亮。凭借强大的性能表现、出色的散热设计，以及卓越的软件功能，它刚刚获得专业评测机构StorageReview授予的"2021年编辑选择奖"。

该款服务器充分利用了最新第三代英特尔 至强 可扩展处理器的优势，包括对PCIe Gen4的支持，其吞吐性能是Gen3的两倍，专为最严苛工作负载而设计。

02在高性能网络方面

针对企业级和科研院所在部署高性能计算过程中对网络的需求特点，戴尔 科技 提供基于英特尔Omni-Path架构的高性能网络，此外还提供Mellanox EDR InfiniBand架构的100Gb高速低延迟网络。

03在高性能存储方面

戴尔 科技 提供了多种存储方案，既保证性能/容量要求，又提供更多功能选择供未来扩展业务应用。对于想要存储非结构化数据的用户来说，戴尔易安信PowerScale是一个很好的选择。

它安装简单、扩展容易、即插即用，支持包括Hadoop文件格式、S3对象文件格式、Windows文件格式等多种格式，便于HPC对数据进行存储、分析、处理和展现。

同时，PowerScale系统运行OneFS操作系统，内置了对Kubernetes的支持，可以帮助用户管理容器工作负载，并提供了在多云环境中管理数据的工具DataIQ。其线性扩展性能和容量，满足高性能文件存储的需求;重复删除和压缩计算，也提高了边缘端存储资源使用效率。

除了硬件产品，HPC还需要大量软件和服务的支持。戴尔 科技 拥有"适用于HPC的ProSupport附加服务"，提供了比ProSupport及ProSupportPlus基于设备本身售后服务更高级别的支持。

同时，戴尔易安信也提供基于HPC的Dell EMC Ready解决方案，简化并缩短了设计和配置为实时执行计算密集型任务而构建的HPC系统所需的时间。

高性能计算是计算领域的皇冠，未来HPC将更紧密地同大数据、人工智能、云计算等进行结合。作为首家提供HPC打包的方案厂商，戴尔 科技 在HPC领域不断创新。用户通过戴尔 科技 可以利用业界最新的HPC产品和技术，在竞争日益激烈的数字化世界中获得竞争优势。

Goole Earth和World Wind比较研究

1 引言

在空间数据不断丰富的今天，如何充分开发利用已有数据并为公众提供空间信息服务是目前面临的重要问题。Internet和网络技术的不断发展为网络空间信息服务提供了技术支撑。但是传统的WebGIS模式，要求GIS服务器根据用户请求实时动态生成数据返回给客户端，这种模式，对服务器性能以及网络带宽的要求高，不能满足大规模网络并发访问快速反应要求，已经成为困扰空间信息共享的技术瓶颈。Coog1P Earth和World Wind是两款优秀的网络维地球影像浏览器，它们的出现，打破了传统Web GIS的数据发布模式，为空间信息的快速发布提供了新的解决思路和技术手段。采用这种技术，客户端和服务器之间不是直接传输空问数据，而是传输影像和 XML ( KML—Keyhole Markup Language KML）文档。影像数据被预先按照不同比例尺分层分块生成，当用户请求数据时，服务器不需要实时生成数据，而是根据用户请求的范围和尺度，在服务器端选择顶先生成好的，拼接成满足用户要求的范围，返回给用户。这种模式可以极大的降低服务器和网络带宽的负担，为较少发生变化的空间数据发布提供了一种新的思路和解决方案。同时，这种技术使人们和空间信急的交互方式发生着深刻的变革。从World Wide Web到Web Wide World的变化反映了人们同空间信息的交互方式正从的单间信息服务模式到互动式、协同式探索的方向发展。

Google Earth和World Wind已经被大众广泛接受并逐渐开始应用在各个领域，两个软件既有共同之处，也各有特点，本文在分析这两款软件的技术特点之上，对二者进行了比较研究。

2 Google Earth技术分析

2004年10月27日GOOGLE宣布收购了Key-hole公司，并于2005年6月推出了Google Earth系列软件。Google Earth以三维地球的形式把大量卫星、航拍照片和模拟三维图像组织在一起，使用户从一个个新的角度浏览地球。Google Earth的数据来源于商业卫遥感卫星影像和航片，包括DigitelGlobe公司的QuickBird ,美IKOONOS及法国SPOTS。全球地貌影像的有效分辨率至少为100米，通常为30米，视角海拔高度（Eye alt）为15公单左右，针对大城市、著名风景区、建筑物区域会提供分辨率为1m和06m左右的高精度影像，视角高度（Eye alt）分别约为500米和35O米。目前提供高精度影像的城市集中在北美和欧洲，以及其他地区的重要城市。

Google Earth客户端软件提供了三个版本:个人免费版、Plus版、Pro版。个人免费版提供了全球的地貌影像、3D数据和重点城市的高精度卫星拍摄的影像，具有查询餐馆、旅馆和行车线路的功能，还能将建筑物进行精确的模拟3D演示,能够实现多图层灵活查询功能，并保存搜索结果〔提供地点书签记录功能，并且允许导入和导出。Plus版除终有个人免费版的功能外，还支持GPS数据接口导入、影像高精度打印、Email客户服务、注释提供草图简绘、csv文件数据输入等功能。Pro版支持视频**生成、高精度打印、GIS数据导入、GDT交通计量数据导入、NRB商务信息数据等功能。

Google Earth还提供了一个企业级的解决方案，用于在企业内部部署Google Earth应用。Google Earth企业解决方案包含一个主要部分:一是Google Earth Fusion，负责将用户的矢量数据、栅格数据、影像数据以及GIS常用的数据格式集成到Google Earth;二是Google Earth Server，负责将用户请求的数据使用流传输技术发送给客户端软件;三是Google Earth企业客户端（EC-Enterprise Client），负责向客户展现、打印地球影像，创建和共享地标(placemarks)

Google Earth包含全球大部分地区的真彩色遥感影像，并根据用户观察视角不同即时发送给用户不同分辨率的图像。用户可以通过鼠标点击、拖拽来控制飞行高度、方向、角度，也可以通过点击导航板或键盘控制。Google Earth除了浏览的功能外，还具有量测功能包括位置星测、高程量测、距离量测和垂直跨大率(vertical exaggeration)调整。

Google Earth具有三个突出特点，一是可以显示矢最数据地标，包括点、线、面等几何类型；二是具有栅格图象叠加的功能，允许用户将本机上或从网上下载下来的地图叠加到Google Earth上,并且可以调整祥加的透明度，此功能可以方便用户进行深入的观察和分析；三是具有三维虚拟模型，提供了一些城市的三维模型，允许用户使用三维对象。但三维模型的表示能为远没有Google Earth地标灵活，Google Earth地标是Google Earth最吸引人的地方。

用户可以创建和分享地标，这给Google Earth带了很大的灵话性，也给Google Earth带来了更多的信息。每个人都可以在Coogle Earth 上某个地点、线段、区域上定义自己的地标，加入自己的知识，并且用户可以发布和共享地标信息，这样，Google Earth就成为一个具有空间标识的信息载体，大量信息、以地标的形式集成到Google Earth上，这些地标内容丰富，包含文字解说、照片等信息。目前网络上已经有很多共享地标，用户可以直接下载，加入到自己的Google Earth软件。Google Earth 4已经支持中文地标。

Google Earth地标使用KML描述。KML全称是Keyhole Markup Language KML， 是一个基于KML语法和文件格式的文件，用来描述和保存地理信息并在Google Earth客户端之中显示。

KML 20提供以下功能:

(1)指定一个地点的图标和标注

(2)为每个视图指定明确的视角

（3）指定屏幕或地理位置的标注

(4)指定标注显示样式

(5)使用简单HTML语法的描述，支持超级链接和的显示

(6)使用文件夹(folders)对标注进行树形的分类管理

(7)动态播放基于时间戳记的标注

(8)从本地或远程的网络地址动态的加载KML文件

(9)当Google Earth客户端视图变化时，自动将视图信息发送给指定的源服务器并从服务器获取相关的标注信息

KML定义了大量的标记，提供了丰富的描述能力。<FOLDER>标记用来以树型方式组织地标，相当于管理地标的资源管理器。< Placemark>标记用来描述一个地名标注，例如，可以用来描述一个地理坐标点，坐标必须以[经度，纬度，高度]来指定，也可以描述线和面对象，指定地名标注的视点、名称和描述等信息。<NetworkLink>标记用来定义一个引用本地或远程的KML文件，保证了KML标记的共享能力。标注(Image Overlays)也可以用KML描述，通过标注,可以将用户的栅格数据叠加到Google Earth客户端。标记包含地理标注<Gronrrd0verlay>和屏幕标注<ScreenOverlay>两种，其中屏幕标注不需要关注摄取的照相机位置。KML提供了简单的几何标记，包括点( Point)、线(LineString)和面（Polygon)。 KML的几何标记与GML10和GML20相同，但是GML30对GML20的几何模型进行了扩展，KML与GML 30的几何标记不同。

3 World Wind技术分析

World Wind是由NASA阿莫斯研究中心的科研人员开发的开放源代码(Open Source)。NXASA World Wind可以利用Landsat 7、SRTM、MODIS、GLOBE , Landmark Set等多颗卫星的数据，将Landsat卫星的图像和航天飞机雷达遥感数据结合在一起，让用户体验三维地球遨游的感觉。在浏览地球的同时，还提供了月球数据，可以对月球进行虚拟的巡航。用户可在所观察的行星上随意地旋转、放大、缩小，同时可以看到地名和行政区划。World Wind能够浏览由Internet上的WMS ( Weh Mapping Service )提供的图像。World Wind正在发布着数以千兆的全球MASA 卫星数据，这是数年来对降水量、温度、大气压和其他许多数据每天观测的结果。World Wind还为公众提供美国地质助测局的航拍照片和地形地图，以及航天飞机雷达地形勘测任务和Landsat卫星的数据。

World Wind是个开放软件，允许用户修改World Wind软件本身。软件用C#编写，调用微软SQL Server影像库Terrain Server来进行全球地形三维显示，低分辩率的Blue marble数据包含的初始安装内，当用户放大到特定区域时，附加的高分辩率数据将会自动从NASA服务器上下载。它通过将遥感影像与SRTM高程(航天飞机雷达地形阁数据库）叠加生成三维地形在功能方面，软件终有长度测量(仅能测星两点间直线即离)、坐标和高程查询、屏幕裁图、添加标注及三维动态显示等功能。

World Wind最大的特性是卫星数据的自动更新能力。这种能力使得World Wind具有在世界范围内跟踪近期事件、天气变化、火灾等情况的能力。NASA已经提供了一系列演示动画，模拟全球飓风动态、季节变迁等全球活动。 World Wind可以通过软件接口直接播放动画，也可以显示GOLOBE（wwwglobegov）数据，例如用户指定时间范围的气温、云量、降水等数据。World Wind包含全部的国界、城市、交通、经纬线和其他参考测层，还具有接受来自GPS接收机的数据并将其坐标显示在三维地球上的能力。

World Wind允许用户设置缓存大小并且允许用户改变图像存储位置。同一个缓存可以被多个计算机共享，局域网上的用户可以从缓存内的提取信息，减少局域网到Internet上的流量。World wind提供直接下载DDS和JPEG卫星的能力。

World Wind软件对系统的要求校高:Windnws 2000, XP Home或XP Professional操作系统、PⅢ 1GB以上CPU、256MB内存、3D显卡、宽带网络、2GB硬盘空间、NET环境和DirectX

4 Google Earth 与 World Wind比较分析

Google Earth和 World Wind是两款可视化的三维地球浏览器，二者功能强大，具有三维可视化的能力，采用了先进的流传输技术，但是二者又具有很多不同之处。

（1)背景和目标不同。Google Earth的开发者-Google是一个商业公司，具有强的商业性，它的客户端是面向大众的;World Wind的开发者是NASA(美国国家航空航天局)，NASA是1个科学组织，World Wind是面向科货家、研究工作者和学生群体。

(2 )费用不同。World Wind是完全免费的，Google Earth具有三个版本，其中包括免费的个人版，Plus版和Pro版。Plus版和Pro 版每年分别要付20美元和400美元。Google 的免费版本被授权为个人使用，不能用于工作环境，而World Wind没有任何限制。另外World Wind是完全开放的，用户可以修改World Wind软件本身，Google Earth目前只开放了API(应用程序接口)。

(3）数据源不同。Google Earth使用商业卫星，主要来自DigitalGlobe公司的(QuickBird、美国IKONOS及法国SPOTS,高分辨率高。Google Earth只有地球的真彩色数据，但图层多而详细、如地势、边界、道路、铁路、水道、地震、火山、学校、教会、公园、加油站、高尔夫球场、犯罪统计…等，北美地区数据比较全。World Wind不仅具有地球的影像数据，还包括月球、火星、金星、木星的数据，并且还具有集成其他星球数据的能力。World Wind内建的l}l层有Blue Marble、Landsat 7、SRTM、NASA SVS、MODIS、GLOBE、USGS…等。每个图层的用途不同、所含的信息、分辨率也不同。另外只要是符合OGC WMS（Open GIS consortium web map service）即可成为World Wind的资料来源。World Wind支持导入Google Earth KML文件的插件。World Wind具有科学可视化、动画浏览器以及其他类型的卫星影像，其中有些数据每天更新。相比Google Earth，World Wind的数据更全面，结构更开放。

(4)初始大小不同。Google Earth软件下载大小为13MB, World Wind为62MB，这是因为Google Earth初始化为地球全景视图，用户浏览的高分辨率数据通过网络实时传输，而World Wind带有50M初始化数据，包括43个不同的地球视图、3个月球视图以及下载地区的地名数据。Google Earth地球视图是由不同时间的影像组合而成的，看上去有些斑块的感觉，但是Google 尽量让用户感觉这个虚拟的地球与地球的真实场景一致。World Wind具有不同的视图。这些视图具有不同的目标，例如Blue Marble提供了不同季节的地球浏览，Landset提供了地球的假彩色图像。World Wind的不同视图可以单独使用也可以合并在一起使用。

(5)缓存策略不同。World Wind把浏览的影像从NASA的服务器上按需要下载下来，缓存在本地，缓存文件可以直接看到，可以共享缓存。同时NASA已经有些打了包的数据供下载。一旦有了缓存数据，断开网络也可以使用World Wind，Google Earth相对来说缺乏缓存策略，这意味着它不断的更新用户想要获得的动态数据。虽然Google Earth共亨缓存在技术上是可以实现的，但它的缓存最大限制为2GB ,有限的缓存限制了共享缓存的能力。虽然Google Earth KML21引入了使用Google Earth图像流传输技术和动态修改和缓存结果的元素，但是Google Earth的缓存仍然太小。

(6)处理不同。Google Earth可以处理PNC, JPeg, tiff和gif，其中PNG 包括24bit和8bit以及透明彩色。World Wind对PNG的透明管理不如Google Earth完善，对于所有图像的透明度设置为开和关两项。基于KML 的(Google Earth图层管理系统存储显示参数，包括显示顺序、透明度等，较之World Wind更加灵活。

(7)操作系统支持的不同。Google Earth支持Windows 2000、XP、Mac OS X (104)、Linux操作系统，目前World Wind只支持Windows操作系统。

5 结束语

Google Earth是一款面向大众的商业软件，侧重满足大众的浏览、导航、量测的要求;World Wind面向科学研究工作者，提供了一个开放的地理信息框架，可以在此基础上进行进一步的开发。仔细分析二者，具有相同的技术特点，包括影像分层分块切片组织管理、数据流传输、缓存机制等技术。Google Earth技术思想已经被广泛认可，类似的产品也逐渐推出，例如ESRI即将推出的免费客户端软件 AreG1S explore,具有和Google Earth相似的功能，支持来自ArcGIS Server、GML、WMS、Google Earth(KML) 的数据。在国内，武汉古奥公司开发出的Googlelobe具有和World Wind相似的功能，加入了实时三维量测等功能。Google Earth技术思想，为不需要经常更新的空间数据发布

提供了新的思路，也为国土资源空间信息的快速发布提供了新的技术，目前正在进行的国上资源共享平台建设工作中也引入了这种技术。