华为发布全球最快 AI 运算集群 Atlas900,会对 AI 领域带来什么变化?
9月18日,华为发布一款重量级的产品——Atlas 900,这款产品汇聚了华为几十年的技术沉淀,是当前全球最快的AI训练集群,由数千颗升腾处理器组成。在衡量AI计算能力的金标准ResNet-50模型训练中,Atlas 900只用了598秒就完成了训练,这比原来的世界记录还快了10秒。
从性能指标上看,确实很厉害:Atlas 900由数千颗升腾910芯片互联,总算力达到256-1024 PFLOPS@FP16。作为对比,谷歌最先进的TPU 30的算力是100 PFLOPS,一个包含 16 个英伟达最新版 GPU 的芯片组能够提供的计算能力是 2 PFLOPS。
1采用算力最强 AI 处理器升腾 910
2Atlas 900 AI 训练集群由数千颗升腾 910 互联
3世界顶级强劲算力:总算力达到 256-1024 PFLOPS@FP16。相当于 50 万台 PC 计算能力
4业界最快:实测仅需 598 秒即可完成基于 ImageNet 数据及训练 ResNet-50 模型
5华为自研 HCCS 片间互联 240Gbps,单端口速率业界领先
6采用最新 PCIE 40 接口,速率为当前业界 2 倍
7100G RoCE 高速集群互联网络
8HCCL 通信库 + 网络拓扑 + 训练算法 = 实现线性度 > 80%
在衡量 AI 计算能力的金标准 ResNet-50 模型训练中,Atlas 900 只用了 598 秒就完成了训练,这比原来的世界纪录还快了 10 秒。
“ImageNet-1k 数据集” 包含 128 万张,精度为 759%,在同等精度下,其他两家业界主流厂家测试成绩分别是 702s 和 768s,Atlas 900 AI 训练集群比第 2 名快 15%。胡厚昆表示:Atlas 900 的强大算力,可广泛应用于科学研究和商业创新。比如天文探索、石油勘探等领域,都需要进行庞大的数据计算和处理,原来可能花费好几个月的工作,现在交给 Atlas 900,就是几秒钟的事情。Atlas 900 集成的数千颗升腾处理器,正是前段时间正式商用的升腾 910。
置了以下几种加速器:
1、Da Vinci架构:华为自主研发的AI加速器,可实现高精度和低功耗的神经网络计算。
2、Atlas架构:华为自主研发的AI推理加速器,可实现高效的推理计算。
3、DSP加速器:可加速音频和视频处理、语音识别等多种应用。
4、GPU加速器:可加速计算密集型的图像处理和科学计算任务。
5、CPU加速器:可加速通用计算任务,如加密解密、压缩解压等。
2019年,我们将进入数字化转型的攻关期。所谓“攻关期”即数字化转型20阶段,需要攻坚企业关键业务上云和数字化转型改造的课题。在一份市场调查公司IDC的报告中指出:IDC自2014年提出数字化转型以来,看到企业在数字化转型层面已经投入了大量人力物力,但是效果并不理想,有一些企业已经成功屹立在潮头,有一些企业在向上游进发,还有一些企业只能在浪潮的挟裹中被动前行。
对于企业来说,数字化转型是“雄关漫道”。IDC认为,目前阶段来看,企业亟待解决的是数字化能力提升,包括:与业务的深入结合能力;数据处理和挖掘能力;以及IT技术运营和管理能力。特别是数据处理和挖掘能力,因为数字化转型推进企业从以流程为核心向以数据为核心转型,对海量、异构、多类型的数据处理和挖掘能力是释放数据价值的前提,对数据全生命周期的管控治理是释放数据价值的保障。而随着数字化转型引入大量新技术而导致IT复杂度变高,企业IT技术运营和管理能力是提升企业“IT生产力”的关键。
攻关数字化转型的“雄关漫道”,需要一个具备融合、智能、可传承三大特性的数字平台。这是2019年3月华为与IDC联合推出的《拥抱变化,智胜未来—数字平台破局企业数字化转型》白皮书所提出的观点。融合主要指把传统技术和创新技术相结合;智能主要指平台智能化和智能化能力输出;可传承主要指解耦、功能复用、可配置等理念打造的架构。而承载这三大观点的,就是新一代分布式企业级技术。
2019年5月15日,华为发布了业界首款支持ARM架构的新一代智能分布式数据库GaussDB以及分布式存储FusionStorage 80,作为新一代数据基础设施,诠释了具备融合、智能、可传承三大特性的数字平台。华为常务董事、ICT战略与Marketing总裁汪涛在发布会上表示,千行百业正在加速智能化进程,越来越多的企业已经意识到数据基础设施是智能化成功的关键。华为围绕计算、存储和数据处理三个领域重定义数据基础设施,加速迈向智能时代。
今天所讨论云和工业互联网等概念的背后是一个新时代的到来,这就是体系架构大迁徙。传统企业级技术是在单体应用和单机环境中,保证数据存储、调用等操作的高可靠、高可用、高稳定,特别是满足金融级事物处理的ACID(原子性、一致性、隔离性和耐久性)要求,为企业关键业务提供数据管理支撑。随着企业技术向云架构迁移,数据库技术也面临转型。
2018年,基于云计算技术的分布式数据库成为了业界的热点。简单理解,云计算技术就是把“单机”环境替换为由X86服务器机群所组成的分布式计算环境。原先由几台小型机完成的计算任务,要分散到上百甚至上千台X86服务器上,而且还可能跨数据中心操作,挑战可想而之。特别是在线支付等金融级业务,不能在断网或网络连接有问题时出错,也不能因响应速度慢而影响用户体验。
2018年8月,中国支付清算协会与中国信息通信研究院联合举办了“金融分布式事务数据库研讨会”,与业界厂商和用户共商核心数据库分布式转型之路,同时发布了《金融分布式事务数据库》白皮书。金融分布式事务数据库的工作推进,为分布式数据库进入企业关键业务系统,提供了产业化支撑。而华为作为企业ICT解决方案供应商,早在2012年就开始研发面向大数据分析的数据仓库,在基于传统关系型数据库SQL引擎和事务强一致性等基础上,进行了分布式、并行计算的改造,历时6年打造了面向PB级海量数据分析的分布式数据库。
在OLAP数据仓库之外,华为与行业用户合作了面向OLTP的分布式事务型数据库研发。2017年,华为与招商银行合作成立了分布式数据库联合创新实验室,研发具有高性能企业级内核、完整支持分布式事物、满足金融行业对数据强一致要求、单机事物处理能力要达到每分钟百万级别等的OLTP分布式数据库。
本次发布的GaussDB数据库新品包括:联机事务处理OLTP数据库、联机分析处理OLAP数据库、事务和分析混合处理HTAP数据库。而华为GaussDB数据库将AI技术融入数据库设计、开发、验证、调优、运维等环节,可实现基于AI的自调优、自诊断自愈、自运维,让数据库更高效、更智能,引领数据库架构的发展。
更进一步,本次发布的GaussDB系列数据库是业界首款支持ARM芯片的分布式数据库。华为推动计算架构从以X86+GPU为主的单一计算架构到以X86+GPU+ARM64+NPU为主的异构计算架构快速发展。基于X86架构,华为引入AI管理和智能加速能力,率先推出了智能服务器FusionServer Pro;基于ARM64打造了业界性能最强的TaiShan服务器;基于Ascend芯片的Atlas智能计算,实现了业界首个端边云协同的人工智能平台。而GaussDB可充分利用并融合ARM、X86、GPU、NPU等多种异构算力组合,大幅提升数据库性能。
汪涛强调,作为全球首款AI-Native数据库,GaussDB有两大革命性突破:第一,首次将人工智能技术引入数据库的全生命周期流程,实现自运维、自管理、自调优和故障自诊断。在交易、分析和混合负载场景下,基于最优化理论,首创深度强化学习自调优算法,把业界平均性能提升60%。第二,支持异构计算,充分发挥X86/ARM/GPU/NPU多样性算力优势,最大化数据库性能,在权威标准测试集TPC-DS上,华为GaussDB排名第一。GaussDB还支持本地部署、私有云、公有云等多种场景。
在以云计算为代表的分布式计算环境中,数据管理解决方案除了需要分布式数据库外,为了更好的扩缩容以及满足多样化数据存储需求,计算与存储分离已经成为分布式数据库设计的主要架构。分布式云化架构,就是要支持计算、存储分离和多租户等架构设计要求。
GaussDB已经从数据库层面实现了高可用、高可靠、高稳定的分布式数据库,本次发布的FusionStorage 80则是分布式存储架构,创新地实现一套系统同时支持块、文件、对象、HDFS协议,1套存储支持4类存储能力,适用于全业务场景混合负载,最终让“一个数据中心一套存储”成为可能。
IDC发布的《中国软件定义存储(SDS)及超融合存储(HCI)系统市场季度跟踪报告,2018年第四季度》显示,2018年,软件定义存储市场达到了549%的同比增长。软件定义存储在中国整体存储市场的占有率稳步上升,分别达到了221%的市场占有率。华为凭借文件解决方案在政府、广电和电信等行业得到认可,在2018年中国软件定义存储市场排名第一。
FusionStorage 80采用华为ARM-based处理器鲲鹏920加速,使IOPS提升 20%,结合华为AI Fabric无损网络,时延进一步降低15%。基于华为在计算、网络和存储领域多年的芯片和算法积累,FusionStorage 80在SPC-1的性能测试中,单节点性能达到了168万IOPS以及1ms以内时延,成为承载企业关键应用的新选择。
此外,通过华为云的云上训练及本地AI芯片,FusionStorage 80将智能管理贯穿业务使用的全生命周期,如业务上线前对存储资源的规划,使用过程中的风险预判及故障定位,大幅提升存储效率,帮助行业客户应对智能时代的数据新挑战。
汪涛在发布会上强调,新一代智能分布式存储FusionStorage 80通过重定义存储架构,从“Storage for AI”和“AI in Storage”两个维度实现效率大幅提升,引领存储智能化。首先,“Storage for AI”通过融合共享,让AI分析更高效。其次,“AI in Storage”率先将AI融入存储全生命周期管理,从资源规划、业务发放、系统调优、风险预测、故障定位等方面实现智能运维。
辽宁移动就采用了华为FusionStorage。作为辽宁省内最大的移动通信运营商,辽宁移动一直在 探索 先进的存储方案在自身IT系统的应用。由于5G的快速发展,辽宁移动关键数据库的应用也向云化方向发展,分布式存储也要满足其可靠性和高性能要求。华为在深入分析辽宁移动需求后,首先在边缘开发测试业务小规模试点分布式存储,进行了大量的实验和测试后性能和可靠性都达到了预期,最终决定将全部业务迁移至FusionStorage。该方案通过采用双活、可写快照、端到端DIF等特性,顺利完成Billing、经营分析、B2B等系统从老旧存储至FusionStorage的搬迁工作,助力辽宁移动的存储架构迈入新的 历史 阶段。
值得一提的是,华为分布式数据库与华为分布式存储深度结合,把数据库的操作下沉到存储节点,极大提升了分布式数据库的性能。利用新的网络技术和人工智能技术,华为帮助用户提升数据中心的吞吐量,提升网络应用的可伸缩性,并且能自动调优。
除了推出新一代突破性的分布式数据库和存储技术外,华为也积极与客户、伙伴在数据库与存储领域,从行业应用、平台工具、标准组织和社区等多个层面共建开放、合作、共赢的产业生态。在行业应用层面,华为与软通智慧、神州信息、东华软件、易华录、用友政务、亚信国际等独立软件开发商长期合作;在平台和工具层面,华为与Tableau、帆软、ARM、Veritas等合作伙伴联合创新;在标准组织和社区层面,华为深度参与OpenSDS、中国人工智能产业联盟、OCP、OpenStack、CNCF基金会等组织和社区的建设。
总结来说,华为全线分布式数据库和分布式存储产品的发布,是华为具备融合、智能、可传承三大特性数字平台的最新成果。华为分布式数据库与分布式存储结合,能消除企业各业务系统数据孤岛,构建面向行业场景的数据建模、分析和价值挖掘能力,对多源异构的数据进行汇聚、整合和分析,形成统一的全量数据和数据底座,实现数据价值挖掘和共享。而基于AI的智能化,可对基础设施进行高效的管理,为行业应用开发和迭代赋能,全面帮助企业突破关键应用上云的“雄关漫道”。(文/宁川)
近日,华为在全联接大会上又宣布了一项重大消息,就是华为AI训练集群Atlas 900要发布了,这款Atlas 900可是由数千个升腾910 AI处理器组成,因此Atlas 900也号称为全球最快AI训练集群。那么,这么牛的AI训练集群适用哪些场景呢?
据了解,Atlas 900 AI集群主要为大型数据集神经网络训练提供超强算力,可广泛应用于科学研究与商业创新,让研究人员更快地进行图像、视频和语音等AI模型训练,让人类更高效地探索宇宙奥秘、预测天气、勘探石油和加速自动驾驶的商用进程。
Atlas 900的强大算力,可广泛应用于科学研究和商业创新。比如天文探索、石油勘探等领域,都需要进行庞大的数据计算和处理,原来可能花费好几个月的工作,现在交给Atlas 900,就是几秒钟的事情。华为副董事长胡厚昆现场分享了一个天文探索的案例,是华为联合上海天文台与SKA共同打造的,天文研究高度依赖于海量的数据分析和计算,离不开超强的算力支持。
具有超强算力的华为Atlas 900能运用到科技这样重大领域中,不得不让人对华为刮目相看,因为目前为止还没有哪家公司那么牛,能自主研究出那么强大的AI训练集群,所以大家也都非常期待华为能给我们带来更多的惊喜。
DoNews 3月28日消息(记者 赵晋杰)在3月28日的华为开发者大会2020上,华为宣布全场景AI计算框架MindSpore在码云正式开源,并推出企业级AI应用开发者套件ModelArts Pro。至此,华为在2018年全联接大会上发布的全栈全场景AI解决方案,已面向开发者全面落地。
在2018年华为全联接大会上,华为首次发布了全栈全场景AI解决方案,包括芯片、芯片使能、训练和推理框架和应用使能全堆栈方案,可在公有云、私有云、各种边缘计算、物联网行业终端以及消费类终端等全场景部署。
2年后的这场开发者大会上,华为系统展示了该解决方案的最新进展,尤其是面向开发者的具体落地成果,全面支持全球开发者更好地开发AI应用。据华为官方统计,华为开发者大会2020举办的第一天,全球在线观看人数超过1000万。
华为MindSpore首席科学家、IEEE Fellow陈雷教授宣布华为全场景AI计算框架MindSpore在码云正式开源,并将致力于构筑面向全球的开源社区,持续推动AI软硬件应用开源生态繁荣发展。
陈雷教授介绍,MindSpore着重提升易用性并降低AI开发者的开发门槛,“MindSpore原生适应每个场景包括端、边缘和云,并能够在按需协同的基础上,通过实现AI算法即代码,使开发态变得更加友好,显著减少模型开发时间,降低模型开发门槛。通过MindSpore自身的技术创新及MindSpore与华为升腾AI处理器的协同优化,实现了运行态的高效,大大提高了计算性能;MindSpore也支持GPU、CPU等其它处理器”。
针对行业AI应用开发者,华为云通用AI服务总经理袁晶还发布了业界首款企业级AI应用开发专业套件ModelArts Pro。华为云ModelArts Pro定位为企业AI生产力工具,提供了一种全新的行业AI落地方式,将算法专家的积累和行业专家的知识沉淀在相应的套件和行业工作流(workflow)中,以“授人以渔”的方式助力企业构建AI能力,赋能不同行业的应用开发者,让AI变得触手可及。
截至目前,华为表示已与数十家伙伴合作,推动基于华为升腾AI处理器的Atlas系列模块、板卡、小站、服务器在智慧交通、智慧电力、智慧金融、智慧城市、智能制造等数十个行业落地。
同时为了进一步丰富华为AI生态、支撑开发者自定义算子,华为Atlas数据中心业务总经理张迪煊在大会现场启动了高效算子开发工具TBE的正式公测,并计划激励100家以上贡献算子的高校和合作伙伴、充分释放升腾AI处理器的算力潜能。(完)
随着政策的推动以及资本的关注,人工智能产业仍将保持迅猛发展态势,2020年中国人工智能核心产业规模将超1500亿元。
当前人工智能的商业化主要是基于计算机视觉、智能语音、自然语言处理等技术,技术应用面广泛,涉及智能医疗、智能驾驶、智能家居等多场景。
2018年中国人工智能领域共融资1311亿元,增长率超过100%,投资者看好人工智能行业的发展前景,资本将助力行业更好地发展。
在人工智能与出行结合领域,路径规划、网络约车、交通管理、自动驾驶等技术的研发解决了传统出行不便的痛点,其中深兰科技深耕智能交通、智能环境、智能城市等细分领域,已实现人工智能产品落地。其深兰科技熊猫智能公交车已实现在广州、天津等国内多个城市试运行。而人工智能与安防、医疗、零售等产业的结合,均解决了一定行业痛点,利用机器学习算法、深度学习和NLP促进行业发展。
随着5G商用时代的逐渐来临,人工智能技术连接效率也将进一步提升,深度学习、数据挖掘、自动程序设计等领域也将在更多的应用领域得到实现。
中国人工智能发展迅速
中国人工智能技术起步较晚,但是发展迅速,目前在专利数量以及企业数量等指标上已经处于世界领先地位。2013-2018年,全球人工智能领域的论文文献产出共305万篇,其中,中国发表74万篇,美国发表52万篇。在数量占比方面,2017年中国人工智能论文数量占比全球已经达277%。当前中美两国之间人工智能科研论文合作规模最大,是全球人工智能合作网络的中心,中美两国合作深刻影响全球人工智能发展。
2019中国人工智能发展新动向
2019中国人工智能发展热点
中国人工智能核心产业规模规划
国务院印发的《新一代人工智能发展规划》提出,到2020年人工智能总体技术和应用与世界先进水平同步,核心产业规模超过1500亿元,到2025年人工智能核心产业规模超过4000亿元,到2030年人工智能理论、技术与应用总体达到世界领先水平,核心产业规模超过1万亿元。随着政策的进一步推动以及技术的进一步成熟,人工智能产业落地速度将明显提速。
中国人工智能未来热度持续
艾媒咨询分析师认为,目前中国整个人工智能产业规模仍在保持增长,同时国家也在不断出台各类人工智能产业扶持政策,资本市场对人工智能行业的投资热情不减,技术方面不断突破是产业增长的核心驱动力。
未来人工智能产业的走向取决于算法的进步,由于算法的技术突破是决定人工智能上限的,所以未来人工智能企业拉开差距就在算法的技术突破上,谁能先在算法上取得成功,谁就能取得资本市场青睐,同时产业落地也会进一步提速。在算法方面,目前已经有深度学习和神经网络这样优秀的模型,但就目前国内人工智能算法的总体发展而言,工程学算法虽已取得阶段性突破,但基于认知层面的算法水平还亟待提高,这也是未来竞争的核心领域。
虽然算法决定人工智能上限,但是目前的算法短时间内可能很难有所突破,所以算力也是目前人工智能企业竞争的一个重点方向,以目前的算力水平,主要实现商业化的人工智能技术为计算机视觉、智能语音等,未来若算力进一步突破包括算力的提升、生产成本的降低都会使人工智能技术的产业化进一步深入。
以上内容摘自艾媒咨询最新发布的《艾媒报告 |2019上半年中国人工智能产业研究报告》
9月18日,上海,第四届华为全联接大会开幕,华为首次发布计算战略,基于架构创新、投资全场景处理器族、有所为有所不为的商业策略、构建开放生态进行布局,计算产业新的大航海时代由此开启。同时,华为重磅发布了全球最快AI训练集群Atlas 900,加速科学研究与商业创新的智能化进程。
华为副董事长胡厚昆发表主题演讲。胡厚昆的发言要点如下:两年前,华为发布了新的愿景使命,就是“把数字世界带入每个人、每个家庭、每个组织,构建万物互联的智能世界”。我们认为智能世界有三个特征,就是万物感知、万物互联、万物智能,要支撑这样一个智能世界,有两个关键的技术需要持续创新和投入:联接和计算。
智能世界的两大关键技术
大家印象中的华为一直是做联接的,在过去三十多年里,华为在联接领域持续不断地投资,从有线到无线,从2G、3G、4G,到今天热门的5G,华为已经取得了一些成绩。然而华为并不只是一家做联接的公司。在我们看来,要支撑未来的智能世界,联接和计算缺一不可。事实上,联接和计算这两大技术,就像一对孪生兄弟,相互促进、协同发展。
可以说,在未来的智能世界里,联接到哪里,计算就到哪里,哪里有计算,哪里就有联接。过去我们联接谈得比较多,其实华为对计算的投入已有十年。
在计算的智能时代,我们认为有三个重要特征。
第一个特征,需要超强的算力。统计计算本身就是一种暴力计算,高度依赖于算力。举个例子,为了让计算机认识一只猫,就需要数百万的训练,这对算力的消耗是非常惊人的,面向自动驾驶、天文探索、气象预测等更复杂场景,对算力的需求将会更大。
第二个特征,计算和智能将会无处不在,而不仅仅是分布在中心侧。从中心节点的暴力计算,到边缘侧的专业计算,如基因测序,以及端侧的个性计算,如耳机、手机,一起构成了未来智能时代的计算形态。
第三个特征,端边云之间需要高效的协同。中心侧负责通用模型的计算,为端侧的个性化计算和边缘侧的专业化计算,提供协同支撑。
0条评论