大数据分析 选对池塘钓大鱼
“世界第一行销之神杰亚伯拉罕的《选对池塘钓大鱼》一书中,把不同的客户群描述成鱼,而不同的客户群的集合就是不同的池塘,企业应该根据自己的目标客户,去思考怎样借助从别人已经建立起来的池塘中快速找到目标客户。”
大数据分析挑战无限Gartner 调查显示:55%的组织正在实施大数据方案来提升客户体验,49%的组织使用大数据方案来改进流程效率;42%的企业正在寻找新产品、建立新的业务模型。然而,大数据分析却是企业现今面临的一大挑战,因为他们不仅需要管理不断增长的原生数据;而且,在物联网高度发展的今天,由于巨大数据量来源不同,有的来自传感器、机械设备,还有的来自社交媒体等等,多种多样的数据来源又给企业的大数据分析竖起一座屏障。
解决上述难题的条件,是企业必须要选择正确的大数据分析平台,即要选对池塘,只有这样才能钓出少量数据中的“大鱼”。
戴尔Cloudera数据分析应有尽有谈到大数据分析,毫无疑问,Hadoop是最受企业欢迎的数据分析平台。但Hadoop集群的安装、配置及运行,却有许多地方需要慎重考量。如软件方面,如何选择合适的Hadoop分布式与扩展软件和监测与管理软件在硬件方面,如何分布Hadoop服务的物理节点如何选择合适的服务器在功能方面,Hadoop平台的性能与扩展性表现如何等等。
针对Hadoop所存在的这一系列问题,戴尔联合Cloudera推出了Dell Cloudera大数据解决方案。
Dell Cloudera提供了包括硬件、软件、资源和服务在内所有Hadoop所需的东西。使用该解决方案,可帮助用户轻松解决与Hadoop部署、管理等相关的各种问题,快速从海量数据中的提取价值。
戴尔Cloudera软硬件兼施戴尔Cloudera是由Cloudera服务以及Cloudera管理套件组成的一个参考架构,可以让开源Hadoop在数据驱动的企业在生产环境中高效运行。
硬件结果处理更快速硬件方面,戴尔的PowerEdge C2100机架服务器和PowerConnect 6248以太网交换机都已经在大数据部署中成功应用,而戴尔Cloudera解决方案正是基于这个组件。Dell PowerEdge C2100服务器可让用户同时拥有内存和磁盘容量,它专门设计用于最大化数据中心中空间、电力和成本效益的。其中内存及存储的密度对数据中心至关重要,PowerEdge C2100可容纳18个DDR3内存插槽,最高支持144GB的内存容量,企业可以更快的速度获得数据分析结果。同时PowerEdge C2100机架服务器为MapReduce、Web analytics和数据库提供了内存以及磁盘。另外,Dell PowerConnect 6248提供了完整的48千兆以太网及3层交换机,支持更高效的机架密度以及核心交换的高级功能。
软件Hadoop管理更透明软件方面,在Hadoop集群内部以及Hadoop集群之间交付高能见度。戴尔Cloudera通过结合专家支持以及交付透明管理控制的软件,允许Hadoop维护人员以高效的方式进行集群资源的精确部署及管理。同时,戴尔Cloudera允许将与现代IT管理相似的业务指标以可支付的成本在生产环境中运行Hadoop集群,达到资源利用最优化。其内置的可预测功能能够预见Hadoop基础设施的改变,从而确保了操作的可靠性。
此外,戴尔还为Cloudera大数据解决方案提供服务及支持。保证企业的解决方案由专业的软硬件团队支持,根据企业特定的需求进行量身定做。
戴尔Cloudera内存式大数据解决方案的惊人表现戴尔中国和SAP中国为某石油客户在SAP HANA数据库+Compellent存储全闪存技术的BI分析系统的性能:
星形模型设计,包含2个事实表数据,明细数据模型、指标汇总模型6个维度表数据,编号维表、ID维表、组织维度表、人员姓名、三级单位名称、分公司名称主表包含180亿条记录,数据分析量超过60TB容量!
原有系统,2小时以上计算出结果,且易发生中断……采用戴尔Compellent存储全闪存技术在SAP HANA的新商业智能架构,单个查询缩短到20秒以内,400并发查询运行缩短到10分钟以内。
戴尔自身就是这一内存式“大数据”方案的使用者,用于企业内部的“精准营销” 智慧决策和分析系统。在2015年,戴尔更获得了"SAP HANA Innovation Award-2015"第一名的殊荣。
结语“鱼是游动的,机会也是在变化的,我们必须不断变化位置来寻找大鱼,并且在其饥饿的时候投下鱼饵,将其钓上来。”——《选对池塘钓大鱼》
在这个数据颠覆一切的时代,企业的数据不断变化,企业也要以不断发展的眼光挑选出适合自己的数据分析平台。选对平台,才能钓出数据池塘之下的大鱼——大价值。
HANA(High-Performance Analytic Appliance)高性能分析设备
定义1:HANA是一个软硬件结合体,提供高性能的数据查询功能,用户可以直接对大量实时业务数据进行查询和分析,而不需要对业务数据进行建模、聚合等。用户拿到的是一个装有预配置软件的设备。至于HANA的云服务,只是对用户而言可以在不购买相关硬件的情况下享受HANA的高性能,而HANA云服务的背后还是需要更高性能的硬件支撑的。
定义2: 基于内存计算技术的高性能实时数据计算平台,是全球一个发布商用的基于内存计算的产品,通过 SAP 内存计算技术优化应用,转变人们的思考、规划和工作方式。
SAP 提供一系列前所未有的新型企业应用,其中结合了大量交易与实时分析能力,能够显著优化现有的计划流程、预测流程、定价优化流程等数据密集型流程。借助 SAP 内存数据库,充分发挥实时数据的潜力。 SAP 内存数据库采用改进的数据压缩、多栏式数据存储和内存计算技术,支持新一代企业数据管理。基于 SAP 内存工具的创新型业务分析功能可使您获得洞察力。 作为一款灵活、多用途且与数据源无关的内存工具,SAP 内存工具(SAP HANA)整合了通过硬件(由 SAP 领先的硬件合作伙伴提供)进行优化的 SAP 软件组件。 借助 SAP HANA,企业能够根据大量实时的详细信息分析业务运营状况。
HANA的内存数据库(SAP In-Memory Database, IMDB)是其重要组成部分,包括数据库服务器(In-Memory Database Server)、建模工具(Studio)和客户端工具(ODBO、JDBC、ODBC、SQLDBC等)。HANA的计算引擎(Computing Engine)是其核心,负责解析并处理对大量数据的各类CRUDQ操作,支持SQL和MDX语句、SAP和non-SAP数据。比较显而易见的一点是,HANA计算引擎要快速处理用户复杂的查询请求,快速返回查询结果。
SAP内存数据库的数据并不是只在内存里,也会不停写到硬盘里,这就用到复制服务器Replication Server,包括Log-based,Trigger-based和ETL-based。这些复制服务器需要用到Sybase Replication Server、Sybase Replication Server Agent、Sybase Adaptive Server EntERPrise (AES,适用性服务器)等,以及HANA Load Controller和BO Data Services。
操作系统方面
HANA只能运行在Suse Linux 企业版(SLES)上。
硬件方面
SAP和多个硬件厂商合作生产支持HANA的高性能服务器,包括Dell R910、Fujitsu、HP DL580、IBM x3850等,以及和Cisco(Cisco Unified Computing System UCS)等公司的合作。直观地说,这些机器的硬盘可能是数个600GB、转速10k rpm的硬盘组成RAID,内存可能有1T,文件系统可能是ext3或GPFS(IBM通用并行文件系统,General Parallel File System)。
和HANA类似,Oracle的Exadata也是一个预配置的软硬件结合体,提供高性能的数据读写操作。Exadata机器由Exadata数据库机器、Exadata数据库服务器、Exadata存储服务器以及高速网络接口等组成。InfiniBand端口的传输速度可以达到40Gb/秒。
HANA的快在于用大内存提供内存数据库,并在内存数据库里采用列式存储从而可以将更多的数据装进内存(列式存储更适合数据压缩)。
Exadata的快在于把大部分数据库操作push到硬件,通过高性能硬件提高数据查询速度,通过采用列式结构减少需要在存储和内存间移动的数据量,通过高速网络接口提供数据传输的效率。
登录管理控制台。选择云服务器所在的区域。选择“计算 > 弹性云服务器”。选择需要操作的云服务器,并单击云服务器名称。系统进入云服务器详情页面。系统进入云服务器详情页面。选择“标签 > 添加标签” 。填写标签键以及对应的标签值,单击“确定”,完成标签的添加。添加标签登录管理控制台。选择云服务器所在的区域。在云服务器列表页选择按标签搜索。按标
SAP NetWeaver实例运行在弹性云服务器上。需要根据部署场景,创建一台或多台弹性云服务器。请参见方案介绍和数据规划章节,确定弹性云服务器数量及相关规划信息。根据界面提示,配置SAP NetWeaver云服务器网络信息,如表2所示。SAP NetWeaver云服务器网络配置参数说明网络请使用创建子网并设置安全组中对应的VPC、子网信
云计算的服务器需要芯片 相关内容
云容器实例(Cloud Container Instance,CCI)服务提供Serverless Container(无服务器容器)引擎,让您无需创建和管理服务器集群即可直接运行容器。Serverless是一种架构理念,是指不用创建和管理服务器、不用担心服务器的运行状态(服务器是否在工作等),只需动态申请应用需要的资源,把服务器留给专门
在“资源使用详情”区域内,内存分配率统计了当前系统的真实情况,包括部分系统管理内存。各项指标的计算方法如下。总量:可用内存容量,指所有DeC物理服务器上的物理内存容量总和。内存总量数值为“分配给DeC物理服务器的总内存容量”减去“物理服务器的管理内存容量”。物理服务器的管理内存容量通常包括XEN,Kdump等管理弹性云服务器时所需要的内存
云计算的服务器需要芯片 更多内容
0a0ca88b94963916c79cc35f28e2f501png
根据SAP部署方案,需要具有计算能力,内存和存储等不同配置的云服务器。下面我们介绍创建云服务器的基本步骤。
ea3d514774dda107c847f333927c833fpng
云耀云服务器适用于对CPU、内存、硬盘空间和带宽无特殊要求,服务一般只需要部署在一台或少量的服务器上,一次投入成本少,后期维护成本低的场景。例如网站开发,Web应用。推荐使用云耀云服务器,主要提供均衡的计算、内存和网络资源,适用于业务负载压力适中的应用场景,满足企业或个人普通业务搬迁上云需求。云耀云服务器可以提供基本水平的vCPU性能、平
39119fac39059b64817699818002d26apng
SAP HANA运行在HANA云服务器上。需要根据部署场景,创建一台或多台HANA云服务器,用于部署SAP HANA软件。
b5693ff7a1d6bd5360d83fe2bfafdfb3png
云耀云服务器创建成功后,您可以根据需求,修改云服务器的名称。系统支持批量修改多台云耀云服务器的名称,修改完成后,这些云耀云服务器的名称相同。登录控制台。单击管理控制台左上角的,选择区域和项目。选择“计算 > 云耀云服务器”。将鼠标移动至目标云服务器的“名称/ID”列。单击,根据界面提示,修改云服务器名称。允许重名:勾选后,允许修改后的名称
e8856eb4a33744e9e363326f14bf7b97png
弹性云服务器(Elastic Cloud Server,ECS)是由CPU、内存、操作系统、云硬盘组成的基础的计算组件。购买时通过选择实例规格、操作系统、虚拟私有云、登录鉴权方式等信息实现计算、存储、网络等功能,使用过程中可以根据业务需求随时调整弹性云服务器的规格,为您打造可靠、安全、灵活、高效的计算环境。了解弹性云服务器的使用限制与使用
1a97c4f052299ae736e0af6fa2667c80png
弹性云服务器创建成功后,您可以根据需求,修改云服务器的名称。系统支持批量修改多台弹性云服务器的名称,修改完成后,这些弹性云服务器的名称相同。登录管理控制台。单击管理控制台左上角的,选择区域和项目。选择“计算 > 弹性云服务器”。将鼠标移动至目标云服务器的“名称/ID”列。单击,根据界面提示,修改云服务器名称。允许重名:勾选后,允许修改后的
c0e51685ecf1c455eed0daf868911dc9png
本章节主要介绍弹性云服务器、裸金属服务器和镜像服务,让您更好的了解这些计算服务。
f37b9b09b23d9b59f1b2d6c6affcfaccpng
专属云(DeC)专属虚拟化资源池。在专属云内,用户可申请独占物理设备,独享计算和网络资源,并使用可靠的分布式存储。专属虚拟化资源池。在专属云内,用户可申请独占物理设备,独享计算和网络资源,并使用可靠的分布式存储。专属存储服务(DSS)提供独享的存储资源,通过数据冗余和缓存加速等多项技术,提供高可用性和持久性,以及稳定的低时延性能;可灵活对
628a76026f26a9b0192a8fa75416b71fpng
将文件上传至Windows云服务器一般会采用MSTSC远程桌面连接的方式。本节为您介绍本地Windows计算机通过远程桌面连接,上传文件至Windows云服务器的操作方法。Windows云服务器可以访问公网。在本地Windows计算机上,单击“开始”,在出现的“搜索程序和文件”输入框中输入mstsc。弹出远程桌面连接对话框。弹出远程桌面连
0b0fd50cfcc497558515f132e9f0a09epng
在SAP HANA系统中,需要创建一台(单NFS Server时)或两台(NFS Server主备时)云服务器,作为NFS Server,提供磁盘共享给SAP HANA节点。根据界面提示,配置NFS Server云服务器网络信息,如表2所示。弹性云服务器创建完成后,在右侧界面的服务器列表中可查看到对应的服务器。仅在主备NFS Server
359866fbd3d89c6b4b0a93acc1fa4c87png
弹性云服务器与周边服务的依赖关系如图1所示。弹性云服务器与其他服务的关系示意图
0条评论