大数据、IDC和云计算之间有什么关系吗？

大数据是云计算的杀手锏应用

大数据与云计算的关系，引起一些人的困惑。为了便于探讨二者的关系，这里从“计算”和“数据”的历史关系说起。因为云计算首先是一种“计算”，大数据首先是一种“数据”，而计算机就是用来“计算”“数据”的。

计算机是软件和硬件分离的，是一种软件定义的电子产品（可编程）。计算机设计中的一个重要问题是如何有效管理CPU、内存和I/O等硬件资源，以及如何让应用程序合理使用这些资源。这两大任务最早内嵌在各种应用程序中，由应用程序自身完成，缺点是费力、复杂和易错，难以升级和移植，而且重复工作。

上世纪60年代这些共性功能开始从应用中分离出来，逐步形成了一种通用的软件包，这就是操作系统。操作系统是位于硬件和应用程序之间的“中间件”，让应用软件和硬件得以分离并独立发展，发展成了最核心的计算机系统软件，也成就了微软公司的伟大。

以UNIX为始祖的常见现代操作系统有Android、BSD、iOS、Linux、 MacOSX、QNX等，以及原创的微软Windows、 Windows Phone和IBM的z/OS操作系统的工作范围，也从最初的计算机蔓延到手机、游戏控制器、电视机顶盒、智能汽车和智能眼镜等，还有与云计算密切相关的Web服务器。

上世纪70年代，计算机的快速发展使得数字化数据爆发式增长，“海量”数据管理成了新挑战。把通用操作系统的文件管理用于数据管理时，无论是扩展性、效率和便利性，都不适应“海量”数据的管理需要，应用软件被迫内嵌自己设计的数据管理系统。同样的，“海量”数据管理由每个应用程序自身完成，缺点也是费力、复杂和易错，难以升级和移植，并且重复工作。

于是一种专门面向“海量”数据管理的通用软件问世了，那就是数据库管理系统（DBMS），一种应用系统软件。DBMS包括了数据库定义、创建、查询、更新和管理等功能，这些都是数据管理所必需的，是操作系统的文件管理系统所没有的。

著名的DBMS有 MySQL、 PostgreSQL、SQLite、Microsoft SQL Server、Microsoft Access、Oracle、Sybase、dBASE、FoxPro和IBM DB2等，都是关系型DBMS当然还有非关系型No SQL模式的，只是没那么流行。

DBMS与字处理软件等一起，成为单机时代最重要的应用软件，也成就了一家伟大的应用软件公司Oracle大约不足20年前，操作系统和数据库的技术和市场未来，看起来都那么可预知。一个是微软的天下，一个是Oracle的天下。

但互联网来了，尤其是Web开始流行。

Web服务器所使用的操作系统，最初面向单机设计，扩展用于局域网范围内管理多台服务器还勉强可用。但当互联网巨头崛起，需要Web服务器的操作系统管理数百万台Web服务器的时候，传统操作系统勉为其难，需要“技术革命”了。“革命”的结果就是云计算。

云计算大伞下有很多概念，核心技术之一是虚拟化。虚拟化有“1虚N”和“N虚1”两种模式，前者主要是为了省钱，以Amazon AWS为代表；后者主要是为了大数据处理，以Google GAE为代表。

云计算的“N虚1”模式，可将多台物理计算机虚拟化为一台超级计算机，向应用程序提供资源池的调度管理服务，与传统操作系统的功能几乎完全相同，因此常被称为“云计算操作系统”。只是云计算操作系统的工作范围，扩大到数据中心甚至整个互联网范围内，把每台计算机也当做资源看待和管理。

有了云计算操作系统，云应用软件和硬件（计算机资源）得以分离，各自可以独立发展。历史再次重演，云计算以及SNS、微博、移动互联网和物联网等的快速发展，具有3V特点的数据爆发，大数据管理的挑战也最先到来。同样，面向计算设计的通用云计算操作系统，在大数据管理方面的扩展性、效率和便利性，都面临新挑战。

历史上计算机面对“海量”数据的挑战，将数据应用和数据管理分离，催生了通用的DBMS现在云计算面对大数据的挑战，也必将使大数据应用和大数据管理分离，催生“大数据库管理系统”，并且逐步走向通用化和平台化。

ATM（异步传输模式）是通信资源稀缺时代的产物，TCP/IP是通信资源富饶时代的产物。类似的，传统DBMS是IT资源稀缺时代的产物，大数据管理系统是IT资源富饶时代的产物。

计算是工具，可以工业化提供；数据是资源，是个性化的资产。如果说Office、游戏等是PC的杀手锏应用，浏览器、搜索、SNS等是互联网的杀手锏应用，那么大数据等就是云计算的杀手锏应用。

一、什么是云计算

二、什么是大数据

三、云计算与大数据、人工智能关系

四、参考文章

云计算（Cloud Computing），是一种基于互联网的计算方式，通过这种方式，共享的软硬件资源和信息可以按需提供给计算机和其他设备。典型的云计算提供商往往提供通用的网络业务应用，可以通过浏览器等软件或者其他Web服务来访问，而软件和数据都存储在服务器上。云计算服务通常提供通用的通过浏览器访问的在线商业应用，软件和数据可存储在数据中心。

狭义云计算指IT基础设施的交付和使用模式，指通过网络以按需、易扩展的方式获得所需资源；

广义云计算指服务的交付和使用模式，指通过网络以按需、易扩展的方式获得所需服务。这种服务可以是IT和软件、互联网相关，也可是其他服务，它意味着计算能力也可作为一种商品通过互联网进行流通。对云计算的定义有多种说法，“云计算是通过网络提供可伸缩的廉价的分布式计算能力”。

数据（Big Data）又称为巨量资料，指需要新处理模式才能具有更强的决策力、洞察力和流程优化能力的海量、高增长率和多样化的信息资产，“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

大数据技术的战略意义不在于掌握庞大的数据信息，而在于对这些含有意义的数据进行专业化处理。换言之，如果把大数据比作一种产业，那么这种产业实现盈利的关键，在于提高对数据的“加工能力”，通过“加工”实现数据的“增值”。

现在的云计算只是在硬件基础上用软件开发的方式完成云部署，大数据这是为了云计算而提供的一种分布式的框架，既基于云计算又为云计算服务

云计算和大数据能做什么，很多人都分不清楚，那么云计算与大数据的关系是什么呢？今天就给大家简单的分析一下。

云计算：云计算是通过互联网提供全球用户计算力、存储服务，为互联网信息处理提供硬件基础。云计算，简单说就是把你自己电脑里的或者公司服务器上的硬盘、CPU都放到网上，统一动态调用，现在比较有名的云计算服务商是亚马逊的AWS。

大数据：大数据运用日趋成熟的云计算技术从浩瀚的互联网信息海洋中获得有价值的信息进行信息归纳、检索、整合，为互联网信息处理提供软件基础。大数据，简单说，就是把所有的数据放到一起分析，找到关联，实现预测。这里的所有数据对应的是之前的抽样调研取得的部分数据。

云计算与大数据的关系：

云计算是基础，没有云计算，无法实现大数据存储与计算。大数据是应用，没有大数据，云计算就缺少了目标与价值。两者都需要人工智能的参与，人工智能是互联网信息系统有序化后的一种商业应用。这才是：云计算与大数据真正的出口！

而商业智能中的智能从何而来？方法之一就是通过大数据这个工具来对大量数据进行处理，从而得出一些关联性的结论，从这些关联性中来获得答案，因此，大数据是商业智能的一种工具。 而大数据要分析大量的数据，这对于系统的计算能力和处理能力要求是非常高的，传统的方式是需要一个超级计算机来进行处理，但这样就导致了计算能力空的时候闲着、忙的时候又不够的问题， 而云计算的弹性扩展和水平扩展的模式很适合计算能力按需调用，因此，云计算为大数据提供了计算能力和资源等物质基础。

关系型数据库简介　　关系型数据库以行和列的形式存储数据，以便于用户理解。这一系列的行和列被称为表，一组表组成了数据库。用户用查询(Query)来检索数据库中的数据。一个Query是一个用于指定数据库中行和列的SELECT语句。关系型数据库通常包含下列组件：　　客户端应用程序(Client)　　数据库服务器(Server)　　数据库(Database)StructuredQueryLanguage(SQL)Client端和Server端的桥梁，Client用SQL来象Server端发送请求，Server返回Client端要求的结果。现在流行的大型关系型数据库有IBMDB2、IBMUDB、Oracle、SQLServer、SyBase、Informix等。关系型数据库并不是唯一的高级数据库模型，也完全不是性能最优的模型，但是关系型数据库确实是现今使用最广泛、最容易理解和使用的数据库模型。大多数的企业级系统数据库都采用关系型数据库，关系型数据库的概念是掌握数据库开发的基础，所以本节的问题也成为NET面试中频繁出现的问题之一。所涉及的知识点关系型数据库的概念关系型数据库的优点分析问题关系型数据库的概念所谓关系型数据库，是指采用了关系模型来组织数据的数据库。关系模型是在1970年由IBM的研究员EFCodd博士首先提出，在之后的几十年中，关系模型的概念得到了充分的发展并逐渐成为数据库架构的主流模型。简单来说，关系模型指的就是二维表格模型，而一个关系型数据库就是由二维表及其之间的联系组成的一个数据组织。下面列出了关系模型中的常用概念。关系：可以理解为一张二维表，每个关系都具有一个关系名，就是通常说的表名。元组：可以理解为二维表中的一行，在数据库中经常被称为记录。属性：可以理解为二维表中的一列，在数据库中经常被称为字段。域：属性的取值范围，也就是数据库中某一列的取值限制。关键字：一组可以唯一标识元组的属性。数据库中常称为主键，由一个或多个列组成。关系模式：指对关系的描述，其格式为：关系名（属性1，属性2，…，属性N）。在数据库中通常称为表结构。关系型数据库的优点关系型数据库相比其他模型的数据库而言，有着以下优点：容易理解：二维表结构是非常贴近逻辑世界的一个概念，关系模型相对网状、层次等其他模型来说更容易理解。使用方便：通用的SQL语言使得操作关系型数据库非常方便，程序员甚至于数据管理员可以方便地在逻辑层面操作数据库，而完全不必理解其底层实现。易于维护：丰富的完整性（实体完整性、参照完整性和用户定义的完整性）大大降低了数据冗余和数据不一致的概率。近几年来，非关系型数据库在理论上得到了飞快的发展，例如：网状模型、对象模型、半结构化模型等。网状模型拥有性能较高的优点，通常应用在对性能要求较高的系统中；对象模型符合面向对象应用程序的思想，可以完美地和程序衔接，而不需要另外的中间转换组件，例如现在很多的O\RMapping组件；半结构化模型随着XML的发展而得到发展，现在已经有了很多半结构化的数据库模型。但是，凭借其理论的成熟、使用的便捷以及现有应用的广泛，关系型数据库仍然是系统应用中的主流方案。

(一) 直立式服务器(塔式服务器)：

为可独立放置于桌面或地面的服务器，大都具有较多的扩充槽及硬盘空间。无需额外设备，插上电即可使用，因此使用最为广泛。

(二) 机架式服务器：

为可装上机柜之服务器，主要作用为节省空间，机台高度以1U为单位，1U约44mm，因空间较局限，扩充性较受限制，例如1U的服务器大都只有1到2个PCI扩充槽。此外，散热性能成为十分重要的因素，此时，各家厂商的功力就在此展现了。缺点是需要有机柜等设备，多为服务器用量较大的企业使用。

(三) 刀片服务器：

可算是比机架式服务器更节省空间的产品。主要结构为一大型主体机箱，内部可插上许多卡片，一张卡片即相当于一台服务器。当然，散热性在此非常重要，往往各家厂商都装上大型强力风扇来散热。此型服务器虽然空间较节省，但光是主体机箱部份可能就所费不赀，除大型企业外较少使用。

泛能源大数据类作品如下：

1 传统数据源采集：

这类数据通常来自企业内部的数据库、日志、文件、表格等，以及外部的传统数据源，比如公共数据库、政府报告、统计数据等。这些数据通常是结构化数据，易于存储和处理。

2 社交媒体数据采集：

社交媒体平台（如Facebook、Twitter、Instagram等）产生了大量的用户生成内容，包括文本、、视频等。社交媒体数据采集是一种重要的数据采集方式，用于分析用户行为、社交网络关系、情感分析等。

3 网络爬虫和网络数据采集：

网络爬虫是一种通过自动化程序在互联网上抓取信息的技术。它可以用于采集网页内容、新闻、评论、产品信息等，从而形成非常庞大的非结构化数据集。

4 物联网设备数据采集：

随着物联网技术的发展，各种设备（如传感器、智能手机、智能家居设备等）能够产生大量实时数据。这些数据可以用于监测设备状态、用户行为、环境参数等。

5 日志和事件数据采集：

服务器日志、应用程序日志、移动应用事件日志等记录了系统和应用程序的运行状态、用户操作等信息。这些日志数据对于系统性能分析、故障排查、用户行为分析等非常重要。

6 传感器和监控设备数据采集：

传感器和监控设备（如气象站、摄像头、遥感设备等）产生的数据被广泛用于气象预测、环境监测、地理信息系统等领域。

7 开放数据和开放API采集：

越来越多的组织和政府机构提供开放数据和API，用于支持公众获取各种数据。开放数据和API采集通常用于获取公共交通信息、地理数据、金融数据等。

8 生物医学数据采集：

生物医学领域产生了大量的生物信息数据，如基因组数据、蛋白质数据、医学影像等。这些数据对于医学研究、药物开发等具有重要意义。