数据清洗的内容有哪些

数据清洗的内容包括：选择子集、列名重命名、缺失值处理、数据类型转换、异常值处理以及数据排序。

1、选择子集

在数据分析的过程中，有可能数据量会非常大，但并不是每一列都有分析的价值，这时候就要从这些数据中选择有用的子集进行分析，这样才能提高分析的价值和效率。

2、列名重命名

在数据分析的过程中，有些列名和数据容易混淆或者让人产生歧义。

3、缺失值处理

获取的数据中很可能存在这缺失值，这会对分析的结果造成影响。

4、数据类型的转换

在导入数据的时候为了防止导入不进来，python会强制转换为object类型，然是这样的数据类型在分析的过程中不利于运算和分析。

数据清洗是指发现并纠正数据文件中可识别的错误的最后一道程序，包括检查数据一致性，处理无效值和缺失值等。与问卷审核不同，录入后的数据清理一般是由计算机而不是人工完成。

数据清洗方法：一般来说，数据清理是将数据库精简以除去重复记录，并使剩余部分转换成标准可接收格式的过程。数据清理标准模型是将数据输入到数据清理处理器，通过一系列步骤“ 清理”数据，然后以期望的格式输出清理过的数据。数据清理从数据的准确性、完整性、一致性、惟一性、适时性、有效性几个方面来处理数据的丢失值、越界值、不一致代码、重复数据等问题。

数据预处理是指对获取到的原始数据进行合并、清洗和转换，从而让数据结构化、规范化、易于分析。

数据预处理是整个分析阶段耗时最长的部分，需要花时间将杂乱无章、格式不规范的数据处理成条理清晰、逻辑清楚、规整有序的数据表。数据预处理可以说是数据分析中十分重要的一个环节，因为Excel中的数据关系、函数逻辑缜密，一个微小的差错就能导致整个分析结果出现巨大偏差。

在做预处理之前，需要先了解下常用函数的运算逻辑。

函数是用来完成计算的一种方便、快捷的工具。

Excel中的函数有很多，进行数据分析的话，只需掌握常用的函数即可。

在Excel中函数由 函数名+括号+参数 组成，参数可无。函数公式表示方式如下

=函数名（参数1，参数2，…）

在写函数时，需要注意以下几点：（1）函数名前必须有等号，否则不能成功运用该函数；（2）函数中的符号，如逗号、引号等都是英文状态下的半角字符，否则会报错；（3） 嵌套函数时要注意多个括号是否完整。

数据预处理的第一步就是数据清洗，数据本身是一座金矿、一种资源，沉睡的资源是很难创造价值的，它必须经过清洗、分析、建模、可视化等过程加工处理之后，才真正产生价值。

数据清洗 的目的是发现并纠正数据文件

数据清洗是发现并纠正数据文件中可识别错误的一道程序，该步骤针对数据审查过程中发现的明显错误值、缺失值、异常值、可疑数据，选用适当方法进行“清理”，使“脏”数据变为“干净”数据，有利于后续的统计分析得出可靠的结论。当然，数据清理还包括对重复记录进行删除、检查数据一致性。 如何对数据进行有效的清理和转换使之成为符合数据挖掘要求的数据源是影响数据挖掘准确性的关键因素。

缺失值即数据值为空的值，又称“空值”。由于人为和系统的原因，原始数据表中不可避免地会出现空值，数据清洗的第一步就是要找出空值并选择合适的方法进行处理。寻找空值有很多方法，这里提供筛选和定位空值两个思路：

（1）筛选空值

在数据量较少的情况下，筛选空值是很有效的方法。选中原始数据表的标题行，单击数据→排序和筛选→筛选按钮，发现每一列字段右侧都出现了下拉按钮，这时便可以对字段进行筛选了，如图所示

对部门列进行筛选，发现有空值的，勾选空白复选框，就可以将空值筛选出来。同理，可以找出每一列的空值。

（2）定位空值

定位空值要用到定位条件选项，具体操作如下。选中整张表，选择开始→编辑→查找和选择→定位条件选项，如图所示：

在弹出的定位条件对话框中选择空值选项，单击确定按钮。可以看到，整张表中所有的空值都被选中了。

（3）处理空值

对于空值的处理，需结合实际的数据和业务需求，一般来说有以下3种处理方式：删除、保留、使用替代值。

删除：顾名思义就是将含有空值的整条记录都删除。删除的优点是删除以后整个数据集都是有完整记录的数据，且操作简单、直接；缺点是缺少的这部分样本可能会导致整体结果出现偏差。

保留：优点是保证了样本的完整性；缺点是需要知道为什么要保留、保留的意义是什么、是什么原因导致了空值（是系统的原因还是人为的原因）。这种保留建立在只缺失单个数据且空值是有明确意义的基础上。

使用替代值：指用均值、众数、中位数等数据代替空值。使用替代值的优点是有理有据；缺点是可能会使空值失去其本身的含义。对于替代值，除了使用统计学中常用的描述数据的值，还可以人为地赋予空值一个具体的值。

获取数据的时候可能由于各种原因出现数据重复的情况。对于这样的数据，我们没必要重复统计，因此需要找出重复值并删除。这里提供一种寻找重复值的思路：COUNTIF（）函数。

函数：COUNTIF（Range,Criteria）

作用：计算特定区域中满足条件单元格的数量

模板：COUNTIF（统计区域,条件）

参数解释：Range为要统计的区域，Criteria为统计条件。对于重复值，一般应删除

异常值即数据中出现的个别偏离其余观测值范围较多的值。

异常值的判断标准又是什么呢？

统计学上的异常值是指一组数据中与平均值的偏差超过两倍标准差的值，而在业务层面上，如果某个类别变量出现的频率非常少，也可以判断其为异常值。对异常值的判断除了依靠统计学常识外，更多依靠的是对业务的理解。

从技巧上来说，对异常值的判断还需要多种函数相互结合。如直接删除或者在认为合理的情况下更改异常值。直接删除的情况是异常值对数据分析没有特别大的帮助且会形成误导，因此删除就好；而可更改异常值的情况是通过经验判断，我们有把握将异常值改为正常值。更改异常值的好处是不必删除数据，保存了数据的完整性；坏处是不确定更改的异常值是否正确。这两种处理方式在实际情况中可酌情使用。

在实际工作中，总是不可避免地会遇到不规范的数据。下面就来讲解如何将这些不规范的数据处理成规范的数据。

（1）处理合并单元格

合并单元格不应该出现在原始数据表中，但可以出现在数据展示表中，当原始数据表中出现了合并单元格的情况时，我们需要对合并单元格的数据进行处理。常用的方法是取消合并单元格，并做相应的填充。选中某些已合并数据，单击开始→对齐方式→合并后居中按钮，取消该区域中已合并的单元格。并对已分开的单元格进行内容填充。

（2）删除或填充表中的空行

表中多余的空行必须删除，否则会对后续的处理和分析造成误导。对于少量的数据，我们可以直接看到空行并删掉。但对于大量的数据，如何快速删除多余的空行呢？运用最广泛的功能就是定位空值。只要能定位出空值，不管是批量填充还是删除行，就都很好处理了。

数据清洗是数据预处理中至关重要的环节，清洗后数据的质量很大程度上决定了后续研究型数据分析的结果准确性。

当域名解析有问题时，可能是DNS服务器更新了此域名的IP，而与本地DNS缓存中存储的信息对应不上，从而造成域名解析有问题，此时就需要更新本地的DNS本地缓存，简单地清除本地的DNS本地缓存就行了。

1、在运行中输入cmd，然后输入ipconfig /flushdns即可。

2、将系统服务中的DNS CLIENT服务停止，可以不在本地存储DNS查询信息。

3、关闭IE，然后清除历史记录或restart机器。

三种方法均可立即正确解析域名。在用户间共享ODBC连接Windows 2000支持开放数据库连接（ODBC），一个由微软开发的标准机制，它能够使客户不用在本地安装DBMS就可以访问由各种数据库管理系统创建的数据库。

大数据的由来

对于“大数据”（Big data）研究机构Gartner给出了这样的定义。“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力来适应海量、高增长率和多样化的信息资产。

1

麦肯锡全球研究所给出的定义是：一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合，具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低四大特征。

大数据技术的战略意义不在于掌握庞大的数据信息，而在于对这些含有意义的数据进行专业化处理。换而言之，如果把大数据比作一种产业，那么这种产业实现盈利的关键，在于提高对数据的“加工能力”，通过“加工”实现数据的“增值”。

从技术上看，大数据与云计算的关系就像一枚硬币的正反面一样密不可分。大数据必然无法用单台的计算机进行处理，必须采用分布式架构。它的特色在于对海量数据进行分布式数据挖掘。但它必须依托云计算的分布式处理、分布式数据库和云存储、虚拟化技术。

大数据需要特殊的技术，以有效地处理大量的容忍经过时间内的数据。适用于大数据的技术，包括大规模并行处理（MPP）数据库、数据挖掘、分布式文件系统、分布式数据库、云计算平台、互联网和可扩展的存储系统。

最小的基本单位是bit，按顺序给出所有单位：bit、Byte、KB、MB、GB、TB、PB、EB、ZB、YB、BB、NB、DB。

大数据的应用领域

大数据无处不在，大数据应用于各个行业，包括金融、 汽车 、餐饮、电信、能源、体能和 娱乐 等在内的 社会 各行各业都已经融入了大数据的印迹。

制造业，利用工业大数据提升制造业水平，包括产品故障诊断与预测、分析工艺流程、改进生产工艺，优化生产过程能耗、工业供应链分析与优化、生产计划与排程。

金融行业，大数据在高频交易、社交情绪分析和信贷风险分析三大金融创新领域发挥重大作用。

汽车 行业，利用大数据和物联网技术的无人驾驶 汽车 ，在不远的未来将走入我们的日常生活。

互联网行业，借助于大数据技术，可以分析客户行为，进行商品推荐和针对性广告投放。

电信行业，利用大数据技术实现客户离网分析，及时掌握客户离网倾向，出台客户挽留措施。

能源行业，随着智能电网的发展，电力公司可以掌握海量的用户用电信息，利用大数据技术分析用户用电模式，可以改进电网运行，合理设计电力需求响应系统，确保电网运行安全。

物流行业，利用大数据优化物流网络，提高物流效率，降低物流成本。

城市管理，可以利用大数据实现智能交通、环保监测、城市规划和智能安防。

体育 娱乐 ，大数据可以帮助我们训练球队，决定投拍哪种 题财的 影视作品，以及预测比赛结果。

安全领域，政府可以利用大数据技术构建起强大的国家安全保障体系，企业可以利用大数据抵御网络攻击，警察可以借助大数据来预防犯罪。

个人生活， 大数据还可以应用于个人生活，利用与每个人相关联的“个人大数据”，分析个人生活行为习惯，为其提供更加周到的个性化服务。

大数据的价值，远远不止于此，大数据对各行各业的渗透，大大推动了 社会 生产和生活，未来必将产生重大而深远的影响。

大数据方面核心技术有哪些？

大数据技术的体系庞大且复杂，基础的技术包含数据的采集、数据预处理、分布式存储、NoSQL数据库、数据仓库、机器学习、并行计算、可视化等各种技术范畴和不同的技术层面。首先给出一个通用化的大数据处理框架，主要分为下面几个方面：数据采集与预处理、数据存储、数据清洗、数据查询分析和数据可视化。

数据采集与预处理

对于各种来源的数据，包括移动互联网数据、社交网络的数据等，这些结构化和非结构化的海量数据是零散的，也就是所谓的数据孤岛，此时的这些数据并没有什么意义，数据采集就是将这些数据写入数据仓库中，把零散的数据整合在一起，对这些数据综合起来进行分析。数据采集包括文件日志的采集、数据库日志的采集、关系型数据库的接入和应用程序的接入等。在数据量比较小的时候，可以写个定时的脚本将日志写入存储系统，但随着数据量的增长，这些方法无法提供数据安全保障，并且运维困难，需要更强壮的解决方案。

Flume NG

Flume NG作为实时日志收集系统，支持在日志系统中定制各类数据发送方，用于收集数据，同时，对数据进行简单处理，并写到各种数据接收方(比如文本，HDFS，Hbase等)。Flume NG采用的是三层架构：Agent层，Collector层和Store层，每一层均可水平拓展。其中Agent包含Source，Channel和 Sink，source用来消费(收集)数据源到channel组件中，channel作为中间临时存储，保存所有source的组件信息，sink从channel中读取数据，读取成功之后会删除channel中的信息。

NDC

Logstash

Logstash是开源的服务器端数据处理管道，能够同时从多个来源采集数据、转换数据，然后将数据发送到您最喜欢的 “存储库” 中。一般常用的存储库是Elasticsearch。Logstash 支持各种输入选择，可以在同一时间从众多常用的数据来源捕捉事件，能够以连续的流式传输方式，轻松地从您的日志、指标、Web 应用、数据存储以及各种 AWS 服务采集数据。

Sqoop

Sqoop，用来将关系型数据库和Hadoop中的数据进行相互转移的工具，可以将一个关系型数据库(例如Mysql、Oracle)中的数据导入到Hadoop(例如HDFS、Hive、Hbase)中，也可以将Hadoop(例如HDFS、Hive、Hbase)中的数据导入到关系型数据库(例如Mysql、Oracle)中。Sqoop 启用了一个 MapReduce 作业(极其容错的分布式并行计算)来执行任务。Sqoop 的另一大优势是其传输大量结构化或半结构化数据的过程是完全自动化的。

流式计算

流式计算是行业研究的一个热点，流式计算对多个高吞吐量的数据源进行实时的清洗、聚合和分析，可以对存在于社交网站、新闻等的数据信息流进行快速的处理并反馈，目前大数据流分析工具有很多，比如开源的strom，spark streaming等。

Strom集群结构是有一个主节点(nimbus)和多个工作节点(supervisor)组成的主从结构，主节点通过配置静态指定或者在运行时动态选举，nimbus与supervisor都是Storm提供的后台守护进程，之间的通信是结合Zookeeper的状态变更通知和监控通知来处理。nimbus进程的主要职责是管理、协调和监控集群上运行的topology(包括topology的发布、任务指派、事件处理时重新指派任务等)。supervisor进程等待nimbus分配任务后生成并监控worker(jvm进程)执行任务。supervisor与worker运行在不同的jvm上，如果由supervisor启动的某个worker因为错误异常退出(或被kill掉)，supervisor会尝试重新生成新的worker进程。

Zookeeper

Zookeeper是一个分布式的，开放源码的分布式应用程序协调服务，提供数据同步服务。它的作用主要有配置管理、名字服务、分布式锁和集群管理。配置管理指的是在一个地方修改了配置，那么对这个地方的配置感兴趣的所有的都可以获得变更，省去了手动拷贝配置的繁琐，还很好的保证了数据的可靠和一致性，同时它可以通过名字来获取资源或者服务的地址等信息，可以监控集群中机器的变化，实现了类似于心跳机制的功能。

数据存储

Hadoop作为一个开源的框架，专为离线和大规模数据分析而设计，HDFS作为其核心的存储引擎，已被广泛用于数据存储。

HBase

HBase，是一个分布式的、面向列的开源数据库，可以认为是hdfs的封装，本质是数据存储、NoSQL数据库。HBase是一种Key/Value系统，部署在hdfs上，克服了hdfs在随机读写这个方面的缺点，与hadoop一样，Hbase目标主要依靠横向扩展，通过不断增加廉价的商用服务器，来增加计算和存储能力。

Phoenix

Phoenix，相当于一个Java中间件，帮助开发工程师能够像使用JDBC访问关系型数据库一样访问NoSQL数据库HBase。

Yarn

Yarn是一种Hadoop资源管理器，可为上层应用提供统一的资源管理和调度，它的引入为集群在利用率、资源统一管理和数据共享等方面带来了巨大好处。Yarn由下面的几大组件构成：一个全局的资源管理器ResourceManager、ResourceManager的每个节点代理NodeManager、表示每个应用的Application以及每一个ApplicationMaster拥有多个Container在NodeManager上运行。

Mesos

Mesos是一款开源的集群管理软件，支持Hadoop、ElasticSearch、Spark、Storm 和Kafka等应用架构。

Redis

Redis是一种速度非常快的非关系数据库，可以存储键与5种不同类型的值之间的映射，可以将存储在内存的键值对数据持久化到硬盘中，使用复制特性来扩展性能，还可以使用客户端分片来扩展写性能。

Atlas

Atlas是一个位于应用程序与MySQL之间的中间件。在后端DB看来，Atlas相当于连接它的客户端，在前端应用看来，Atlas相当于一个DB。Atlas作为服务端与应用程序通讯，它实现了MySQL的客户端和服务端协议，同时作为客户端与MySQL通讯。它对应用程序屏蔽了DB的细节，同时为了降低MySQL负担，它还维护了连接池。Atlas启动后会创建多个线程，其中一个为主线程，其余为工作线程。主线程负责监听所有的客户端连接请求，工作线程只监听主线程的命令请求。

Kudu

Kudu是围绕Hadoop生态圈建立的存储引擎，Kudu拥有和Hadoop生态圈共同的设计理念，它运行在普通的服务器上、可分布式规模化部署、并且满足工业界的高可用要求。其设计理念为fast analytics on fast data。作为一个开源的存储引擎，可以同时提供低延迟的随机读写和高效的数据分析能力。Kudu不但提供了行级的插入、更新、删除API，同时也提供了接近Parquet性能的批量扫描操作。使用同一份存储，既可以进行随机读写，也可以满足数据分析的要求。Kudu的应用场景很广泛，比如可以进行实时的数据分析，用于数据可能会存在变化的时序数据应用等。

在数据存储过程中，涉及到的数据表都是成千上百列，包含各种复杂的Query，推荐使用列式存储方法，比如parquent,ORC等对数据进行压缩。Parquet 可以支持灵活的压缩选项，显著减少磁盘上的存储。

数据清洗

MapReduce作为Hadoop的查询引擎，用于大规模数据集的并行计算，”Map(映射)”和”Reduce(归约)”，是它的主要思想。它极大的方便了编程人员在不会分布式并行编程的情况下，将自己的程序运行在分布式系统中。

随着业务数据量的增多，需要进行训练和清洗的数据会变得越来越复杂，这个时候就需要任务调度系统，比如oozie或者azkaban，对关键任务进行调度和监控。

Oozie

Oozie是用于Hadoop平台的一种工作流调度引擎，提供了RESTful API接口来接受用户的提交请求(提交工作流作业)，当提交了workflow后，由工作流引擎负责workflow的执行以及状态的转换。用户在HDFS上部署好作业(MR作业)，然后向Oozie提交Workflow，Oozie以异步方式将作业(MR作业)提交给Hadoop。这也是为什么当调用Oozie 的RESTful接口提交作业之后能立即返回一个JobId的原因，用户程序不必等待作业执行完成(因为有些大作业可能会执行很久(几个小时甚至几天))。Oozie在后台以异步方式，再将workflow对应的Action提交给hadoop执行。

Azkaban

Azkaban也是一种工作流的控制引擎，可以用来解决有多个hadoop或者spark等离线计算任务之间的依赖关系问题。azkaban主要是由三部分构成：Relational Database，Azkaban Web Server和Azkaban Executor Server。azkaban将大多数的状态信息都保存在MySQL中，Azkaban Web Server提供了Web UI，是azkaban主要的管理者，包括project的管理、认证、调度以及对工作流执行过程中的监控等;Azkaban Executor Server用来调度工作流和任务，记录工作流或者任务的日志。

流计算任务的处理平台Sloth，是网易首个自研流计算平台，旨在解决公司内各产品日益增长的流计算需求。作为一个计算服务平台，其特点是易用、实时、可靠，为用户节省技术方面(开发、运维)的投入，帮助用户专注于解决产品本身的流计算需求

数据查询分析

Hive

Hive的核心工作就是把SQL语句翻译成MR程序，可以将结构化的数据映射为一张数据库表，并提供 HQL(Hive SQL)查询功能。Hive本身不存储和计算数据，它完全依赖于HDFS和MapReduce。可以将Hive理解为一个客户端工具，将SQL操作转换为相应的MapReduce jobs，然后在hadoop上面运行。Hive支持标准的SQL语法，免去了用户编写MapReduce程序的过程，它的出现可以让那些精通SQL技能、但是不熟悉MapReduce 、编程能力较弱与不擅长Java语言的用户能够在HDFS大规模数据集上很方便地利用SQL 语言查询、汇总、分析数据。

Hive是为大数据批量处理而生的，Hive的出现解决了传统的关系型数据库(MySql、Oracle)在大数据处理上的瓶颈 。Hive 将执行计划分成map->shuffle->reduce->map->shuffle->reduce…的模型。如果一个Query会被编译成多轮MapReduce，则会有更多的写中间结果。由于MapReduce执行框架本身的特点，过多的中间过程会增加整个Query的执行时间。在Hive的运行过程中，用户只需要创建表，导入数据，编写SQL分析语句即可。剩下的过程由Hive框架自动的完成。

Impala

Impala是对Hive的一个补充，可以实现高效的SQL查询。使用Impala来实现SQL on Hadoop，用来进行大数据实时查询分析。通过熟悉的传统关系型数据库的SQL风格来操作大数据，同时数据也是可以存储到HDFS和HBase中的。Impala没有再使用缓慢的Hive+MapReduce批处理，而是通过使用与商用并行关系数据库中类似的分布式查询引擎(由Query Planner、Query Coordinator和Query Exec Engine三部分组成)，可以直接从HDFS或HBase中用SELECT、JOIN和统计函数查询数据，从而大大降低了延迟。Impala将整个查询分成一执行计划树，而不是一连串的MapReduce任务，相比Hive没了MapReduce启动时间。

Hive 适合于长时间的批处理查询分析，而Impala适合于实时交互式SQL查询，Impala给数据人员提供了快速实验，验证想法的大数据分析工具，可以先使用Hive进行数据转换处理，之后使用Impala在Hive处理好后的数据集上进行快速的数据分析。总的来说：Impala把执行计划表现为一棵完整的执行计划树，可以更自然地分发执行计划到各个Impalad执行查询，而不用像Hive那样把它组合成管道型的map->reduce模式，以此保证Impala有更好的并发性和避免不必要的中间sort与shuffle。但是Impala不支持UDF，能处理的问题有一定的限制。

Spark

Spark拥有Hadoop MapReduce所具有的特点，它将Job中间输出结果保存在内存中，从而不需要读取HDFS。Spark 启用了内存分布数据集，除了能够提供交互式查询外，它还可以优化迭代工作负载。Spark 是在 Scala 语言中实现的，它将 Scala 用作其应用程序框架。与 Hadoop 不同，Spark 和 Scala 能够紧密集成，其中的 Scala 可以像操作本地集合对象一样轻松地操作分布式数据集。

Nutch

Nutch 是一个开源Java 实现的搜索引擎。它提供了我们运行自己的搜索引擎所需的全部工具，包括全文搜索和Web爬虫。

Solr

Solr用Java编写、运行在Servlet容器(如Apache Tomcat或Jetty)的一个独立的企业级搜索应用的全文搜索服务器。它对外提供类似于Web-service的API接口，用户可以通过http请求，向搜索引擎服务器提交一定格式的XML文件，生成索引;也可以通过Http Get操作提出查找请求，并得到XML格式的返回结果。

Elasticsearch

Elasticsearch是一个开源的全文搜索引擎，基于Lucene的搜索服务器，可以快速的储存、搜索和分析海量的数据。设计用于云计算中，能够达到实时搜索，稳定，可靠，快速，安装使用方便。

还涉及到一些机器学习语言，比如，Mahout主要目标是创建一些可伸缩的机器学习算法，供开发人员在Apache的许可下免费使用;深度学习框架Caffe以及使用数据流图进行数值计算的开源软件库TensorFlow等，常用的机器学习算法比如，贝叶斯、逻辑回归、决策树、神经网络、协同过滤等。

数据可视化

对接一些BI平台，将分析得到的数据进行可视化，用于指导决策服务。主流的BI平台比如，国外的敏捷BI Tableau、Qlikview、PowrerBI等，国内的SmallBI和新兴的网易有数等。

在上面的每一个阶段，保障数据的安全是不可忽视的问题。

基于网络身份认证的协议Kerberos，用来在非安全网络中，对个人通信以安全的手段进行身份认证，它允许某实体在非安全网络环境下通信，向另一个实体以一种安全的方式证明自己的身份。

控制权限的ranger是一个Hadoop集群权限框架，提供操作、监控、管理复杂的数据权限，它提供一个集中的管理机制，管理基于yarn的Hadoop生态圈的所有数据权限。可以对Hadoop生态的组件如Hive，Hbase进行细粒度的数据访问控制。通过操作Ranger控制台，管理员可以轻松的通过配置策略来控制用户访问HDFS文件夹、HDFS文件、数据库、表、字段权限。这些策略可以为不同的用户和组来设置，同时权限可与hadoop无缝对接。

简单说有三大核心技术：拿数据，算数据，卖数据。

1、 Cloudera Cloudera

提供一个可扩展、灵活、集成的平台，可用来方便的管理您的企业中快速增长的多种多样的数据，从而部署和管理Hadoop和相关项目、操作和分析您的数据以及保护数据的安全。Cloudera Manager是一个复杂的应用程序，用于部署、管理、监控CDH部署并诊断问题，Cloudera Manager提供Admin Console，这是一种基于Web的用户界面，是您的企业数据管理简单而直接，它还包括Cloudera Manager API，可用来获取集群运行状况信息和度量以及配置Cloudera Manager。

2、 星环Transwarp

基于hadoop生态系统的大数据平台公司，国内唯一入选过Gartner魔力象限的大数据平台公司，对hadoop不稳定的部分进行了优化，功能上进行了细化，为企业提供hadoop大数据引擎及数据库工具。

3、 阿里数加

阿里云发布的一站式大数据平台，覆盖了企业数仓、商业智能、机器学习、数据可视化等领域，可以提供数据采集、数据深度融合、计算和挖掘服务，将计算的几个通过可视化工具进行个性化的数据分析和展现，图形展示和客户感知良好，但是需要捆绑阿里云才能使用，部分体验功能一般，需要有一定的知识基础。maxcompute(原名ODPS)是数加底层的计算引擎，有两个维度可以看这个计算引擎的性能，一个是6小时处理100PB的数据，相当于1亿部高清**，另外一个是单集群规模过万台，并支持多集群联合计算。

4、 华为

基于Apache进行功能增强的企业级大数据存储、查询和分析的统一平台。完全开放的大数据平台，可运行在开放的x86架构服务器上，它以海量数据处理引擎和实时数据处理引擎为核心，针对金融、运营商等数据密集型行业的运行维护、应用开发等需求，打造了敏捷、智慧、可信的平台软件。

5、网易猛犸

网易猛犸大数据平台使一站式的大数据应用开发和数据管理平台，包括大数据开发套件和hadoop发行版两部分。大数据开发套件主要包含数据开发、任务运维、自助分析、数据管理、项目管理及多租户管理等。大数据开发套件将数据开发、数据分析、数据ETL等数据科学工作通过工作流的方式有效地串联起来，提高了数据开发工程师和数据分析工程师的工作效率。Hadoop发行版涵盖了网易大数据所有底层平台组件，包括自研组件、基于开源改造的组件。丰富而全面的组件，提供完善的平台能力，使其能轻易地构建不同领域的解决方案，满足不同类型的业务需求。

1可视化分析

大数据分析的使用者有大数据分析专家，同时还有普通用户，但是他们二者对于大数据分析最基本的要求就是可视化分析，因为可视化分析能够直观的呈现大数据特点，同时能够非常容易被读者所接受，就如同看图说话一样简单明了。

2 数据挖掘算法

大数据分析的理论核心就是数据挖掘算法，各种数据挖掘的算法基于不同的数据类型和格式才能更加科学的呈现出数据本身具备的特点，也正是因为这些被全世界统计 学家所公认的各种统计方法（可以称之为真理）才能深入数据内部，挖掘出公认的价值。另外一个方面也是因为有这些数据挖掘的算法才能更快速的处理大数据，如果一个算法得花上好几年才能得出结论，那大数据的价值也就无从说起了。

3 预测性分析大数据分析最终要的应用领域之一就是预测性分析，从大数据中挖掘出特点，通过科学的建立模型，之后便可以通过模型带入新的数据，从而预测未来的数据。

4 语义引擎

非结构化数据的多元化给数据分析带来新的挑战，我们需要一套工具系统的去分析，提炼数据。语义引擎需要设计到有足够的人工智能以足以从数据中主动地提取信息。

5数据质量和数据管理。 大数据分析离不开数据质量和数据管理，高质量的数据和有效的数据管理，无论是在学术研究还是在商业应用领域，都能够保证分析结果的真实和有价值。

大数据分析的基础就是以上五个方面，当然更加深入大数据分析的话，还有很多很多更加有特点的、更加深入的、更加专业的大数据分析方法。

由于调查、编码和录入误差，数据中可能存在一些无效值和缺失值，需要给予适当的处理。常用的处理方法有：估算，整例删除，变量删除和成对删除。

计算机俗称电脑，是一种用于高速计算的电子计算机器，可以进行数值计算，又可以进行逻辑计算，还具有存储记忆功能。是能够按照程序运行，自动、高速处理海量数据的现代化智能电子设备。由硬件系统和软件系统所组成，没有安装任何软件的计算机称为裸机。

可分为超级计算机、工业控制计算机、网络计算机、个人计算机、嵌入式计算机五类，较先进的计算机有生物计算机、光子计算机、量子计算机、神经网络计算机。蛋白质计算机等。

当今计算机系统的运算速度已达到每秒万亿次，微机也可达每秒几亿次以上，使大量复杂的科学计算问题得以解决。例如：卫星轨道的计算、大型水坝的计算、24小时天气预报的计算等，过去人工计算需要几年、几十年，而现在用计算机只需几天甚至几分钟就可完成。

科学技术的发展特别是尖端科学技术的发展，需要高度精确的计算。计算机控制的导弹之所以能准确地击中预定的目标，是与计算机的精确计算分不开的。一般计算机可以有十几位甚至几十位（二进制）有效数字，计算精度可由千分之几到百万分之几，是任何计算工具所望尘莫及的。

随着计算机存储容量的不断增大，可存储记忆的信息越来越多。计算机不仅能进行计算，而且能把参加运算的数据、程序以及中间结果和最后结果保存起来，以供用户随时调用；还可以对各种信息（如视频、语言、文字、图形、图像、音乐等）通过编码技术进行算术运算和逻辑运算，甚至进行推理和证明。

计算机内部操作是根据人们事先编好的程序自动控制进行的。用户根据解题需要，事先设计好运行步骤与程序，计算机十分严格地按程序规定的步骤操作，整个过程不需人工干预，自动执行，已达到用户的预期结果。

超级计算机（supercomputers）通常是指由数百数千甚至更多的处理器（机）组成的、能计算普通PC机和服务器不能完成的大型复杂课题的计算机。超级计算机是计算机中功能最强、运算速度最快、存储容量最大的一类计算机，是国家科技发展水平和综合国力的重要标志。

超级计算机拥有最强的并行计算能力，主要用于科学计算。在气象、军事、能源、航天、探矿等领域承担大规模、高速度的计算任务。

在结构上，虽然超级计算机和服务器都可能是多处理器系统，二者并无实质区别，但是现代超级计算机较多采用集群系统，更注重浮点运算的性能，可看着是一种专注于科学计算的高性能服务器，而且价格非常昂贵。

一般的超级计算器耗电量相当大，一秒钟电费就要上千，超级计算器的CPU至少50核也就是说是家用电脑的10倍左右，处理速度也是相当的快，但是这种CPU是无法购买的，而且价格要上千万。