Hadoop 和 BI 如何结合？搭建一个基于 Hadoop+Hive 的数据仓库，它的前端展现如何实现？如何实现 BI？

刚好不久前做过一个，使用hadoop+hive+elasticsearch给公司做的BI。

过程是这样的：

数据由产生端向数据收集服务器发送请求，json文本形式存在收集服务器磁盘上。

定时任务，通过MR Job将数据清洗整理修复分类，云端持久化，之后的数据作为BI的基础数据存入hive。

定时任务，每天跑hive sql（写了一个动态渲染sql语句的引擎），更新累积表，并分析出具体各个指标的分析结果，存入elasticsearch。

前端用的highcharts，jquery请求后端，传入一些范围限制条件，后端拿到限制条件组出查询语句，从ES中取出符合的结果，返给前端。

前端展现，即是分类的指标，筛选条件，指标内有图表和详细数据，以及多条件多指标横纵对比，导出等等。

步骤

Hive提供了jdbc驱动，使得我们可以连接Hive并进行一些类关系型数据库的sql语句查询等操作，首先我们需要将这些驱动拷贝到报表工程下面，然后再建立连接，最后通过连接进行数据查询。

拷贝jar包到FR工程

将hadoop里的hadoop-commonjar拷贝至报表工程appname/WEB-INF/lib下；

将hive里的hive-execjar、hive-jdbcjar、hive-metastorejar、hive-servicejar、libfb303jar、log4jjar、slf4j-apijar、slf4j-log4j12jar拷贝至报表工程appname/WEB-INF/lib下。

配置数据连接

启动设计器，打开服务器>定义数据连接，新建JDBC连接。

1  大数据的安全体系

要说清楚这个问题，还得从大数据平台安全体系的四个层次说起：外围安全、数据安全、访问安全以及访问行为监控；如下图所示；

外围安全技术多指传统意义上提到的网络安全技术，如防火墙，登陆认证等；

数据安全从狭义上说包括对用户数据的加解密，又可细分为存储加密和传输加密；还包括用户数据的脱敏，脱敏可以看做“轻量级”的数据加密。如某人的生日为“2014-12-12”，脱敏后的数据为“2014-x-x”。数据的轮廓依然存在，但已无法精确定位数值。脱敏的程度越高数据可辨认度越低。上述的例子还可脱敏为“x-x-x”，相当于完全对外屏蔽该信息。

访问安全主要是对用户的授权进行管理。Linux/Unix系统中用户-组的读、写、执行权限管理堪称其中的经典模型。HDFS对这一概念进行了扩充，形成了更加完备的ACL体系；另外随着大数据的应用的普及和深入，文件内部数据访问权限差异化的需求也变得越来越重要；

访问行为监控多指记录用户对系统的访问行为：如查看哪个文件；运行了哪些SQL查询；访问行为监控一方面为了进行实时报警，迅速处置非法或者危险的访问行为；另一方面为了事后调查取证，从长期的数据访问行为中分析定位特定的目的。

在这四个安全的层次中，第三层同上层业务的关系最为直接：应用程序的多租户，分权限访问控制都直接依赖这一层的技术实现。

2  HDFS的授权体系

在上述的第三层中，Hadoop生态圈长久以来一直沿用Linux/Unix系统的授权管理模型，将文件的访问权限分为读-写两种权限（HDFS上没有可执行文件的概念），将权限的所有者划分为三个大类：拥有者（owner），所在组（group），以及其他人（other）。这种模型限制权限的所有者只能有三类。如果试图增加一个新的“组”，并设定该组的用户拥有不同于owner，group或other的权限，现有的Linux/Unix授权模型是无法优雅地解决这个问题的。

举例来说明上述状况：假设有一个销售部门，部门经理manager具有修改销售数据sales_data的权利；销售部门的成员具有查看sales_data的权利，销售部门以外的人无法看到销售数据sales_data。那么对于销售数据sales_data的授权如下所示：

-rw-r-----   3  manager sales      0   2015-01-25  18:51  sales_data 

后来该销售部门扩充了人员，又来两个销售经理，一个叫manager1，另一个叫manager2。这两个销售经理也被允许修改销售数据。这种情况下，manager1和manager2只能使用一个新账号manager_account，然后使该账号能够使用setuid对sales_data进行修改。这使得对同一份数据的权限管理变得复杂而不容易维护。

由于上述问题的存在，Hadoop240中添加了对HDFS ACL（Access Control Lists）的支持。这一新特性很好地解决了上述的问题。然而随着Hadoop在企业中广泛地应用，越来越多的业务场景要求大数据访问控制的粒度也不再局限在文件级别，而是更加细致地约束文件内部的数据哪些能被读写，哪些只能被读，哪些完全不允许被访问。对于基于SQL的大数据引擎来说，数据访问不止要到表粒度，更要精确到行列级别。

3  Hiveserver2的授权

Hive是早期将高级查询语言SQL引入Hadoop平台的引擎之一，早期的Hive服务器进程被称作Hiveserver1；Hiveserver1既不支持处理并行的多个连接，又不支持访问授权控制；后来这两个问题在Hiveserver2上被解决，Hiveserver2能够使用grant/revoke语句来限制用户对数据库、表、视图的访问权限，行列权限的控制是通过生成视图来实现的；但Hiveserver2的授权管理体系被认为存在问题，那就是任何通过认证登陆的用户都能够为自己增加对任何资源的访问权限。也就是说Hiveserver2提供的不是一种安全的授权体系，Hiveserver2的授权体系是为防止正常用户误操作而提供保障机制；不是为保护敏感数据的安全性而设计的。然而这些更多的是某些公司的说辞，事实上Hiveserver2自身的安全体系也在逐步完善，上述问题也在快速修复中。

但授权管理其实不止是Hive需要，其他的查询引擎也迫切需要这些技术来完善和规范应用程序对数据的访问。对于细粒度授权管理的实现，很大一部分功能在各引擎之间是可以公用的，因此独立实现的授权管理工具是非常必要的。

4  Sentry提供的安全授权管理

在这样的背景下，Cloudera公司的一些开发者利用Hiveserver2中现有的授权管理模型，扩展并细化了很多细节，完成了一个相对具有使用价值的授权管理工具Sentry，下图是Sentry与Hiveserver2中的授权管理模型的对比：

Sentry的很多基本模型和设计思路都来源于Hiveserver2，但在其基础之上加强了RBAC的概念。在Sentry中，所有的权限都只能授予角色，当角色被挂载到用户组的时候，该组内的用户才具有相应的权限。权限à角色à用户组à用户，这一条线的映射关系在Sentry中显得尤为清晰，这条线的映射显示了一条权限如何能最后被一个用户所拥有；从权限到角色，再到用户组都是通过grant/revoke的SQL语句来授予的。从“用户组”到能够影响“用户”是通过Hadoop自身的用户-组映射来实现的。Hadoop提供两种映射：一种是本地服务器上的Linux/Unix用户到所在组的映射；另一种是通过LDAP实现的用户到所属组的映射；后者对于大型系统而言更加适用，因为具有集中配置，易于修改的好处。

Sentry将Hiveserver2中支持的数据对象从数据库/表/视图扩展到了服务器，URI以及列粒度。虽然列的权限控制可以用视图来实现，但是对于多用户，表数量巨大的情况，视图的方法会使得给视图命名变得异常复杂；而且用户原先写的针对原表的查询语句，这时就无法直接使用，因为视图的名字可能与原表完全不同。

目前Sentry14能够支持的授权级别还局限于SELECT，INSERT，ALL这三个级别，但后续版本中已经能够支持到与Hiveserver2现有的水平。Sentry来源于Hiveserver2中的授权管理模型，但却不局限于只管理Hive，而希望能管理Impala, Solr等其他需要授权管理的查询引擎，Sentry的架构图如下所示：

Sentry的体系结构中有三个重要的组件：一是Binding；二是Policy Engine；三是Policy Provider。

Binding实现了对不同的查询引擎授权，Sentry将自己的Hook函数插入到各SQL引擎的编译、执行的不同阶段。这些Hook函数起两大作用：一是起过滤器的作用，只放行具有相应数据对象访问权限的SQL查询；二是起授权接管的作用，使用了Sentry之后，grant/revoke管理的权限完全被Sentry接管，grant/revoke的执行也完全在Sentry中实现；对于所有引擎的授权信息也存储在由Sentry设定的统一的数据库中。这样所有引擎的权限就实现了集中管理。

Policy Engine判定输入的权限要求与已保存的权限描述是否匹配，Policy Provider负责从文件或者数据库中读取出原先设定的访问权限。Policy Engine以及Policy Provider其实对于任何授权体系来说都是必须的，因此是公共模块，后续还可服务于别的查询引擎。

5  小结

大数据平台上细粒度的访问权限控制各家都在做，当然平台厂商方面主导的还是Cloudera和Hortonworks两家，Cloudera主推Sentry为核心的授权体系；Hortonwork一方面靠对开源社区走向得把控，另一方面靠收购的XA Secure。无论今后两家公司对大数据平台市场的影响力如何变化，大数据平台上的细粒度授权访问都值得我们去学习。