如何让spark支持infiniband的rdma协议

定义

InfiniBand是主机IO总线的网络化,用以替代PCI总线,组件包括HCA、IBSwitch、TCA等,连接方式为：CPU/RAM（机内）— >系统内存总线（机内）—>HCA（桥,机内）—>IBSwitch（主机IO总线,机外）—>TCA（主机IO控制卡 /HBA,机外）—>SANSwitch（存储IO总线,机外）—> 存储子系统（机外）

2 结构

物理层：可基于光缆或铜缆实现,包括多芯电缆（4X/12X）和连接器（MPO/MicroGigaCN）等；

数据链路层：编码（10B/8B）、流量控制（连接级/端到端）、服务级别（可靠连接FC1、非可靠连接FC2、可靠数据报、非可靠数据报FC3和原始数据报）和差错恢复等

上层协议：VI（RDMA）

3 说明

对应SAN实现存储IO总线的网络化（基于FC或EthernetIP）,InfiniBand实现了主机IO总线的网络化

InfiniBand、FC和Ethernet同样工作于物理层和数据链路层,三者均可基于光缆或铜缆实现,并且均对VI（RDMA）等上层协议提供支持

1 定义

InfiniBand是主机IO总线的网络化,用以替代PCI总线,组件包括HCA、IBSwitch、TCA等,连接方式为：CPU/RAM（机内）— >系统内存总线（机内）—>HCA（桥,机内）—>IBSwitch（主机IO总线,机外）—>TCA（主机IO控制卡 /HBA,机外）—>SANSwitch（存储IO总线,机外）—> 存储子系统（机外）

2 结构

物理层：可基于光缆或铜缆实现,包括多芯电缆（4X/12X）和连接器（MPO/MicroGigaCN）等；

数据链路层：编码（10B/8B）、流量控制（连接级/端到端）、服务级别（可靠连接FC1、非可靠连接FC2、可靠数据报、非可靠数据报FC3和原始数据报）和差错恢复等

上层协议：VI（RDMA）

3 说明

对应SAN实现存储IO总线的网络化（基于FC或EthernetIP）,InfiniBand实现了主机IO总线的网络化

InfiniBand、FC和Ethernet同样工作于物理层和数据链路层,三者均可基于光缆或铜缆实现,并且均对VI（RDMA）等上层协议提供支持

一共三种连接方式：SAS、iSCSI、FC（光纤），都需要安装在服务器上HBA（连接主机I/O总线和计算机内存系统的I/O适配器）卡，通过相对应的线缆连接盘柜。

1、SAS连接方式：服务器需要安装SAS HBA卡，通过SAS线连接到盘柜上的SAS接口。速率3Gb/S，可以通过SAS交换机(此类SAN交换机相对其它SAN交换机较少）扩展成SAS SAN存储区域网络 ，如 Powervault MD3000 用的是SAS连接方式

2、iSCSI连接方式：服务器需要安装iSCSI HBA卡，通过以太网线连接盘柜上的iSCSI接口，速率1Gb/S，可以通过以太网交换机扩展成iSCSI（IP） SAN存储区域网络 如：Powervault MD3000 i

3、FC连接方式：服务器需要安装FC HBA卡，通过FC线连接到盘柜上的FC接口(接口上必须安装短波光模块）。速率4/8/10Gb/S，可以通过FC交换机（需要安装短波光模块）扩展成FC SAN存储区域网络

目前企业数据存储的主流是FC SAN 和IP SAN,前者吞吐量高、性能最好，后者经济实惠、扩展方便。SAS接口的存储一般都用于入门级直连存储，少有扩展成SAS SAN的。传输速率ISCSI < SAS < FC

扩展资料：

磁盘阵列（Redundant Arrays of Independent Drives，RAID），有“独立磁盘构成的具有冗余能力的阵列”之意。

磁盘阵列是由很多价格较便宜的磁盘，组合成一个容量巨大的磁盘组，利用个别磁盘提供数据所产生加成效果提升整个磁盘系统效能。利用这项技术，将数据切割成许多区段，分别存放在各个硬盘上。 

磁盘阵列还能利用同位检查（Parity Check）的观念，在数组中任意一个硬盘故障时，仍可读出数据，在数据重构时，将数据经计算后重新置入新硬盘中。

由加利福尼亚大学伯克利分校（University of California-Berkeley）在1988年，发表的文章：“A Case for Redundant Arrays of Inexpensive Disks”。文章中，谈到了RAID这个词汇，而且定义了RAID的5层级。伯克利大学研究目的是反映当时CPU快速的性能。

CPU效能每年大约成长30～50%，而硬磁机只能成长约7%。研究小组希望能找出一种新的技术，在短期内，立即提升效能来平衡计算机的运算能力。在当时，柏克莱研究小组的主要研究目的是效能与成本。

另外，研究小组也设计出容错（fault-tolerance），逻辑数据备份（logical data redundancy），而产生了RAID理论。研究初期，便宜（Inexpensive）的磁盘也是主要的重点，但后来发现，大量便宜磁盘组合并不能适用于现实的生产环境，后来Inexpensive被改为independent，许多独立的磁盘组。

独立磁盘冗余阵列（RAID，redundant array of independent disks）是把相同的数据存储在多个硬盘的不同的地方（因此，冗余地）的方法。通过把数据放在多个硬盘上，输入输出操作能以平衡的方式交叠，改良性能。因为多个硬盘增加了平均故障间隔时间（MTBF），储存冗余数据也增加了容错。

（资料来源：：磁盘阵列）

1首先确认连接正确：

2打开storage

manager，右键管理站名，选择自动搜索

3对话框下方会有自动搜索进度条，搜索结束会发现连接的DS3400

4重命名ds3400:

5打开管理界面：

6通过管理界面的summary选项卡，查看盘柜的各种属性信息：

7手动添加主机，选择config选项卡中的config

host

access(manual)：

8创建host，选择windows2K3

non-cluster

9选择主机的HBA卡，storage

manager会自动搜索HBA卡无需抄写WWN号，也可以选择“edit”选项，手动添加HBA卡：

10非双机访问，选择默认选项：

11回到config选项卡，创建array和lun并映射到服务器上，选择“create

logical

drives”：

12配置未划分的空间：

13手动创建array：

14选择3块硬盘做RAID5，点选”calculate”选项计算容量才可以继续配置：

15在”new

logical

drive

capacity”输入框中输入要创建的lun大小（默认为原始array大小），后根据应用类型选择segment

size:

16映射到本文档开始时创建的host，选择一个LUN（未加partition许可情况下，每个partition可创建32个lun）：

17选择”yes”继续创建lun2：

18选择从空闲空间创建logical

drive:

19步骤同创建lun1：

20映射到host，此时lun自动变为1（第一个logical

drive占用了lun0）:

21在config选项卡中选择”config

hot-spare”，手动创建全局热备份：

22选择未用的硬盘：

23热备份：

最后，在windows2003中打开”服务”面板，选择”磁盘管理”，可以看到新添加的两块硬盘，初始化并分区即可。

RHEL中步骤雷同。