如何部署GPU满足服务器工作负载需求

选择GPU服务器时首先要考虑业务需求来选择适合的GPU型号。在HPC高性能计算中还需要根据精度来选择，比如有的高性能计算需要双精度，这时如果使用P40或者P4就不合适，只能使用V100或者P100；同时也会对显存容量有要求，比如石油或石化勘探类的计算应用对显存要求比较高；还有些对总线标准有要求，因此选择GPU型号要先看业务需求。

GPU服务器人工智能领域的应用也比较多。在教学场景中，对GPU虚拟化的要求比较高。根据课堂人数，一个老师可能需要将GPU服务器虚拟出30甚至60个虚拟GPU，因此批量Training对GPU要求比较高，通常用V100做GPU的训练。模型训练完之后需要进行推理，因此推理一般会使用P4或者T4，少部分情况也会用V100。

综上所述，选择服务器时不仅需要考虑业务需求，还要考虑性能指标，比如精度、显存类型、显存容量以及功耗等，同时也会有一些服务器是需要水冷、降噪或者对温度、移动性等等方面有特殊的要求，就需要特殊定制的服务器。

欢迎了解更多：网页链接

深度学习是需要配置专门的GPU服务器的:

深度学习的电脑配置要求：

1、数据存储要求

在一些深度学习案例中，数据存储会成为明显的瓶颈。做深度学习首先需要一个好的存储系统，将历史资料保存起来。

主要任务：历史数据存储，如：文字、图像、声音、视频、数据库等。

数据容量：提供足够高的存储能力。

读写带宽：多硬盘并行读写架构提高数据读写带宽。

接口：高带宽，同时延迟低。

传统解决方式：专门的存储服务器，借助万兆端口访问。

缺点：带宽不高，对深度学习的数据读取过程时间长(延迟大，两台机器之间数据交换)，成本还巨高。

2、CPU要求

当你在GPU上跑深度网络时，CPU进行的计算很少，但是CPU仍然需要处理以下事情：

（1）数据从存储系统调入到内存的解压计算。

（2）GPU计算前的数据预处理。

（3）在代码中写入并读取变量，执行指令如函数调用，创建小批量数据，启动到GPU的数据传输。

（4）GPU多卡并行计算前，每个核负责一块卡的所需要的数据并行切分处理和控制。

（5）增值几个变量、评估几个布尔表达式、在GPU或在编程里面调用几个函数——所有这些会取决于CPU核的频率，此时唯有提升CPU频率。

传统解决方式：CPU规格很随意，核数和频率没有任何要求。

3、GPU要求

如果你正在构建或升级你的深度学习系统，你最关心的应该也是GPU。GPU正是深度学习应用的核心要素——计算性能提升上，收获巨大。

主要任务：承担深度学习的数据建模计算、运行复杂算法。

传统架构：提供1~8块GPU。

4、内存要求

至少要和你的GPU显存存大小相同的内存。当然你也能用更小的内存工作，但是，你或许需要一步步转移数据。总而言之，如果钱够而且需要做很多预处理，就不必在内存瓶颈上兜转，浪费时间。

主要任务：存放预处理的数据，待GPU读取处理，中间结果存放。

深度学习需要强大的电脑算力，因此对电脑的硬件配置自然是超高的，那么现在普通的高算力电脑需要高配置硬件。

1、确保操作系统支持SLI。WindowsVista、7、8和Linux支持双卡SLI。三卡和四卡SLI在WindowsVista、7和8上支持，但不支持Linux。

2、检查现有组件。SLI需要一个具有多个PCI-Express插槽的主板，以及一个具有足够多显卡接口的电源。需要一个输出功率至少800瓦的电源。

3、获取SLI兼容的显卡。几乎所有近期的NVIDIA显卡都可以安装成SLI配置。至少需要两块相同型号和内存的卡才能安装成SLI。

4、安装显卡。将两块显卡安装到主板上的PCI-E插槽中。将显卡像正常的一样插入插槽中。注意不要弄断任何卡片，或以奇怪的角度插入显卡。插上显卡后，用螺丝将其固定在机箱上。

5、安装SLI桥接器。所有支持SLI的板卡都应该附带一个SLI桥接器。这个连接器连接到卡的顶部，并将卡与卡之间连接起来。这使得各卡之间可以直接对话。

6、打开电脑。安装好显卡，关闭机箱并重新启动电脑。在Windows或Linux加载后，不需要进行任何设置更改。

7、安装驱动程序。操作系统会自动检测到你的显卡，为它们安装驱动程序。需要为每块显卡分别安装驱动程序。

8、启用SLI。驱动程序安装完成后，在桌面上点击右键，选择NVIDIA控制面板。这将打开一个新窗口，允许你调整图形的设置。找到标有“配置SLI，Surround，Physx”的菜单选项。

9、打开SLI。单击左侧菜单中的”管理3D设置”链接。在全局设置下，向下滚动直到找到“SLI性能模式”条目。将设置从“SingleGPU”更改为“AlternateFrameRendering2”。这将为你的所有程序开启SLI模式。

10、启用帧/秒。这将根据你运行的游戏而有所不同，所以你需要查找你要测试的游戏的具体说明。每秒钟的帧数是一个计算能力的基准测试，可以显示出你的游戏渲染效果。大多数游戏发烧友在高设置下都会以每秒60帧为标准。

11、打开SLI视觉指示器。在NVIDIA控制面板中，打开“3D设置”菜单。启用“显示SLI视觉指示器”选项。这将在你的屏幕左侧创建一个条形显示。