8卡gpu服务器功率要求

GPU服务器，就是有专用显卡的服务器，一般多用于超级算力，图形计算，或者说IPFS挖矿等，一般来说，GPU服务器多为4U的服务器。根据GPU的数量不同，该服务器的功率也是不一样的。

一块GPU卡一般耗电350W，一般4U的服务器最大可以支持8块GPU卡，通常业内多称之为8卡GPU服务器，当然也有4卡，6卡的。如果装满8卡GPU，那么其耗电在2800瓦，差不多就是 13A电力。一般常规的机房机柜标准配电是13A起步 （也有按10A起步的）

如果是放在13A电力的机柜里，那么一台4U 8卡的GPU服务器就得占用一个机柜，所以这个时候，如果客户机器数量比较多的话，就租用高电机柜比较合算，不然一台占一个机柜，机柜空间就大大的浪费了。

一般来说，不计算用电的情况下，一个4U的机柜的机柜费是根据 一个机柜的总成本除8得出来的（因为一个42U的机柜 空间上可以放8台4U服务器）。比如说我们国门机房 1个机柜 42U ，13A电力一个月是4000元，除8等于500元。也就是说正常在国门机房，如果1个4U的机位，在用电不超过13除以8也就是1625A的情况下，只需要500元的机位费。 当然这个是理论值，一般来说4U的机器，耗电量正常的都要在25A左右，如果是GPU专业服务器，常见耗电在5A左右，也有一台耗电量在13，或25或32A等不同档次的。

所以说咱们在托管GPU服务器的时候，一定要确定机器的耗电量是多少，然后再看是整租个普通机柜，还是租用高电机柜 放多台GPU服务器。

主要是看运行什么软件和数据量，训练数值大小，这里要强调一下，数值大小和数据量是不一样的。

深度学习服务器的核心部件还是CPU、硬盘、内存、GPU，特别是很多深度学习依靠GPU的大规模数据处理能力，这就要强调CPU的计算能力和数量，同时不同的数据对GPU的显存要求也不一样。

当下大部分都在用RTX3090做深度学习，最新RTX4090已经上市，单精度计算能力是RTX3090的2倍，这两个GPU都是24G显存；像A100强调双精度计算能力，显存有40G和80G两个版本，而A6000单精度计算能和RTX3090差不多，显存是48G，可以参考选择。

当然，最重要的还是口袋里的银子，A6000市场价大概是RTX的2倍还要多，A100最近更是要上十万了，估计也快买不到了，价高缺货；RTX3090/4090的价位低，性价比高，这也是为什么大部分人都选择它们做深度学习了，这是市场的选择。

只要服务器中有PCI-E X16的总线，就可以安装。

但GPU加速必须受到软件的支持，而且只对可以并行化的运算进行加速。另外，Nvidia显卡需要使用CUDA编程来实现加速功能，不是插上就能用的，AMD则需要Stream。一般都是用作高性能计算（HPC）的辅助计算加速卡，对于商务应用来说，没什么实际作用。不建议安装。

CPU：

首先确认您的模型是否需要CPU的计算力

深度学习训练，4GPU主流配置10核CPU，8GPU建议配置12核以上

内存：

显存的总和再加32G基本能满足需求（如4卡3090显存总和为96G，加32G等于128G）

硬盘：

机械盘不能满足大部分模型数据读取，推荐480G SSD做为系统盘，热数据用SSD存储，冷数据用机械盘

GPU：

Geforce系列可用于深度学习，Tesla系列 深度学习 高性能计算，Quadro系列绘图渲染

选择GPU服务器的配置不同、性能不同，价格自然不一样，你可以去官网了解一下

GPU服务器是基于GPU的应用于视频编解码、深度学习、科学计算等多种场景的快速、稳定、弹性的计算服务。

作用是：出色的图形处理能力和高性能计算能力提供极致计算性能，有效解放计算压力，提升产品的计算处理效率与竞争力。

采用2颗至强E5-2600V3系列处理器，内存采用128GB/256GB DDR4 2133/2400MHZ,系统硬盘采用2块512G SSD固态硬盘，数据硬盘采用3块25寸2T企业级硬盘，或者3块35寸 4T企业级硬盘，平台采用支持两GPU服务器（LZ-743GR），四GPU服务器(LZ-748GT)，八GPU服务器(LZ-4028GR)。

深度学习是需要配置专门的GPU服务器的:

深度学习的电脑配置要求：

1、数据存储要求

在一些深度学习案例中，数据存储会成为明显的瓶颈。做深度学习首先需要一个好的存储系统，将历史资料保存起来。

主要任务：历史数据存储，如：文字、图像、声音、视频、数据库等。

数据容量：提供足够高的存储能力。

读写带宽：多硬盘并行读写架构提高数据读写带宽。

接口：高带宽，同时延迟低。

传统解决方式：专门的存储服务器，借助万兆端口访问。

缺点：带宽不高，对深度学习的数据读取过程时间长(延迟大，两台机器之间数据交换)，成本还巨高。

2、CPU要求

当你在GPU上跑深度网络时，CPU进行的计算很少，但是CPU仍然需要处理以下事情：

（1）数据从存储系统调入到内存的解压计算。

（2）GPU计算前的数据预处理。

（3）在代码中写入并读取变量，执行指令如函数调用，创建小批量数据，启动到GPU的数据传输。

（4）GPU多卡并行计算前，每个核负责一块卡的所需要的数据并行切分处理和控制。

（5）增值几个变量、评估几个布尔表达式、在GPU或在编程里面调用几个函数——所有这些会取决于CPU核的频率，此时唯有提升CPU频率。

传统解决方式：CPU规格很随意，核数和频率没有任何要求。

3、GPU要求

如果你正在构建或升级你的深度学习系统，你最关心的应该也是GPU。GPU正是深度学习应用的核心要素——计算性能提升上，收获巨大。

主要任务：承担深度学习的数据建模计算、运行复杂算法。

传统架构：提供1~8块GPU。

4、内存要求

至少要和你的GPU显存存大小相同的内存。当然你也能用更小的内存工作，但是，你或许需要一步步转移数据。总而言之，如果钱够而且需要做很多预处理，就不必在内存瓶颈上兜转，浪费时间。

主要任务：存放预处理的数据，待GPU读取处理，中间结果存放。

深度学习需要强大的电脑算力，因此对电脑的硬件配置自然是超高的，那么现在普通的高算力电脑需要高配置硬件。

GPU服务器的主要应用场景有海量计算处理，超强的计算功能可应用与海量数据处理方面的运算，如搜索、大数据推荐、智能输入法等，可能原本需要几天才能完成的数据量，用GPU服务器在几个小时就完成了；GPU服务器还可以作为深度学习训练平台，可直接加速计算服务，亦可直接与外界连接通信等等。思腾合力在GPU服务器的型号方面还是有很多选择的，有自主研发的品牌也有英伟达的，在选择方面还是比较多的，应用的场景也十分广泛。