小型渲染农场如何搭建?搭建软件有哪些?可以在什么平台?
渲染农场,是指一种专门用作渲染的计算机集群技术,它采用分布式计算的方式,将渲 染任务均衡的分配到集群的各个计算节点, 最终将渲染结果回收。 和用作高性能计算的超级 计算机比起来, 渲染农场的每个节点都是独立的, 一般情况下它只和文件服务器和任务调度 服务器等通信,
和其他计算节点不做通信。 而超级计算机则要求每个节点之间的网络带宽足 够大,延迟足够小,因为计算时各个计算节点之间将会频繁的通信。 渲染农场的技术,包括渲染农场架构的选择,硬件的选型,机房的装修,以及渲染农场 建立起来后的运维管理技术等等, 是一个系统复杂的过程。 而这里边最核心的则属于渲染集 群管理软件,它管理着整个渲染农场的核心硬件设备,整个系统的效率很大程度依赖于此。 渲染农场管理软件不仅仅管理硬件, 对运维中的各种问题也需提供技术支持, 例如计费系统 等。在当前,只有炫我科技拥有此类“运营版”的渲染集群管理软件。 如下就以炫我集群管理软件为例, 从硬件和软件环境两个方面介绍一下如何搭建运维一 个小型的渲染农场。
1.渲染农场的硬件环境 .
适合于小型集群的渲染农场架构如下图 1-1 所示,它拥有一台管理服务器;一台文件服 务器;若干台渲染节点;一台或者若干台任务提交(图形)工作站(可选) 。对于小规模的 集群而言,网络可以采用一个端口较多的全线速千兆以太网交换机。将管理服务器、文件服 务器和渲染节点都接入同一个交换机,例如使用一个 48 口的千兆交换机,可以支持大约 40 个计算节点的小型渲染农场。
如果预算较为紧张,不够买服务器,可以去 DIY 渲染农场的硬件。但是如果没有采取严 格的质量流程,DIY 硬件的稳定性是个问题。对于重要的服务器,例如管理服务器和文件服 务器,还是建议采用专门厂商的方案,他们的方案往往都是经过了严格测试,因此具有更高 的适用性。
11 选择设备的原则 111 渲染节点
一个渲染农场可以有几个渲染节点至几百个, 甚至上千个渲染节点。 每个渲染节点一般 为高计算密度的服务器。选择时主要考虑计算性能、价格,功耗和占用空间大小。例如制作 《阿凡达》的维塔工作室采用的是 HP 的高密度刀片服务器,每个机柜可以有 4 个机箱,每 个机箱有 16 个刀片,而每个高密度刀片是两个节点,每个节点都是双路的服务器,因此每 个机柜就可以拥有多大 41622=256 颗处理器。相当于 256 台 PC,但是占用空间相比非常 小。如果渲染每帧的时间不是很长,内存要求也不是很大,而且对空间没什么特别要求,则 可以采用 DIY 的 PC 来做渲染节点,通常情况下,一台 PC 能够安装 8G 内存,一颗处理器。 由于渲染任务都是 CPU 密集型任务,一般要选择最高端的主流处理器,而处理器的升级换 代非常快,因此当前最适合于渲染的 PC 配置也在不断的变化。为了淘出性价比最好的渲染 节点,除了自己钻研很多性能数据外,也可以咨询炫我科技。
112 文件服务器
渲染是计算密集型, 同时也是网络密集型的应用。 每个渲染节点需要从文件服务器上读 取场景、素材等文件,而后在本地渲染,渲染的结果也需要保存在文件服务器上。如果节点 规模很大,那对文件服务器的压力非常大。根据节点的规模,需要选择合适的文件服务器架 构,确保整个渲染农场可以高效率的工作。文件服务器的选择主要考虑的因素是稳定性、性 能和可扩展性。一般情况下文件服务器要采用 RAID 技术,来提高容错性和性能,同时采用 多口的服务器网卡,确保可以给渲染节点提供稳定可靠的带宽。
113 管理节点
此节点安装渲染农场管理软件的服务器, 例如炫我集群管理软件的服务器。 主要任务是 做任务分发等,是渲染农场的核心。渲染农场能否发挥效率,除了硬件配置需要平衡外,也 需要渲染农场管理软件的高效的管理。整个渲染农场的各种服务,例如计费等,全都由渲染 农场管理软件负责。此节点对性能要求不高,但是要求非常稳定。
114 图形工作站
要求 I/O 速度比较快,以便拷贝用户数据,并且将数据传递到文件服务器,提交任务和 监控任务。在企业内部,任何一台机器都可以用作此类用途。因此不一定需要再次采购。 在上述的 4 种设备中,管理节点和文件服务器,无论哪一个出现硬件故障,整个集群都 不能正常工作,因此要选择品牌服务器或者经过验证的 DIY 方案。
12 其他设备的选择
除了考虑上述的主要设备外, 还需要考虑是否要选用机柜或者开放式机架, 以及如何给
计算设备配电。 一般情况下,给计算设备的供电和给制冷、照明的供电是分开的。对于文件服务器和管 理节点,可以考虑有单独的 UPS。同时,需要考虑整个计算设备的电压稳定情况,如果不给 整个集群配备 UPS 电源,而且市电供电电压不稳定,则需要考虑配备稳压器,以确保渲染 集群可以稳定的工作。 另外,还需要考虑制冷等。计算设备需要有一个正常的工作温度和湿度。否则计算机设 备会出现各种工作异常情况。 一般情况下需要配置一台精密空调, 以确保机房在合适的工作 温度和湿度范围内。
2.渲染农场软件环境 .
当渲染农场所需要的硬件都基本就绪后, 就可以考虑安装软件了。 首先得规划一下是否 采用 DNS 和 DHCP 等。如果决定使用 DNS 和 DHCP,则可以在管理服务器上安装配置 DNS 或者 DHCP 服务器。如果已有 DNS 或者 DHCP 服务器,则不需要安装,使用原来的即可。一 般的有线或者无线路由器也具有 DHCP 服务器的功能。 一般情况下,对于渲染节点除了有机器名外,也配置静态的 IP 地址,以便在 DNS 服务 器失效的情况下,可以远程访问渲染节点。如果渲染农场的渲染节点配置完全一样时,可以 采取硬盘克隆的方式快速安装每个节点。 或者采用其他操作系统自动部署方案。 最简单的办 法就是一台一台的人工安装。 对于每一台渲染节点,都需要安装 64 位的操作系统,以便能够利用大内存。也同时需 要安装 64 位版本的渲染软件,例如 Maya 2009 64 位,或者 Mental Ray Standalone for Maya 等等。随后,需要在每台节点上安装炫我集群管理软件的渲染节点程序。对于 Windows 渲 染节点而言,炫我安装程序会自动启动远程桌面功能。由于授权的限制,用户在远程桌面的 环境下,是不能直接使用 Maya 的,而炫我节点程序则可以正常使用 Maya。如果用户有登 录到渲染节点手工使用 Maya 的需求,则需要考虑安装其他远程桌面软件以避开此类授权问 题,例如安装 VNC 和 DameWare 等软件。对于对外服务的渲染农场而言,渲染节点最好只 有一个 C 盘,因为动画/后期工作室等经常使用 D 盘,因此拿到渲染农场渲染时,如果渲染 节点本身有 D 盘的话,则操作相对很麻烦和耗时。渲染农场的最重要的是效率,保证机器 24 小时不间断的渲染才是重中之重。 在安装渲染节点的时候,也可以安装管理服务器。这两者没有前后依赖关系。可以先安 装炫我服务器后,然后逐台安装炫我节点,这样在每台节点安装后,都可以在管理控制台的 节点管理界面,看到新安装的渲染节点。 在安装完成后,需要准备好文件服务器。如果不是专用的文件服务器,而是一台服务器 或者 PC 作为服务器。那么需要在文件服务器上安装服务器操作系统例如 Windows Server 2003/2008 或者 Linux。一般不使用 Windows XP 等桌面客户端软件作为服务器,主要原因为 桌面操作系统对连接的个数有限制,例如 Windows XP 不能超过 10 个,如果渲染集群的渲 染节点个数很少,也可以采用 Windows XP 操作系统。文件服务器可以为 32 位操作系统。 如果使用了硬件 RAID 卡等, 还需要考虑 RAID 卡的驱动程序支持的操作系统类型。 炫我集群 管理软件完善的支持多种存储架构,例如单文件服务器多 IP 地址(避免带宽聚合导致的成 本增加,例如更昂贵的交换机等) ,多文件服务器等等。另外,对于用户 DIY 的文件服务器, 炫我提供了一种增加文件服务器可靠性的软件, 它能非常有效的增加渲染农场的可用性, 避 免文件服务器崩溃所带来的影响。 安装完上述软件后, 就可以参考炫我集群管理软件用户手册来渲染镜头了。 如下就三个
具体的事项进行了详细说明。
21 渲染节点安装
渲染节点安装程序需要使用系统管理员权限运行。 渲染节点程序的安装, 先选择安装界 面的语言,这里选择简体中文(Chinese(Simplified))界面。点击“OK”进入下一步。
进入许可证协议界面,按[PgDn]键或拖动滑块可以查看《软件授权使用协议》全文,点 击“我接受” ,可以进入下一步。
选择安装的组件,点击“下一步”可以进入选择安装位置界面。
选择安装文件夹, 一般情况下使用默认安装路径, 如果是在 Windows Vista 操作系统下, 请选择 Program Files 或者 Program Files (x86)以外的路径安装,以避免程序不能写盘的操作。
点击“下一步” ,出现了设置网络参数界面。
这个界面主要是设置渲染任务调度服务器的机器名和端口号, 并且设置渲染节点程序服 务端口。一般情况下只需要设置一下服务器 IP 地址即可。 继续单击“安装” ,开始安装。以下是安装完成的界面。
安装完成后, 渲染节点程序会自动运行, 并且主动连接到安装过程中设置的炫我服务器。
22 管理服务器安装
启动炫我服务器的安装程序后,先选择安装界面的语言,这里选择简体中文 (Chinese(Simplified))界面。点击“OK”进入下一步。
进入许可证协议界面,按[PgDn]键或拖动滑块可以查看《软件授权使用协议》全文,点 击“我接受” ,可以进入下一步。
选择安装的组件,点击“下一步”可以进入选择安装位置界面。
选择安装文件夹, 一般情况下使用默认安装路径, 如果是在 Windows Vista 操作系统下, 请选择 Program Files 或者 Program Files (x86)以外的路径安装,以避免程序不能写盘的操作。
点击“下一步” ,出现了设置服务器参数的界面。
这个界面主要是设置调度服务器的两个端口号,设置管理控制台 WEB 服务器的端口号 和数据库服务器的端口号。一般情况下采用默认设置,执行安装即可。如果与其它程序出现 端口冲突,则需要更具设计情况改变端口号的配置。 继续单击“安装” ,开始安装。以下是安装完成的界面。
23 文件服务器安装配置
所谓的文件服务器,在 Windows 下最简单那的理解就是共享文件夹。首先得启动 Windows 共享服务,随后设置好共享文件夹的权限等。
231 启动 Windows 共享服务
创建好一个用作 Windows 共享的文件夹例如 SceneShare 后,右键点击“共享和安全” , 选中“共享”选项卡。则可能出现三种情况,第一种为未启动共享服务,第二种情况为使用简单共享,第三种为非简单模式共享, 如果出现第一种情况,则该计算机不在网络上。请单击“网络安装向导”链接,然后根 据指令打开 Windows XP 的文件共享功能。打开共享功能后,可能默认为简单共享,用户可 以根据需要,转换为非简单模式。
简单模式允许任何计算机以匿名方式访问 Windows 共享,并且所有的访问者具有共同 的访问权限, 例如只读。 这种工作模式不能做详细的访问权限控制。 不推荐使用。 Windows 在 XP 下更改 Windows 共享工作模式的方式如下:打开“我的电脑” ,单击“工具”菜单选项, 依次选选“文件夹选项” ,选择“查看”页面,取消选择“使用简单文件共享”选项。
232 设置共享文件夹
以非简单模式为例,右键单击创建好的文件夹例如 SceneShare 后,点击“共享和安全” , 选中“共享”选项卡。出现所示的配置界面。共享名为此文件夹在网络共享中的 其他用户看到的名字。用户数限制,是指同时连接到此计算机的(包括其他共享、网络打印 机等)的最大连接个数,在 Windows XP 专业版中,最大值为 10,在 Windows XP 家庭版, 此值为 5。因此,如果企业内部的渲染节点以及连接到共享文件夹的工作站总数超过了 10, 则不能使用 Windows XP 专业版。单击“权限”按钮,可以细粒度 的设置用户访问此共享文件夹的权限。注意:一个用户要具有访问权限,首先在本地得有访 问权限,然后还得具有共享权限。
用的多算主流吧,目前用的多的属于机架式服务器。机架式服务器可以划分为品牌机和兼容机。
0条评论