高密度机房规划设计探讨
文/中国石油集团东方地球物理公司研究院 易良坤

      摘要：本文结合功率密度和制冷技术的变化，把高密度机房分为三个等级，其中第
一、二级为常规高密度机房，第三级为超常规高密度机房。文中提出用全模块化和能量逆
向法作为高密度机房规划的基本思路。把常规高密度机房垂直分成六层，给出送风层和回
风层高度与功率密度和送风距离的经验关系式。接着就机房节能进行整体性思考，并把机
房节能分成设施层、主机房层、主机设备层和业务层等共四个层次，并就机房节能的评估
做了初步分析。最后，本文还就常见的500平米标准高密度机房模块的规划设计以案例形式进行了探讨。

关键词：高密度机房、功率密度、规划设计、机房节能

      单机柜满配I B M P 5 9 5 、1 U 集群功耗均超过10KVA，满配刀片集群功耗接近40KVA。毫无疑问，计算机主机系统的高密度化必然推动计算机房的高密度化。目前，国内有的主机房功率密度已达到每平2KVA，正在规划和设计中的主机房已达到每平米5KVA以上。高密度、超高密度机房的规划、设计、改造提上日程。

一、高密度机房分级
根据功率密度、制冷方式的差异，以主机房每平米视载功率为主要依据，结合机柜制冷方式的技术变革，可以把高密度机房分成一、二、三等共三个等级，分类标准详见表1。

一级高密度机房单机柜最高功耗为10KVA，在常规制冷技术的基础上，采取初级的冷热通道分离等措施，即可满足设备散热要求；二级高密度机房单机柜最高功耗为20KVA，在制冷方式上要采取较为严格的冷热通道分离、提高环境温湿度、加装制冷风帽、辅助气流组织等措施，才能满足设备的散热要求；三级高密度机房单机柜最高功耗在20KVA以上，需要采用冷冻水机柜、芯片制冷等特殊措施，才能满足机器设备的散热要求。因此，第一、二级高密度机房可以称为“常规高密度机房”，第三级高密度机房可称为“超常规高密度机房”。

二、高密度机房规划思路
      围绕机房的规划与设计标准，我国国家标准有《电子信息系统机房设计规范》GB50174-2008及相关的设计图集和施工验收规范，国外有美国电信产业协会和美国标准学会共同颁布的《数据中心电信基础设施标准》TIA942-2005。美国暖通空调工程师协会组建9.9技术委员会(简称: ASHREA TC9.9)，就数据通讯基础设施有关的热工、用电、设计思路、流体制冷、结构与抗震、节能、高密度数据中心、颗粒与气体污染物等进行系统研究，先后出版了八本专著。

      大型高密度机房的规划，个人认为要采用“全模块化”的设计思路进行规划，按照功率密度即能量进行逆向设计。全模块化要综合考虑业务需求、功率密度、供配电、制冷、建筑平面、综合布线等因素，按照业务需求及相关性、设备功耗、可用性级别进行归并，然后设计成不同用途的机房模块(参见表2.大型高密度机房模块规划示范表)；供配电从变电站开始，进行模块化按序列编组，相邻模块的配电系统编排到不同组别，互为备用(参见图5)；在系统级，供配电、制冷、综合布线等要参照国家标准A级机房进行规划设计，如供配电要采用一级双回路市电，配备一定量的自备柴油发电机，制冷要采用环路系统等(参见图6)。具体单个模块的可用级别，可以按国家标准A级、B级、C级甚至低于C级进行考虑。

      计算机房建筑承重，国家标准、TIA942和ASHREATC9.9均给出了一些标准或参考。但对常规高密度机房，建议建筑承重要达到每平米1000－1500Kg，对超常规高密度机房，建筑承重要达到每平米1500-2000Kg。结构强度增加对项目总费用增加影响不大，但结构强度设计的不足，对后期机房的适应性和扩展性具有致命影响。我接触的不少机房改造，不少都受到承重不足的影响。
对大型高密度机房而言，采用自备柴油发电机对所有设施提供第三路应急供电是不现实的，其总用电容量可能超过一个小型电站的发电能力。根据业务需要和可用性要求进行的模块化设计，合理配备一定量的自备柴油发电机，就显得非常重要。

三、常规高密度机房垂直分层
      图1给出了常规高密度机房的垂直分层模型。该模型使用下送风、上回风制冷风方式，从下到上分别为送风层、机柜设备层、柜顶布线层、桥架布线层、回风层和消防保护层共六层。19英寸42U工业标准机柜的高度为2米；柜顶布线层用于计算集群内部或业务集群内部综合布线和强电连接，具有一个强电槽和两个弱电槽，分别用于集群内业务交换和设备管理；桥架布线层包括靠近冷通道的强电桥架和靠近热通道的多层弱电桥架，弱电桥架一般包括设备管理、业务交换、光纤数据通道三种类型的桥架，该层高度一般为60厘米；消防保护层用于部署消防报警和自动灭火系统，高度为30厘米。

高度的计算公式：
送风层(mm)≈300+0.6*功率密度(w/m2)*送风距离(米)/18 (1)
回风层(mm)≈送风层*1.4 (2)
回风层比送风层高的主要原因是回风是负压形式，送风是正压箱形式，同样的风量回风需要更高的空间。如果完全隔离冷热通道，(2)式的系数可下调到1.2甚至更低。需要特别说明的是，(1)和(2)给出的公式为经验关系式，并没有经过精确的理论计算，需要在实践中进一步检验。
根据公式(1)，可计算出地板送风高度与送风距离和功率密度的速查表，详见表3。

四、机房节能
      对于机房节能，个人认为可以分为设施层、主机房层、主机设备层和业务层等共四个层次，这四个方面的有效工作均可以在机房节能中产生一定的效果。设施层节能要素主要有建筑保温、高效供配电系统、高效制冷系统、高效UPS系统等，这些均是提高机房能效比(PUE值)的重要部分。图2给出了平均PUE为2.17的12个被测数据中心的平均电力分配，可见制冷系统、UPS系统、照明及其它设施的电力总消耗超过服务器自身的电力消耗。如在我国北方地区采用自由节能的冷冻水空调机组、水冷却系统、双冷源精密空调等，南方地区使用河道、湖泊进行热交换，可以提高制冷系统效率。使用转换效率高的UPS系统，特别是低负载时转换效率较高高的UPS，对A级机房节能具有较明显的效果。

(参见ASHREA TC9.9专著：Best Practices forDatacom Facility Energy Efficiency)主机房层节能主要有高效气流组织、能满足设备散热要求的最佳温湿度环境。在高效气流组织方面，ASHREA TC9.9建议采用冷热通道分离的布局，冷通道间距为7块标准地板。为实现更好的气流组织，也可以对冷通道或热通道做完全的封闭。热通道要避开建筑横梁的影响，冷通道可设在建筑横梁的正下方。为提高工作人员环境的舒适性，提高热通道的传输效率，建议通过在冷通道顶部加装阻燃玻璃盖层、两侧安装阻燃百叶竖条(便于工作人员应急逃生)即可。为进一步提高主机房的热交换效率，ASHREA TC9.9推荐调整主机房的干球温度和湿度。2008年推荐环境温度为18－27℃，湿度为5.5℃的露点－69%相对湿度或15℃的露点。在推荐范围内，设定的冷通道环境温度越高，空调交换效率就越高，越节能。

      主机设备层节能因素主要有配置高效服务器电源、使用调速风扇、减少无关器件、具备休眠与唤醒等。使用高效服务器电源可降低UPS后端电力谐波，提高功率因素；可提高交－直转换效率，降低电源自身消耗和发热。使用调速风扇可降低服务器轻负载时风扇的功耗。具备休眠与唤醒功能的服务器，可在服务器无业务时自动进入休眠状态，大大降低服务器功耗和制冷系统功耗。
      业务层就是围绕节能，IT人员主动从事的业务迁移与调度。对于可迁移的业务，特别是具有全球性业务的机房，可根据时差进行有规律的业务迁移，以节约能耗。对于季节性、时效性较强的业务，可以通过合理调度，启用、关停服务器设备甚至机房模块以实现节能。评价一个机房节能，可以有不同的标准。如果不考虑主机设备层和业务层的节能，可以使用PUE的方法来度量机房的节能状况；如果包括主机设备层的节能，可以采用如MFlops/W的标准来度量机房的节能状况；如再包括业务层节能，可以采用产值/MWH来度量机房的节能。
      由于业务需求不同，大型高密度机房不同模块之间的可用性级别可能存在差异，导致其支持设备配置存在S规划设计OLUTION METHODS2010年05月· 23 ·机房技术与管理显著差异；不同地区、不同季节、不同天气的瞬时PUE因气候原因可存在差异的；一些利于提高PUE的技术如自由空气节能具有明显的季节特性。以上原因，使得以月、日甚至分钟为单位测量的PUE值测量结果难以用于整体评估一个机房的节能情况。为更精确评估机房节能效果，建议以年度为单位、按可用性等级分别给予评价。考虑到水资源、气候因素的影响，可研究制订全国的自由空气节能和水冷却系统图，给全国的机房建设提供指导。

五、高密度机房规划案例
      用户需求为按照模块化设计，每个模块功率密度为每平米2KVA，按照“整体B级、局部高可用”的原则进行规划布局。局部高可用的涵义是指B级模块内的存储、核心交换系统在供电保障上按照A级进行设计。结合建筑平面布局，假定模块尺寸为25米*2米，为避免局部过载的影响，建筑承重要求达到每平米1500Kg。标准模块可以有如下两种布局方式：

      A方案需要采用严格的冷热通道分离措施，B方案冷热通道没有严格分离，在空调附近不可避免存在冷热通道混合的问题。

      根据表3送风高度与送风距离和功率密度关系速查表，功率密度为每平米2KVA，送风距离为9米(已扣减空调维护空间)，由该表查得送风层高度为900mm，由此，回风层高度为136mm，加上机柜高度、柜顶布线系统、桥架层和消防系统，楼板下净高为5.36米，折合层高约为5.6米。

      图5为模块化供配电系统逻辑图，该连接能够对不同层级的供配电故障，可以在0.4KV、10KV、35KV以上等级相应做出供配电切换，能够对模块内的存储、核心交换等设备提供双路UPS供电。图6为环状冷冻水循环系统，通过该设计能够为机房冷冻水末端提供系统级的1+1冗余水循环保障。

六、结束语
      常规高密度机房的规划与设计正处于快速发展阶段，目前已接近成熟，但仍然还有一些具体技术需要解决，如常规高密度机房的应急系统设计与应急管理，在目前还不完善、不系统。超常规高密度机房的规划与设计，目前面临的技术难题还较多。低能耗、低排放、高密度、适度可用性是高密度机房规划设计中需要进一步研究的课题