吕天文
随着数据中心产品的科技进步，设计理念的日益翻新，数据中心的功率密度逐年加大。一般而言，高功率密度数据中心现在主要指每平米平均功率数大于2500W的数据中心，具体详细划分，如下表所示：
表1 数据中心密度与每平米功率关系
|
每平米功率
|
数据中心密度
|
|
400 W/m2以下
|
超低密度数据中心
|
|
400 - 900 W/m2
|
低密度数据中心
|
|
900 - 2500 W/m2
|
中、低密度数据中心
|
|
2500 - 6000 W/m2
|
中、高密度数据中心
|
|
6000 – 10000 W/m2
|
高密度数据中心
|
|
10000 W/m2
|
超高密度数据中心
|
数据来源：ICTresearch 2009，04
一、高密度数据中心的挑战
随着刀片式服务器的应用越来越普及，高密度数据中心的电源和制冷问题变得更加突出。目前，50%的数据中心的供电与制冷明显不足。以前，大多数用户首先考虑的是机房整体的制冷，认为机房整体的温度降到符合标准的水平，设备的温度也在安全范围之内，可以保证设备的安全、稳定运行。但是，由于机房中设备的密度不同，如果盲目给整个机房降温，会造成过度制冷，不仅浪费电力资源，还会增加额外支出。例如，如果设计不十分合理，数据中心无形中造成了能源的浪费，图1中的数据中心中心PUE值为3左右。
二、供电要求
1、电力供应规划
数据中心的电力供应规划应在满足目前使用供电容量要求的同时充分考虑远期业务发展的扩容需求。条件允许时应当采用双路不同变电站高压市电配置自备发电机供电的方式，每路高压市电电源、发电机备用电源均应能够承担数据中心内的全部负荷。数据中心的配电系统建设应充分考虑分期建设或后期逐步进行内部处理的特点，在设计时应考虑分步实施的可行性，避免后来的施工对前期投产环境产生不良影响。
2、应急电源
为保证市电中断时，数据中心关键设备的供电不中断，应自备发电机作为备用电源，自备发电机设备容量、数量应按实际负载量及种类计算配置。同时还要考虑预留柴油发电机组未来扩容的可能性。
3、低压配电系统
为了满足数据中心对供电系统的高可靠性要求，应采取必要的技术措施消除可能出现在UPS本身及输出端的各种故障隐患。行之有效的办法就是配置UPS“双总线输出”配送电系统。在变压器容量配置上考虑变压器负载100%冗余热备份，有条件时应考虑独立设置UPS专用变压器，同时考虑预留低压系统未来扩容的可能性。
考虑到经济性，系统的规划和设计应根据负载不同的用电安全等级合理配置UPS系统。先期应当考虑经济合理的冗余方式，后期根据实际需要最高可升级到2N并机双母线冗余（或更高安全等级）方式。
空调系统的供电应当采用独立双回路配电系统，同一区域内空调设备采用分组供电方式，避免大面积同时供电中断情况的发生，保证空调设备全年365x24小时运转。
4、防雷接地
1） 数据中心雷电防护应当符合《建筑物电子信息系统防雷设计规范》A级标准要求。应当具有完备的建筑避雷及引雷装置。良好的防雷接地可以使建筑免受雷电威胁，同时应进一步采取必要措施（如接地、室外控雷技术等）避免因雷电引发对数据及IT 系统的二次破坏或干扰。
2） 在变配电室低压母线上安装设置一级电涌保护器（SPD）；UPS输入配电柜、UPS输出总柜、数据中心机房空调配电总柜应安装二级电涌保护器；PDU内应安装三级电涌保护器；所有其它与室外有关的配电设备和线路均应安装一级电涌保护器。
3） 计算机系统接地，要求采用共用接地系统。若有特殊要求时可留有安全保护地、防静电接地、交流工作地（零线接地）、直流逻辑地以及防雷接地端子。接地装置的设计应满足接地电阻值小于1欧姆的要求。
数据中心机房空调系统的目标是保证数据中心机房环境的温度、湿度和洁净度符合相关规范标准要求，为数据中心机房设备提供一个可靠的运行环境，保证设备不间断地安全运行。同时保证数据中心机房的正压，防止外界未经处理的空气或有害气体的渗入、烟或混合物滞留数据中心机房内部等问题，还要满足数据中心工作人员日常办公的要求。
制冷的根本目的是把IT机架产生的热量有效的带走；气流组织的设计比制冷设备的选用更重要；为了解决高密度机架的制冷问题，采用机架制冷方案效果更好，可降低风扇运行功率，可防止冷、热气混合。具体参看图2。
图2 机架热空气遏制的气流示意图
|
机架制冷单元 |
|
IT机架
|
|
服务器
|
|
后部气
流遏制
|
|
前部气流遏制
|
|
机架制冷单元
|
1、冷源、末端及管路配置
1） 采用集中冷源时，如果存在分阶段增容的可能性，则在主管路上应考虑不停机泄水情况下增容施工的相应措施。
2） 采用集中冷源时，在数据中心机房内，冷冻水管道应采用环状管网，并且应根据系统冗余能力设置分段阀门便于检修和增容。
3） 当数据中心机房空调系统冷源采用集中冷源且管网投入运行后，除原设计已考虑预留的集中冷源、系统管网、末端装置的增容容量外，超出部分的增容应采用分散冷源的方式。
4） 系统应当考虑冗余设计，根据冷源、末端装置的具体情况采用不少于N+1的设备备用方式。
5） 数据中心机房空调机组的冷源及冷却方式一般可分为风冷、水冷、双冷源机组等。一般采用大风量小焓差设计，根据需要配置电加湿器和电加热器。
2、气流组织
1） 数据中心机房一般采用地板下送风上部回风的气流组织方式，其送风通道和回风通道均可在需要的位置开设风口。
2） 对于下送风方式一般采用架空地板作为送风静压箱，架空地板的高度应根据负荷密度和数据中心机房面积综合确定。
3） 地板送风口数量应能够保障每个服务器机架有足够的冷却风量，送风口位置应设置在服务器机架进风处，地板送风口风速应达到1.5~3.0m/s。按相关规定，送风温差应控制在6~10℃。
3、新风、消防排烟
1） 应当分别考虑数据中心各区域的洁净度要求，维持数据中心机房的正压，合理配置数据中心机房的新风系统。
2） 应当按照相应的消防规范考虑数据中心机房的防排烟系统和事故通风系统。根据规范设置相应的排烟分区和配置相应的防火阀。
3） 当采用气体灭火系统时，应在进出数据中心机房的风管上设置气体消防动作启动时能够自动关闭的隔断风阀。在外墙或适当的隔墙处应当设置能够防止围护结构因气体释放导致超压破坏的泄压装置。
四、用户的注意事项
对于高密度数据中心的用户注意事项，APC公司明确提到了以下几点：
1、为数据中心指定高于实际需要的高密度将会不必要地减少 IT 设备的可用空间。有效地规划密度并且只在需要时才部署高密度供电和制冷系统这两点是至关重要的。
2、最好的方法是按照行或区域安装供电和制冷分配设备，在该行或区域的工作生命周期内不再对其进行变更或重新配置。主要原因为：人为错误是造成数据中心停机的主要原因，而对运行中的设备进行修改是造成停机的主要因素。
3、在典型的设计中，行内的机架功率密度峰值/均值比应当大约为 2，如果行内的预期实际机架功率密度峰值/均值比大于 2，建议在机架间分散最大密度的 IT 负载来限制峰值/均值比，或将无关的负载重新分配到其他行。
4、需要在将来部署的数据中心行或区域进行规划时，应充分考虑在最坏情况下的最大密度值，并要求主要的电线和管线应当预先安装并支持此密度；但是对这些行的实际电源和制冷设备的选择应当延后到确定了部署密度和规划之后再进行。