數據中心機房供電配電及能效管理系統(tǒng)設計

安科瑞電氣股份有限公司 201801

本文部分內容引用微信公眾號：數據中心運維管理，《淺談數據中心機房供電配電系統(tǒng)設計》

摘要：現(xiàn)代的數據中心中都包括大量的計算機，對于這種場所的電力供應，都要求供電系統(tǒng)需要在所有的時間都有效，這就不同于一般建筑的供配電系統(tǒng)，它是一個交叉的系統(tǒng)，涉及到市電供電、防雷接地、防靜電、UPS不間斷供電、柴油發(fā)電機等，每個系統(tǒng)互相交叉，互有影響，這就使我們在設計時需要考慮多方面的因素。本文從數據中心的高壓供電系統(tǒng)到末端精密配電系統(tǒng)介紹數據中心供配電及能效管理系統(tǒng)的設計。

系統(tǒng)概述

現(xiàn)代的數據中心機房中都包括大量的計算機，對于這種場所的電力供應，都要求供電系統(tǒng)需要在所有的時間都有效，擴容容易，維護簡便，容錯力強，*重要的是性價比高。數據中心機房是現(xiàn)代信息化建設的基礎工程，為各個業(yè)務提供穩(wěn)定、安全的工作環(huán)境，而機房的供配電系統(tǒng)就是這基礎工程的心臟和大動脈，供配電系統(tǒng)的穩(wěn)定，能夠保障其它系統(tǒng)發(fā)揮作用和核心業(yè)務正常運行。系統(tǒng)不同于一般建筑的供配電系統(tǒng)，它是一個交叉的系統(tǒng)，涉及到市電供電、防雷接地、防靜電、UPS不間斷供電、柴油發(fā)電機等，各個系統(tǒng)互相交叉，互有影響，這就使我們在設計時需要考慮多方面的因素。

設計標準

數據中心有專門的設計標準，數據中心電信基礎標TIA-942《數據中心電信基礎設施標準》，是2005年4月由美國電信產業(yè)協(xié)會(TIA)、TIA技術工程委員會(TR42)和美國國家標準學會(ANSI)批準的。國內的相關規(guī)范和標準也是綜合國外標準以及國內數據中心建設發(fā)展情況做出的，數據中心設計規(guī)范GB50174—2008《電子信息系統(tǒng)機房設計規(guī)范》也于2008年l1月12日發(fā)布，2009年6月1日開始實施。

設計一個數據中心首先需要根據用戶重要性和業(yè)主對數據中心可靠性、安全性等的具體需求，確定機房等級．再按照相應等級確定適合的供配電系統(tǒng)。國內的數據中心首先需要滿足國內規(guī)范的要求。GB 50174—2008中關于數據中心的分級規(guī)定如下：電子信息系統(tǒng)機房應劃分為A、B、C三級。設計時應根據機房的使用性質、管理要求及其在經濟和社會中的重要性質確定所屬級別。

設計原則

數據中心供配電系統(tǒng)設計應執(zhí)行或參照執(zhí)行國家和行業(yè)相關標準、規(guī)范，并可參考國外相關標準、規(guī)范，結合考慮數據中心用電負荷密度高、供電可靠性要求高等特性采取適當的技術措施。同時，應滿足項目建設單位的企業(yè)標準、規(guī)范的要求。

數據中心供配電系統(tǒng)設計應遵循分區(qū)、分級的原則，同一功能區(qū)域內的各類設備的供電可靠性，應能保證所有設備能夠按照該區(qū)域標準的要求運行，并將供配電系統(tǒng)局部故障的影響面控制在盡可能小的范圍。

數據中心用電負荷密度高、總量大，其供配電系統(tǒng)設計中應充分運用成熟有效的節(jié)能措施，降低供配電系統(tǒng)的損耗。

數據中心機房供配電系統(tǒng)需求分析

隨著信息技術的迅速發(fā)展和互聯(lián)網的普及，社會各界對信息系統(tǒng)的應用越來越廣泛，信息和數據量呈幾何級增長，由此對數據中心的需求日益增加，對數據中心的要求也不斷提高，信息設備功能越來越強，功率密度越來越高。數據中心設備機柜用電負荷由以前的2kVA/臺，提高到3kVA/臺、4kVA/臺，甚至更高。機房單位面積的平均用電負荷也由1kVA每平方，提高到1.5kVA每平方、2kVA每平方，甚至更高。

數據中心用電負荷的統(tǒng)計應分為兩個層次，即：UPS供電系統(tǒng)負荷(輸出)和市電供電系統(tǒng)負荷。市電供電系統(tǒng)負荷(輸出)的統(tǒng)計主要包括：UPS供電系統(tǒng)(輸入)、機房精密空調系統(tǒng)、機房照明及建筑電氣設備等。UPS供電系統(tǒng)負荷(輸入)＝供電負荷+充電負荷。機房精密空調系統(tǒng)負荷＝N臺主用空調機組額定負荷容量×負荷率。UPS供電系統(tǒng)負荷(輸出)的統(tǒng)計主要包括：計算機設備、服務器、存儲、網絡設備、小型機等，在負荷設備明確時，按設備數據統(tǒng)計，具體負荷設備不明確時，按設備機柜平均負荷統(tǒng)計。設備機柜數量也不明確時，可按機房面積平均負荷估計。

在發(fā)熱量較大的情況下，如果柴油發(fā)電機未能及時啟動而導致精密空調失電停止工作超過3分鐘，機柜內服務器溫度將會急劇升高而宕機，因此在可靠性要求比較高的情況下精密空調也可由UPS提供不間斷電源，在柴油發(fā)電機啟動前利用剩余冷凍水繼續(xù)保持機柜氣流循環(huán)散熱，直到發(fā)電機全部啟動。

數據中心機房供配電系統(tǒng)設計

5.1 供配電系統(tǒng)的布置 

數據中心機房供配電系統(tǒng)主要設備有：UPS、電池、配電柜和柴油發(fā)電機等。這些設備單位占地面積、重量大，對于這些設備的擺放位置既要考慮功能上的需求，又要考慮空間和承重的需要，還要考慮對外界的危害。

數據中心機房供電系統(tǒng)應有獨立的配電間、變配電所，UPS 電源機房應靠近設備機房(負荷中心)布置，這樣能保證從UPS輸出到用電設備之間的壓降和損耗盡可能的小。UPS 電源主機、配電柜與蓄電池組是否需要分隔，按照數據中心等級的要求決定，另外還需要考慮到UPS屬于大型設備，重量比較大，噪聲大，需要擺放在一個承重比較好，并且不影響辦公和休息環(huán)境的地方。配電柜位置的選擇，主要考慮功能上的需求，配電柜應在滿足功能分區(qū)的基礎上，盡可能靠近供電負載。發(fā)電機房宜設置在地面一層，當發(fā)電機房設置于地下層時，應特別注意進、出風通道能否滿足要求，應注意發(fā)電機組儲油裝置（日用油箱、儲油罐）的消防要求。

變配電所、發(fā)電機房、UPS電源機房均應留有足夠的面積，可與設備機房同步發(fā)展，應對設備機房面積擴展或設備機房功率密度上升引起的供電需求。于非專門設計用于數據中心的建筑，應注意其是否滿足設備安裝和線路敷設的要求，包括樓面荷載、凈高、抗震等級、耐火等級等方面。

下圖為典型數據中心的供配電系統(tǒng)示意圖，采用雙路110kV進線，配置10kV柴油發(fā)電機作為自備應急電源，UPS采用冗余供電方式，末端精密配電柜和精密空調均采用UPS供電，提高數據中心運行穩(wěn)定性，見圖1。

圖1 數據中心典型供配電系統(tǒng)示意圖

5.2 供配電系統(tǒng)設計 
5.2.1 市電動力配電系統(tǒng)設計

為了提高數據中心供電可靠性，減少電網故障的干擾，大型數據中心一般采用110kV甚至更高電壓等級市電電源，根據當地供電條件確定。市電動力配電主要用于供給機房精密空調設備、普通照明和給排風、維修插座、一般動力、UPS設備等。市電動力配電一般由大樓總配電柜饋出的動力供配電系統(tǒng)，采用50Hz交電，380/220V三相五線電源，TN-S接地方式，零線和地線分開設置且零地線之間電壓小于1V。

一般可靠性要求數據中心宜引入兩路市電電源，條件受限制時也可引入一路市電電源。引入兩路市電電源時，宜為冗余關系，也可作為供電容量擴展關系。

每一路市電電源的供電容量應能滿足全部一、二級負荷的需求，包括UPS電源系統(tǒng)、機房精密空調、機房照明、蓄電池充電及建筑設備中的一、二級負荷。兩路市電電源的供電容量應為全冗余，正常時應同時供電運行，兩路電源在負荷設備輸入端自動切換。

圖2 110kV變電站或10kV開閉所保護測控裝置配置示意圖

市電動力配電柜一般采用放射式配電直接配至各用電設備或電箱，機房內所有動力配電線纜需要設計橋架或鋼管敷設，市電動力配電柜具有火警聯(lián)動保護功能，出現(xiàn)火警時可與消防系統(tǒng)聯(lián)動及時切斷電源，動力配電柜、照明箱內的開關和主要元器件應設置有效的防雷措施。

表1 110/10kV變電站和10kV開閉所、變電所保護測控裝置選型表

圖3 0.4kV配電柜測控裝置配置示意圖

表2 0.4kV配電柜測控裝置選型表

5.2.2自備應急電源系統(tǒng)設計  

數據中心一般采用柴油發(fā)電機組作為自備應急電源，對于大型、高等級數據中心也可以選擇可靠性高、輸出電源品質好、帶非線性負載能力強、體積小、重量輕的大功率燃氣輪機發(fā)電機組。一般可靠性要求的數據中心宜配置一路自備應急電源，供電容量應能滿足全部一、二級負荷的需求，包括UPS電源系統(tǒng)、機房空調、機房照明、蓄電池充電及建筑設備中的一、二級負荷。當數據中心條件受限制，且市電電源具有較高可靠性時，也可以部分或全部采用移動式發(fā)電機組作為自備應急電源。發(fā)電機組燃料儲備量應根據數據中心等級的要求，結合市電電源可靠性、供油可靠性、消防要求綜合決定，一般不宜少于發(fā)電機組滿負荷運行8小時的用油量。

圖4 10kV柴油發(fā)電機室保護測控裝置配置示意圖

表3 10kV柴油發(fā)電機保護測控裝置選型表

5.2.3 UPS供配電系統(tǒng)設計  
　　UPS配電主要用于計算機設備、服務器、小型機、存儲、網絡設備、保安監(jiān)控設備等。UPS 電源系統(tǒng)輸出一般采用三級配電方式：系統(tǒng)輸出配電柜－機房配電柜－機柜配電單元。

UPS電源系統(tǒng)蓄電池組容量的計算方法有以下兩種：

(1) 按負荷電流計算；

(2) 按負荷功率計算；

按負荷電流計算的結果是蓄電池組的總容量，然后再選擇單組蓄電池的容量和組數。按負荷功率計算的結果是選定容量規(guī)格的蓄電池組數。兩種計算方法的結果可互相校驗。

對于單電源輸入設備，即使已采用雙單元冗余UPS 電源系統(tǒng)，也宜將其連接在其中一個單元上。對于雙單元冗余UPS電源系統(tǒng)，可將其每個單元中的部分容量視為并聯(lián)冗余性質。對于需要雙回路供電的單電源輸入設備，宜在其輸入端設置靜態(tài)轉換開關STS。靜態(tài)轉換開關STS 的性能應能滿足其要求，一般轉換時間小于5～10ms。

當負荷設備對零－地電壓要求較高時，可在機房配電柜設置隔離變壓器。有時候為保證UPS故障旁路后輸出高質量電源，往往在UPS旁路輸出端設置隔離變壓器。

數據中心UPS供配電系統(tǒng)一般采用冗余方式供電，很少采用單機供電。冗余方式供電能在一臺UPS設備故障時，仍然能夠滿足機房內重要設備的用電需求，這是單機供電所不能達到的。從冗余式配置方案來看，常用的有以下幾種方式：

熱備份式冗余UPS供電方式 

主機帶負載，備機空載或帶非重要負載，備機接入主機的BYPASS(旁路)輸入端。這種方式布置比較靈活，不需要兩臺UPS同品牌，而且不要增加額外輔助電路，不增加購置成本。如果UPS主機發(fā)生了故障，那么UPS備機需要接替全部負載，這也就意味著設計時需要計算好UPS主機故障時，UPS備機所需承擔的總負載。此方式的缺陷在于UPS備機得具有階躍性負載承載能力，無法對電源系統(tǒng)進行擴容，兩臺容量不同的UPS相聯(lián)，只能按*小的UPS容量輸出。

直接并機冗余UPS供電方式 

為克服熱備份式冗余供電系統(tǒng)的弱點，隨著UPS控制技術的進步，具有相同額定輸出功率的UPS可直接并聯(lián)而形成冗余供電系統(tǒng)，為保證高質量的并機系統(tǒng)，各電源間需要保持同頻、同相、且各機均流。此供電方式瞬間過載能力強，能夠自動均分功率，系統(tǒng)互為主備，提高供電可靠性，電源系統(tǒng)擴容方便。但是存在著環(huán)流，增加無功損耗，降低系統(tǒng)可靠性，需增加額外輔助電路，隨之而來是增加成本，增加故障點。設計時，如2臺互備，每臺按照50%帶載能力考慮，并聯(lián)的主機越多，單臺主機的帶載能力就越低。

雙總線冗余供電方式 

雙總線供電方式是采用兩條總線對后端設備進行供電，每條總線上具有相同的一套UPS供電方式，消除可能出現(xiàn)在UPS輸出端與*終用戶負載端之間的“單點瓶頸"故障隱患，以提高輸出電源供電系統(tǒng)的“容錯"功能。此供電方式能夠在線維護，在線擴容，在線升級，改善了重要總線的可用性，滿足了雙電源用電設備的需求，真正實現(xiàn)了7×24×365運行的目標。但是雙總線冗余供電方式相當于搭建了兩套前述供電方式的回路，需要增加2倍以上的成本。同時，為滿足單電源設備的供電需求，可在輸出端安裝STS，來保證供電輸出的可靠性。　　

UPS供電系統(tǒng)是滿足數據中心供電可靠性的核心部分，而蓄電池又是整個系統(tǒng)中*重要的組成之一，是整個供電系統(tǒng)的“*后一道屏障"。當組串中的一只電池因過充、過放等原因造成電池性能下降，電池內阻增大，會導致電池出現(xiàn)發(fā)熱、鼓包等現(xiàn)象，將造成供電系統(tǒng)安全性的整體下降，同時增加蓄電池充放電的損耗。

圖5 數據中心UPS和蓄電池監(jiān)測配置示意圖

表4 數據中心蓄電池監(jiān)測選型表

5.3 末端配電系統(tǒng)

機房UPS、精密空調電源系統(tǒng)輸入應設置專用的輸入配電柜。電源系統(tǒng)輸入配電柜應引接兩路電源、自動切換。UPS 電源主機的主電源和旁路電源應分別引入，并宜由不同的輸入配電柜引接。UPS電源系統(tǒng)輸出應采用放射式、雙回路配電方式。UPS 電源系統(tǒng)輸出應采用三相配電，末端分相，以利三相平衡。

機房配電柜、UPS電源柜落地安裝，動力配電箱、照明配電箱底邊距地1.4m墻上暗裝，配電柜及其他電氣裝置的底座應與建筑樓地面牢靠固定，并接地，機房內應分別設置維修和測試用插座，且有明顯區(qū)別標志，測試用電源插座應由UPS供電，維修插座由市電供電。所有線路的敷設是要以設備布局和設計圖紙為基礎進行，設計時考慮供電距離盡量短，機房內的電源線、信號線和通信線應分別鋪設，不能共走同一線槽，UPS電源配電箱(柜)引出的配電線路，穿鍍鋅鋼管，沿機房活動地板下敷設至各排網絡或服務器機柜，使用插座或工業(yè)連接器為機柜供電。

5.3.1 精密配電柜

精密配電柜是為數據中心的設備機柜提供電源的末端配電設備，一般采用雙回路供電，電源分別來自兩臺冗余的UPS，分為交流和直流供電，一般放置在機柜陣列的兩端，也稱列頭柜，如圖6所示。

圖6 ANDPF精密配電柜

安科瑞精密配電監(jiān)控解決方案針對精密配電柜監(jiān)控數字化要求，方案包括交流（AC220V）、直流（DC-48V/240V/336V）系統(tǒng)。由觸摸式液晶顯示屏、綜合信息處理主機模塊、開關狀態(tài)采集模塊、電流互感器(交流)或霍爾傳感器(直流)采集單元模塊等組成。監(jiān)測兩路主進線和A+B雙面饋線回路電量參數、開關狀態(tài)、諧波含量、柜內溫濕度等數據，可以在本地觸摸屏顯示，同時可以上傳AcrelEMS-IDC數據中心能效管理系統(tǒng)顯示和報警。產品方案見表5。

表5 精密配電柜數字化方案產品選型

5.3.2 智慧母線槽

近年來隨著數據中心建設的快速發(fā)展，智能母線槽的方案運用越來越多。相比傳統(tǒng)精密配電柜，數據中心母線槽架空鋪設，具有安裝檢修方便、不占地、散熱快、易增容等優(yōu)勢。母線槽通過始端箱從前端UPS取電，以母排系統(tǒng)組成輸電結構，采用即插即用的方式，通過插接箱給各個IT機柜內的PDU供電。

圖7 智能母線槽數據采集方案示意圖

安科瑞智能母線槽方案在始端箱和插接箱內配置AMB100/AMB110監(jiān)測單元，測量始端箱、插接箱電壓、電流、頻率、有功功率、無功功率、功率因數、有功電能、無功電能、諧波畸變、溫濕度、漏電電流等數據，可以通過有線或無線方式傳輸數據，在本地觸摸屏顯示，同時可以上傳數據中心能效管理系統(tǒng)，實現(xiàn)母線槽的數據展示和異常預警。

另外由于母線槽是由銅制母排搭接而成，接頭部位可能會由于接觸不良而異常發(fā)熱，所以需要對母線槽接頭溫度進行實時監(jiān)測，安科瑞AMB200母線接頭溫度監(jiān)測裝置進行接觸式測溫，AMB300通過紅外非接觸式測溫方式監(jiān)測母線溫度，數據通過有線或無線方式傳輸本地觸摸屏顯示，同時可以上傳數據中心能效管理系統(tǒng)，實現(xiàn)母線槽溫度的實時預警，設備選型如表6所示。

表6 智能母線槽解決方案選型表

5.4 數據中心能效管理系統(tǒng)設計

AcrelEMS-IDC數據中心能效管理系統(tǒng)搭建基于高、中、低壓配電系統(tǒng)、柴油發(fā)電機、UPS的實時監(jiān)控和末端配電系統(tǒng)數據采集的電力監(jiān)控、PUE分析以及動環(huán)監(jiān)測，幫助數據中心管理者全面了解數據中心能源運行情況，并關注消防和電氣安全，及時預警異常情況，保障數據中心穩(wěn)定可靠運行。除了變電站、柴油發(fā)電機和UPS運行監(jiān)控以外，特別是針對數據中心的末端配電環(huán)節(jié)，系統(tǒng)數據跟蹤到每一個回路的電氣參數和開關狀態(tài)、溫濕度數據等。

圖8 數據中心能效管理系統(tǒng)架構圖

5.4.1 電力監(jiān)控

監(jiān)控110kV變電站、10kV開閉所、10/0.4kV低壓變配電室配電系統(tǒng)運行情況，實現(xiàn)遙測、遙信、越限報警、故障分析、電能質量分析、運行報表等功能。

5.4.2 設備監(jiān)控

監(jiān)測柴油發(fā)電機、變壓器、UPS、蓄電池組、精密配電柜、精密空調的狀態(tài)以及運行參數，并提供異常預警、運行報表等功能。

5.4.3 能耗分析

統(tǒng)計數據中心總能耗、IT設備能耗、制冷系統(tǒng)能耗、供電系統(tǒng)能耗、照明及辦公能耗等分項用能，并計算CLF/PLF/PUE等能耗指標。

5.4.4 環(huán)境監(jiān)測

監(jiān)測數據中心溫濕度、水浸，蓄電池內阻、溫度、電壓、蓄電池間氫氣濃度等數據并提供越限告警和聯(lián)動控制。

5.4.5 精密配電柜或小母線運行監(jiān)測

系統(tǒng)監(jiān)測精密配電柜或母線槽系統(tǒng)電氣接點溫度以及漏電電流，并設置溫度、漏電越限告警，及時消除系統(tǒng)隱患。系統(tǒng)監(jiān)測每路饋線回路的電流、功率、開關狀態(tài)和用電量，還可以配置溫度、濕度傳感器用于監(jiān)測線路接點溫度和柜內濕度，設置參數高低越限告警，避免回路超負荷運行而導致意外斷電。

5.4.6 故障預警

系統(tǒng)對數據中心的故障類型進行分級分類處理，可以通過語音、文字彈窗、短信等方式提供故障預警信號，并對故障進行分類展示。

5.4.7 運維管理

系統(tǒng)為數據中心提供設備管理和運維管理功能，包括設備臺賬、設備保養(yǎng)、工單管理、巡檢記錄、缺陷管理、搶修記錄等功能，告別依靠手工記賬，降低人力和時間成本。

結束語

不同用途或等級的數據中心對可靠性的要求不同，直接關系到數據中心的建設投資和運營成本。數據中心供配電系統(tǒng)是數據中心*重要的基礎設施，應在數據中心建設初期予以統(tǒng)籌考慮和全面規(guī)劃，并根據數據中心對供電可靠性的要求，在供電電源選擇、供配電系統(tǒng)布置、供配電系統(tǒng)結構和形式等方面采取相應的技術措施。同時，還應充分運用成熟有效的節(jié)能措施和能效管理系統(tǒng)，降低供配電系統(tǒng)的損耗，減少運營成本。