數(shù)據(jù)中心液冷技術(shù)背景
三年前我們發(fā)表了《服務器液冷技術(shù)潛力分析》，當時是出于對新型服務器產(chǎn)品的角度，如今三年過去了，相關(guān)服務器級冷卻技術(shù)的成熟度和市場發(fā)展也都有了長足的進步。
由于數(shù)據(jù)中心各項服務目前仍處在買方市場，以及相關(guān)光纜，人力均受限，就近一線城市客戶與客戶的客戶，仍成為主要選址原則。
另一方面，隨著全球能源格局變化和減排的需求，國內(nèi)一線城市的單位產(chǎn)值能耗及排放水平日益趨嚴。同時由于數(shù)據(jù)中心基礎(chǔ)設(shè)施市場成熟，以及邊緣數(shù)據(jù)中心的興起，及全國網(wǎng)絡的加速及不均逐步開始減少。在一線城市尤其是大型城市，中大型及超大型數(shù)據(jù)中心在傳統(tǒng)的冷卻架構(gòu)下，其能耗和排放指標將越來越難以接受。
2013年2月工信部發(fā)布《關(guān)于進一步加強通信業(yè)節(jié)能減排工作的指導意見》，要求到2015年末新建大型云計算數(shù)據(jù)中心PUE低于1.5，力爭使改造后數(shù)據(jù)中心PUE達到2以下。2014年7月北京市人民政府辦公廳發(fā)布《北京市新增產(chǎn)業(yè)的限制和禁止目錄》2014年版，禁止新建和擴建數(shù)據(jù)中心，PUE值在1.5以下的云計算數(shù)據(jù)中心除外。
2018年9月26日《北京市新增產(chǎn)業(yè)的限制和禁止目錄2018年版》，要求禁止新建新建和擴建互聯(lián)網(wǎng)數(shù)據(jù)服務/信息處理和存儲支持服務中的數(shù)據(jù)中心，在中心城區(qū)（東城區(qū)、西城區(qū)、朝陽區(qū)、海淀區(qū)、豐臺區(qū)、石景山區(qū)）及北京市副中心（原通州新城）之外的城區(qū)，才允許PUE在1.4以下的云計算數(shù)據(jù)中心。
2018年10月29日上海市經(jīng)信委發(fā)布已經(jīng)經(jīng)過市政府同意的《上海市推進新一代信息基礎(chǔ)設(shè)施建設(shè)助力提升城市能級和核心競爭力三年行動計劃（2018-2020年）》，其中提出主要目標之一：
到2020年底，
——創(chuàng)建存算一體的數(shù)據(jù)中心資源高地。數(shù)據(jù)中心與超算中心實現(xiàn)規(guī)模發(fā)展、存算均衡、空間集聚、節(jié)能降耗。建設(shè)具備E級計算能力的超算中心，數(shù)據(jù)中心機架數(shù)達16萬個，新建數(shù)據(jù)中心綜合能源效率指標（PUE）不超過1.3，邊緣計算資源池節(jié)點實現(xiàn)合理布局。
新建機架控制在6萬個，總規(guī)模控制在16萬個。推動數(shù)據(jù)中心節(jié)能技改和結(jié)構(gòu)調(diào)整，存量改造數(shù)據(jù)中心PUE不高于1.4，新建數(shù)據(jù)中心PUE限制在1.3以下。開展計算資源布局規(guī)劃和資源配置方案研究，實施技術(shù)試驗及模式研究。依托數(shù)據(jù)中心布局，建設(shè)基于中央處理器（CPU）、圖形處理器（GPU）等的計算中心，面向人工智能的計算加速資源占新增數(shù)據(jù)中心機架總量的50%。
數(shù)據(jù)中心液冷技術(shù)簡介
數(shù)據(jù)中心常見液冷服務器目前主要有三種形式，冷板式，噴淋式，浸沒式。
冷板式：通常無法匹配硬盤及其他低熱元件，因此仍需要服務器內(nèi)空氣散熱。冷卻液通常采用去離子水，降低泄露事故導致短路概率，保持高比熱，低粘滯系數(shù)。
噴淋式：不適用機械硬盤。冷卻液通常采用絕緣性能及換熱性能均較優(yōu)秀的液體。
浸沒式：對于光模塊需要定制密封，承重需求遠高于其他兩種液冷方式。冷卻液通常采用氟化液，絕緣，難燃，低毒，低腐蝕性。
共同點：定制服務器，動力維護與IT維護交叉，對于動力維護（非IT的基礎(chǔ)設(shè)施）的及時性和高效性提出新的要求，對服務器廠家及相應上下游生態(tài)鏈提出了新的要求。
冷板式
噴淋式
浸沒式
數(shù)據(jù)中心液冷應用潛力分析
正向因數(shù)：數(shù)據(jù)中心單位產(chǎn)出能耗、排放高、高密度、高能耗
負向因數(shù)：服務器管控權(quán)匹配、動力維護與it維護交叉、生態(tài)鏈尚未完善
單位產(chǎn)出能耗、排放高
隨著數(shù)據(jù)中心的神秘面紗被揭開，越來越多屬地政府管理部門意識到數(shù)據(jù)中心基礎(chǔ)設(shè)施的建設(shè)和運營其單位產(chǎn)出能耗及排放，在一線城市均屬于拖后腿角色。尤其是隨著科學和持續(xù)發(fā)展觀的貫徹，能耗和排放的管控日益趣嚴且層層下壓。
這從作為排頭兵的北京和上海近年來的政策變化即可見一二。
2018年9月26日《北京市新增產(chǎn)業(yè)的限制和禁止目錄2018年版》，基本禁止，只在郊區(qū)，且是AI、邊緣等新興方向的云計算中心，且PUE低于1.4才開了個口子。
《上海市推進新一代信息基礎(chǔ)設(shè)施建設(shè)助力提升城市能級和核心競爭力三年行動計劃（2018-2020年）》到2020年，必須是新建PUE低于1.3，存量高于1.4將外遷或改造，且新增至少50%面向AI。
雖然看起來已經(jīng)很嚴苛，但是未來更嚴的可能性超過50%，每一到五年出個新的更低的控制指標是很可能的。
早在2012年筆者曾經(jīng)基于北京工況，就傳統(tǒng)架構(gòu)（三代智能冷源 變頻泵與變頻風機，12/18供水）推算過其理論PUE為1.38，上海約為1.42；且未考慮溫濕度精度控制及新風等所帶來的加熱加濕用電。即使考慮ups更新?lián)Q代甚至是市電直供，帶來ELC下降約0.05/0.07，對于北京以南，顯然傳統(tǒng)架構(gòu)非常難以滿足核準需求。
液冷并不是唯一的解決方案，甚至還不是性價比高的解決方案，但是如果管控再進一步加碼呢？對于新建機房將不失為一個好的解決方案。
液冷方案浸沒及噴淋不需要服務器風機及末端空調(diào)風機，即使冷板也可大量節(jié)約服務器及末端空調(diào)風機功耗。
節(jié)約末端空調(diào)風機傳輸功耗約可降低CLF約0.063-0.133，但是根據(jù)現(xiàn)行PUE測量規(guī)則，由于IT設(shè)備耗電量同比例甚至更大比例下降，導致PUE不降反升。（預計升幅在-0.05-0.08之間）
常見供液溫度可高達28-30℃，可大幅提高機械制冷COP，及延長自然冷卻時長。甚至大部分地區(qū)可以省去機械制冷系統(tǒng)?？梢暂p松將CLF下降至0.07，即使供電采用傳統(tǒng)架構(gòu)，供配電及部分不適應液冷IT元器件采用傳統(tǒng)冷卻，總體PUE全國范圍內(nèi)控制在1.26以下，以三大IDC排頭兵為例：北京1.17，上海1.23廣州1.26。
高密度
數(shù)據(jù)的發(fā)展是無限的，而土地尤其是熱土注定是有限的。從長遠來看密度必定上升。
即使從短期來看，以AI,5G，IOT等為主興起的邊緣計算來看，所謂的邊緣是就近客戶就近數(shù)據(jù)，而實際上往往處于發(fā)達城市邊緣，其土地價值會高于所謂的大型超大型集中式云計算核心，其發(fā)展會趨向更高密度而節(jié)約土地成本，但是需要便捷和智能的維護。
而如果從技術(shù)的另一個走向，集中式大型超大型云計算/存儲數(shù)據(jù)中心，地處邊緣，從產(chǎn)出角度也會追求高密度，限制高密度的是高密下的生態(tài)鏈成本，其最終會采用最經(jīng)濟的密度。隨著技術(shù)發(fā)展，越高密度，其單位密度的成本必然下降。
目前常規(guī)的房間級制冷適用單位機柜密度在0-11kw左右；
而常規(guī)行級制冷適用密度在6-20kw左右；
機柜級制冷適用密度在8-30kw左右；
再大的密度，服務器級的空氣冷卻已經(jīng)很難適應。
我們舉個簡單的例子，比如常規(guī)200w的1u服務器，服務器風扇功率占比5%；當負荷提升x倍，簡化計算假定風機風量提升x倍，空間不變，靜壓提升約x^2，功率提升約x^3倍，當x>2.582時，總功率增加速度將低于風機功耗增加速度，導致實際計算負荷增速下降。即使考慮普通標準服務器空氣組織效果未專門設(shè)計優(yōu)化，風機效率不高，可以提升100%（靜壓下降，效率提升導致風機功率下降50%），42u配滿，單機柜功率密度37.6kw。
目前常規(guī)實際密度在2kw/柜，頭部客戶（<20%）,平均不超過10kw/柜。
從短期（未來五年）來看，高密度因子對液冷的驅(qū)動力仍然不足。
高能耗
根據(jù)相關(guān)調(diào)查，目前部分IDC熱點開發(fā)區(qū)/區(qū)縣，數(shù)據(jù)中心耗電量已達全區(qū)50%，美國早在五年前，數(shù)據(jù)中心耗電已經(jīng)占到全國2%的水平。
我們假定現(xiàn)在全國數(shù)據(jù)中心耗電占比p也達到2%，每年平均增速m約7%，全國用電每年平均增速n約3%。x年后數(shù)據(jù)中心耗能達到不可持續(xù)占比o，全國耗電60%用于數(shù)據(jù)中心。
p*((1 m）/(1 n))^x<o;
x<89年；
即使m調(diào)至30%，n調(diào)至5%，x<16年；
服務器管控權(quán)匹配
液冷需要定制服務器，需要在服務器的采購及運行管理上，有相應的權(quán)限。而這些權(quán)限很可能分散在不同的主體和部門內(nèi)，且并不屬于能耗和排放壓力承擔部門。
如需破解，
對于IDC,可借單位產(chǎn)出能耗壓力，共同驅(qū)動IDC轉(zhuǎn)向云計算或者混合參股。
對于EDC，驅(qū)動建設(shè)和運營部門高效融合。
驅(qū)動IT運營與設(shè)施運營融合。
動力維護與it維護交叉
對于傳統(tǒng)市場，動力維護與it維護不同的團隊甚至是公司，有人的地方就有江湖。
如需破解，可以驅(qū)動IT運營與設(shè)施運營交互與更加專業(yè)。
生態(tài)鏈尚未完善
生態(tài)鏈的完善，需要時間讓技術(shù)成熟，也需要深度讓利，讓利潤推動生態(tài)鏈隨著時間及市場發(fā)展逐步完善并蠶食其他相關(guān)技術(shù)方向的份額。
潛力總結(jié)
主編寄語
在一線城市，數(shù)據(jù)中心耗能將逐步面臨總量控制（影響新建），現(xiàn)有排放水平固化（影響低負荷），非核心移出（單位產(chǎn)值耗能高/非核心細分行業(yè)）。
液冷將不失為一個好的解決方案，是時候進行技術(shù)儲備了，即使對于很多人來說看起來還很遙遠。
感謝諸位新一代綠色數(shù)據(jù)中心俱樂部會刊訂閱者，及朋友圈好友們五個寒暑以來的贊賞、留言、點贊、轉(zhuǎn)發(fā)和收藏。
聯(lián)系客服
