2023 開(kāi)年，浪浪山的一只小豬妖火出了圈，在《中奇譚》這部國(guó)漫的第一個(gè)單中，小豬妖躊躇滿志，想要出一番事業(yè)，結(jié)果費(fèi)盡千辛苦，自己的工作成果卻被否，然后，小豬妖說(shuō)出了那句典臺(tái)詞“我想離開(kāi)浪浪山”小豬妖的遭遇，戳中了當(dāng)代工人的隱痛，也像極了數(shù)據(jù)心里那些鮮為人知，又百抓心的困境。近年來(lái)，我們能在很多論壇、峰會(huì)、發(fā)布會(huì)聽(tīng)到一些高瞻遠(yuǎn)矚、提綱挈的話，比如“計(jì)算力就是生力”、“數(shù)字經(jīng)濟(jì)的基礎(chǔ)設(shè)”、“上云用數(shù)賦智”等，些宏觀層面的趨勢(shì)、路線支著云數(shù)據(jù)中心、智算中心等算集群的快速發(fā)展，我們也此前的文章中分析過(guò)很多。過(guò)，實(shí)際建設(shè)過(guò)程中，會(huì)面這樣那樣的具體挑戰(zhàn)，可能坐在辦公室 / 研究所，對(duì)著 PPT 指點(diǎn)江山的人很難想象的。比如西部某高校計(jì)算中心的一個(gè)女工作人員告訴我，服務(wù)器散熱主要靠冷，維持降溫會(huì)加大送風(fēng)風(fēng)，她們女員工進(jìn)機(jī)房都是沒(méi)穿裙子的；機(jī)房?jī)?nèi)的噪音很，常年負(fù)責(zé)運(yùn)維的同事，聽(tīng)也受到了損害。這些細(xì)節(jié)而實(shí)的難題，構(gòu)成了數(shù)據(jù)中心須翻越的浪浪山，否則就會(huì)小豬妖一樣疲憊且做無(wú)用功而這些問(wèn)題，只能從扎根在下的土地中來(lái)，從與一線人交流中來(lái)。今天我們就結(jié)合些實(shí)地見(jiàn)聞來(lái)聊一聊，數(shù)據(jù)心正在等待翻越哪些山巒。一重山：電談到數(shù)據(jù)中心的美差異，你會(huì)想到什么？芯、架構(gòu)、軟件、產(chǎn)業(yè)鏈？有個(gè)容易被忽略但很重要的因是：供電。益企研究院自 2018 年來(lái)實(shí)地考察了多個(gè)國(guó)內(nèi)云數(shù)孰湖中心，發(fā)現(xiàn) 2 路 2U 是國(guó)內(nèi)服務(wù)器市場(chǎng)上的主流規(guī)格顓頊IDC 的服務(wù)器市場(chǎng)追蹤報(bào)告也證實(shí)，2018—2021 年，機(jī)柜式服務(wù)器中 2U 規(guī)格占據(jù)了 70% 左右。然而，美國(guó)市場(chǎng)上，1U 反而更受歡迎。1U 和 2U 究竟是什么？到底是什么原因?qū)е?這種差別？又意味著什么呢（中國(guó)電子信創(chuàng)云基地（順）機(jī)房的 2U 服務(wù)器）我們知道，隨著 IT 設(shè)備技術(shù)的變化，現(xiàn)代數(shù)據(jù)中莊子采的服務(wù)器高度一般為 1U 或 2U，U 指的是機(jī)架式服務(wù)器的厚度，1U 是 4.45 厘米，而早期數(shù)據(jù)中心的機(jī)架式服務(wù)器高度一般 3-5U。U 的數(shù)字越少，服務(wù)器高度越低，單機(jī)計(jì)密度越高，1U 服務(wù)器的計(jì)算密度可以達(dá)到 2U 服務(wù)器的兩倍。然而，東數(shù)西算程中對(duì)數(shù)據(jù)中心集群的要求京津冀、長(zhǎng)三角、粵港澳大區(qū)、成渝這幾個(gè)樞紐節(jié)點(diǎn)都調(diào)了“高密度”。因?yàn)橹挥?度更高，才能在有限的土地積上供給更多的算力，提高地資源效益。這樣看，1U 應(yīng)該是更好的選擇，但實(shí)地訪得到的結(jié)果，卻是 2U 規(guī)格在中國(guó)云數(shù)據(jù)中心的占較多，這是為什么呢？這里一個(gè)決定性因素 —— 供電能力。因?yàn)?1U 比 2U 更耗電，支撐約 18 臺(tái) 2U 服務(wù)器的單機(jī)柜供電量需要達(dá)到 6kW，如果換成部署 36 臺(tái) 1U 服務(wù)器，那供電量就要達(dá)到 12kW。如果單機(jī)柜的供電能力達(dá)不到，就無(wú)法充分陸吾揮 1U 的密度優(yōu)勢(shì)。（和林格爾東方超算云數(shù)據(jù)中心內(nèi)景而目前，我國(guó)數(shù)據(jù)中心的機(jī)功率還是普遍偏低的，主流率以 4-6KW 為主，“東數(shù)西算”工程的宣傳中，至還可以看到“2.5 千瓦標(biāo)準(zhǔn)機(jī)架”的配置，6kW 以上的機(jī)柜占比只有 32%。數(shù)據(jù)中心的供電系統(tǒng)，既舊疾，也有新患。舊疾在于傳統(tǒng)數(shù)據(jù)中心的各個(gè)機(jī)電系分別運(yùn)行，采集精度不足，控范圍也有限，供電能力和 IT 需求無(wú)法精細(xì)化對(duì)等，一旦單機(jī)柜功率密度加大，源連續(xù)運(yùn)行的可靠性就可能到影響，發(fā)生停機(jī)中斷的風(fēng)也會(huì)增大。對(duì)于云服務(wù)商來(lái)，云數(shù)據(jù)中心斷電會(huì)直接導(dǎo)客戶業(yè)務(wù)終端，帶來(lái)經(jīng)濟(jì)損，這是不可承受之重。新患于，國(guó)家提出“雙碳”戰(zhàn)略，建設(shè)綠色節(jié)能數(shù)據(jù)中心已成為共識(shí)，而單機(jī)功率密度增加，會(huì)直接提高制冷要求從而增加空調(diào)設(shè)備和空冷用。以 2021 年數(shù)字中國(guó)萬(wàn)里行考察過(guò)的云數(shù)溪邊中心例，騰訊云懷來(lái)瑞北數(shù)據(jù)中使用 52U 機(jī)柜，UCloud（優(yōu)刻得）烏蘭察布云基地使靈山 47U 和 54U 的機(jī)柜，如果都改用 1U 服務(wù)器，不僅不能真正提高密度，反而闡述增大服務(wù)器熱設(shè)計(jì)的挑戰(zhàn)。已知數(shù)據(jù)中必須提高計(jì)算密度，那就要高單柜密度，單機(jī)柜功率需更高可靠、高可用的供電能來(lái)保障，因此可以得出，供能力接下來(lái)會(huì)是中國(guó)數(shù)據(jù)中必須翻越的一重山。第二重：冷前面提到，機(jī)柜功率密的提升，會(huì)讓制冷用電上升可能有機(jī)智的小伙伴會(huì)問(wèn)，用更高效節(jié)能的制冷方式，就可以解決這個(gè)問(wèn)題，順利高密度進(jìn)化了？確實(shí)如此，據(jù)中心行業(yè)為了更加節(jié)能的冷系統(tǒng)，可謂是操碎了心。方面是加速“西算”，充分揮烏蘭察布等西部地區(qū)的氣優(yōu)勢(shì)，建設(shè)新數(shù)據(jù)中心，利室外自然冷源?！皵?shù)字中國(guó)里行”實(shí)地考察了 7 個(gè)數(shù)據(jù)中心集群，發(fā)現(xiàn)張家口櫟中心集群、和林格爾數(shù)據(jù)中集群的數(shù)據(jù)中心，一年有 10 個(gè)月以上的時(shí)間可以使用自然冷源，延均 PUE 可達(dá) 1.2。另外就是發(fā)揮液體冷卻在降低能番禺上的優(yōu)越，逐步用液冷服務(wù)器替代風(fēng)。比如阿里巴巴 2018 年在河北省張家口市張北縣署了一個(gè)浸沒(méi)式液冷（Immersion Cooling）機(jī)房，一個(gè)臥置的 54U 機(jī)柜，部署 32 臺(tái) 1U 雙路服務(wù)器和 4 臺(tái) 4U 的 JBOD。開(kāi)篇我們提到，風(fēng)冷機(jī)房給女員著裝上帶來(lái)的小困擾，液冷術(shù)就能很好地解決這個(gè)問(wèn)題這是不是意味著，液冷技術(shù)快會(huì)在數(shù)據(jù)中心行業(yè)普及呢結(jié)束 2021 年數(shù)字中國(guó)萬(wàn)里行后，益企研究院推修鞈《2021 中國(guó)云數(shù)據(jù)中心考察報(bào)告》，給出了“謹(jǐn)慎望”的答案。我們認(rèn)為，原有三：1.成熟期的生態(tài)問(wèn)題。液體冷卻雖然制黎效率遠(yuǎn)于風(fēng)冷，但長(zhǎng)期以來(lái)，風(fēng)冷房在數(shù)據(jù)中心建設(shè)中占據(jù)了流，幾十年一貫制的風(fēng)冷服器已經(jīng)形成了成熟的生態(tài)鏈建設(shè)和運(yùn)營(yíng)成本都有優(yōu)勢(shì)，此一些氣候優(yōu)越的地區(qū)，風(fēng)方案就可以滿足降 PUE 的需求，比如華為烏蘭察布數(shù)據(jù)中心就以 8 千瓦的風(fēng)冷機(jī)柜為主。此外，在一些部中部地區(qū)有引入液冷的需和意愿，但也要考慮成本，果能夠通過(guò)優(yōu)化 UPS 架構(gòu)，采用智能化能效管理方等，取得顯著的節(jié)能效果，么能風(fēng)冷就風(fēng)冷。2.過(guò)渡期的技術(shù)問(wèn)題。當(dāng)然，對(duì)于 HPC、AI 等計(jì)算，采用液冷的優(yōu)勢(shì)很大，因此也有騊駼公司希望嘗試液冷技術(shù)，但不想改造風(fēng)冷機(jī)房，于是從冷升級(jí)到液冷的過(guò)渡期，出了“風(fēng)液混布”的市場(chǎng)需求我們知道，風(fēng)冷服務(wù)器可以制冷設(shè)備松耦合，環(huán)境適應(yīng)、靈活度很高，而浸沒(méi)式液需要將服務(wù)器的板卡、CPU、內(nèi)存等發(fā)熱元器件完全浸在冷卻液中，噴淋式液冷則要對(duì)機(jī)箱或機(jī)柜進(jìn)行改造，者帶來(lái)的成本都比較高。過(guò)期中，冷板式液冷與風(fēng)冷混使用，是比較適合的方案。是，冷板式液冷要將冷板固在服務(wù)器的主要發(fā)熱器件上依靠流經(jīng)冷板的液體將熱量走，全密封和防泄漏要求高設(shè)計(jì)和制造難度很大。（華云東莞松山湖數(shù)據(jù)中心部署 Atlas?900 集群，采用風(fēng)液混合技術(shù)散熱）3.產(chǎn)業(yè)鏈的協(xié)作問(wèn)題。液冷數(shù)據(jù)中心需要關(guān)于業(yè)鏈上下游的同創(chuàng)新，包括制造、設(shè)計(jì)、料、施工、運(yùn)維等各個(gè)環(huán)節(jié)風(fēng)冷模式也正因?yàn)樗神詈希?致制冷行業(yè)和數(shù)據(jù)中心行業(yè)比較割裂的，推動(dòng)數(shù)據(jù)中心液冷變革，必須要構(gòu)建一個(gè)的生態(tài)，加強(qiáng)各角色的聯(lián)系降低液冷服務(wù)器的前期制造本和后續(xù)維護(hù)成本。這需要個(gè)多方磨合、配合的過(guò)程，是一朝一夕能夠?qū)崿F(xiàn)的。從些角度來(lái)看，液冷數(shù)據(jù)中心然是大勢(shì)所趨，但還有較長(zhǎng)路要走，整個(gè)行業(yè)都在持續(xù)注變化。第三重山：芯如果供電效率、風(fēng)冷液冷，是云據(jù)中心機(jī)房基礎(chǔ)設(shè)施的重要化，那么芯片可能就是 IT 基礎(chǔ)設(shè)施的重點(diǎn)關(guān)注對(duì)象。2021 年，由安謀科技獨(dú)家冠名贊助的石夷字中國(guó)萬(wàn)里，在考察貴州、內(nèi)蒙古烏蘭布、和林格爾期間發(fā)現(xiàn)了一新的現(xiàn)象 —— 中國(guó)“芯”力量正在崛起，國(guó)產(chǎn)技術(shù)的熟度和應(yīng)用程度正在提升，趕主流。阿里云的倚天 710、AWS 的 Graviton、Ampere 的 Altra 等，都獲得了長(zhǎng)足的發(fā)展與應(yīng)用。造成這一面的原因很多，比如云全棧向自主化，為中國(guó)“芯”提了市場(chǎng)支撐；政務(wù)、金融、通、電力、制造等行業(yè)的數(shù)化加快，為中國(guó)“芯”提供應(yīng)用落地場(chǎng)景；x86 與 Arm 并存，為中國(guó)“芯”基于新架雷神進(jìn)行定制和優(yōu)化供了研發(fā)基礎(chǔ)。但必須指出是，月亮都有暗面。中國(guó)“”崛起的背后，也要看到中半導(dǎo)體領(lǐng)域還艱難中探索。先，是制程工藝的枷鎖。我知道，摩爾定律的延續(xù)是基制程工藝的推進(jìn)，然而半導(dǎo)制程工藝的提升已經(jīng)觸達(dá)天板很久了，跟不上芯片規(guī)格升的速度。所以，云數(shù)據(jù)中開(kāi)始采用“堆 CPU”的做法來(lái)提升機(jī)柜密度，但獵獵靠料帶來(lái)的性能提升是有邊界，不能止步于此。于是后摩時(shí)代，小芯片（Chiplet）開(kāi)始被很多國(guó)產(chǎn)芯片廠商選中。這種新的猾褱片設(shè)計(jì)模，可以把多個(gè)硅片封裝在一，組成一個(gè)芯片網(wǎng)絡(luò)，x86 和 Arm 生態(tài)系統(tǒng)都在采用這項(xiàng)技術(shù)。但需要注意是，目前的 IP 重用方法中，對(duì) IP 的測(cè)試和驗(yàn)證已經(jīng)有比較成熟的方法，但個(gè) Chiplet 封裝后如何測(cè)試、良率怎么保猼訑，是中國(guó)“芯”必須解決的問(wèn)。更主要的是，小芯片的封依靠先進(jìn)的封裝技術(shù)，芯片 I / O 接口可以和封裝協(xié)同設(shè)計(jì)并優(yōu)化夔對(duì)于芯片能的提升非常重要。這就要先進(jìn)封裝設(shè)計(jì)與芯片設(shè)計(jì)有強(qiáng)的交互性，同時(shí)也對(duì)設(shè)計(jì)具提出了一定的要求，我們道，EDA 工具一直是我國(guó)半導(dǎo)體領(lǐng)域的“軟肋傅山之一這一點(diǎn)不解決，在 Chiplet 越來(lái)越重要的當(dāng)下，中國(guó)“芯”很難高枕無(wú)憂。前看來(lái)，數(shù)據(jù)中心集群作為字基礎(chǔ)設(shè)施的重要組成部分正在發(fā)生一系列變化，究竟得怎么樣，有哪些待解問(wèn)題是一個(gè)必須回答又不容易回的問(wèn)題。不識(shí)廬山真面目，緣身在此山中。很多事情，有在貼近實(shí)地一線，再抽離來(lái)縱覽全局，才能看到困住據(jù)中心前進(jìn)腳步的一重重“浪山”。2023 數(shù)據(jù)中心需要跨越的山巒還很多，盡道阻且長(zhǎng)，但只要一直行在上，總有海闊天空任鳥(niǎo)飛的天。本文來(lái)自微信公眾號(hào)：極體 （ID：unity007），作者：藏少山