在過去的十年里,這個(gè)問題被反復(fù)地問過,而得到的回答通常是“是的,好吧,當(dāng)然,很可能”。
各大云供應(yīng)商都已推出了HPC云服務(wù)并穩(wěn)步擴(kuò)展它們。例如,AWS最近推出了基于AWS Graviton 2的C6gn實(shí)例,該實(shí)例可以提供高達(dá)100Gpbs的網(wǎng)絡(luò)連接,同時(shí)提供比現(xiàn)代處理器高40%的價(jià)格性能。這是HPC應(yīng)用程序的關(guān)鍵推動(dòng)力,這些應(yīng)用程序在歷史上已經(jīng)廣泛并行以獲取所需的性能。
福岡系統(tǒng)(Fugaku)的研究機(jī)構(gòu)日前宣布,它將提供云服務(wù)。在這一點(diǎn)上,HPC與私有云的合作關(guān)系可能是一種創(chuàng)新的趨勢(shì)。
與此同時(shí),HPC用戶的回應(yīng)是有充分的理由將越來(lái)越復(fù)雜的工作負(fù)載(例如EDA和藥物設(shè)計(jì))移植到這些服務(wù)中。高校、研究機(jī)構(gòu)甚至石油和天然氣等傳統(tǒng)的商業(yè)HPC用戶都面臨著越來(lái)越緊張的預(yù)算。遷移到云端使他們可以自由擴(kuò)展(或縮減)容量。項(xiàng)目可以并行運(yùn)行,而不是在隊(duì)列中等待。而且它在Arm上的工作方式也很大:在云中運(yùn)行的80核Altra(來(lái)自Ampere Computing的基于Arm的處理器)的基準(zhǔn)測(cè)試顯示,在各種應(yīng)用程序上的時(shí)間減少了10-42%。時(shí)間、金錢和頭痛都將減少。
云計(jì)算中的高性能計(jì)算機(jī)也有可能讓組織獲得更廣泛的技術(shù)組合。我們正進(jìn)入一個(gè)性能提升將通過處理器創(chuàng)新和系統(tǒng)設(shè)計(jì)而非摩爾定律實(shí)現(xiàn)的時(shí)代。如果你看看最新的500強(qiáng)名單,你會(huì)發(fā)現(xiàn)五種不同的處理器架構(gòu)和四種不同的互連技術(shù)出現(xiàn)在前十項(xiàng)中。例如,F(xiàn)ugaku就是圍繞著基于Arm的A64FX處理器和Fujitsu的Tofu Interconnect D構(gòu)建的:其他組織已經(jīng)在研究如何將這些技術(shù)融入自己的項(xiàng)目中。由于這些不同的技術(shù)在某些工作負(fù)載上顯示出優(yōu)勢(shì),組織可以將注意力轉(zhuǎn)向最高效/有效的產(chǎn)品。
或許最重要的是,云計(jì)算中的HPC還將大大增加公司的數(shù)量,這些公司可以利用目前petascale范圍內(nèi)提供的更廣泛的功能,而且將來(lái)可能會(huì)發(fā)展到exascale。大規(guī)模共享特定于工作負(fù)載的硬件的負(fù)擔(dān)能力有可能幫助我們解決人類面臨的重大任務(wù)。
考慮基因組學(xué)。DNA數(shù)據(jù)每七個(gè)月翻一番,可能會(huì)超過YouTube等其他大數(shù)據(jù)生成器的增長(zhǎng)。它包含的信息將成為提高農(nóng)作物產(chǎn)量和發(fā)明新疫苗的關(guān)鍵。但是,如果沒有能夠快速上下旋轉(zhuǎn)的高性能系統(tǒng),知識(shí)庫(kù)和需要它的科學(xué)家基礎(chǔ)之間將存在差距。
所以,這里有很多潛力。但為什么進(jìn)展如此緩慢?為什么HPC比大多數(shù)其他市場(chǎng)更晚加入云計(jì)算派對(duì)?
一個(gè)原因是軟件。由于許多應(yīng)用程序仍然是用Fortran編寫的,這反映了遷移到新環(huán)境的復(fù)雜性。另一個(gè)原因是環(huán)境:云系統(tǒng)為環(huán)境提供了不同于HPC用戶熟悉的虛擬化、打包和控制平面。這里有一個(gè)明顯的差距,那就是在乞求解決辦法。總之,我們正在取得進(jìn)展。工具和語(yǔ)言也緊隨其后。
還有心理障礙。這里沒有發(fā)明的屏障深入到高性能混凝土中,這是有原因的。幾十年來(lái),HPC社區(qū)率先提出了被超級(jí)用戶所接受的想法。要扭轉(zhuǎn)這種趨勢(shì),需要合作和溝通。這也意味著我們需要放棄對(duì)系統(tǒng)架構(gòu)的控制。國(guó)家安全考慮HPC的一部分,從巨人和ENIAC的日子開始,將是另一個(gè)因素。
但是,最重要的也許是對(duì)遺漏的恐懼:向云計(jì)算的轉(zhuǎn)變是否會(huì)切斷可能導(dǎo)致根本性突破的調(diào)查渠道?HPC需要承擔(dān)風(fēng)險(xiǎn)的長(zhǎng)期研發(fā),通常最好在國(guó)家實(shí)驗(yàn)室和其他獨(dú)立組織內(nèi)進(jìn)行。這種研究不會(huì)因云中HPC的增長(zhǎng)而被邊緣化,但這是一個(gè)需要關(guān)注的問題。顯然,當(dāng)我們?cè)赗IKEN見證下,在這里看到更多的公私伙伴關(guān)系將是一個(gè)好消息。
總之,我們正在看到由商用HPC用戶遷移到云的混合環(huán)境的趨勢(shì)。學(xué)術(shù)界將緊隨其后,而政府機(jī)構(gòu)將在這兩個(gè)陣營(yíng)中牢牢站穩(wěn)腳跟,但收養(yǎng)較慢。理想情況下,業(yè)務(wù)上的合作伙伴關(guān)系和健康的用戶群將鼓勵(lì)進(jìn)一步的增長(zhǎng),并提供一條獲取經(jīng)濟(jì)和技術(shù)利益的途徑,而又不會(huì)失去推動(dòng)HPC先進(jìn)水平所需要的Manhattan Project的重量。
如果有的話,它將使未來(lái)五年變得相當(dāng)有趣。








