速度和容量受制No！高性能存儲的瓶頸不止于此

大家好，小科來為大家解答以上問題。速度和容量受制No！高性能存儲的瓶頸不止于此這個很多人還不知道，現(xiàn)在讓我們一起來看看吧！

1、這兩年，存儲市場非常熱鬧。SSD帶來的速度已經(jīng)體現(xiàn)在從消費電子到超級計算的性能上。然而，隨著高性能計算走上全新的道路，大吞吐量和大容量不再是HPC存儲的唯一設(shè)計目標。

2、那么，HPC存儲目前面臨哪些挑戰(zhàn)呢？首先，數(shù)據(jù)生成已經(jīng)逐漸被數(shù)據(jù)訪問所取代。在大數(shù)據(jù)環(huán)境中，IOPS要求隨機訪問小數(shù)據(jù)。

3、其次，“找到”真正需要的數(shù)據(jù)成為了最關(guān)鍵的環(huán)節(jié)，這也對元數(shù)據(jù)的統(tǒng)計、讀寫、刪除提出了更高的要求。

4、此外，近年來出現(xiàn)了不同的文件和數(shù)據(jù)形式，在處理時需要特別注意。高性能存儲必須具備大規(guī)模數(shù)據(jù)傳輸?shù)哪芰Α?/p>

5、新的高性能計算場景基于

6、以一些在建的智慧城市項目為例。城市里分散著很多傳感器和執(zhí)行器，比如激光雷達、攝像頭、微流控傳感器、電機等，都會產(chǎn)生PB級的原始數(shù)據(jù)。這些數(shù)據(jù)需要經(jīng)過壓縮、預(yù)處理、上傳、深度學習和推理，存儲可以說與邊緣計算和機器學習緊密相連。

7、再比如我們的自動駕駛。今天的自動駕駛方案都是通過數(shù)據(jù)和高性能計算來實現(xiàn)的。像特斯拉這樣的制造商甚至為其自動駕駛技術(shù)的發(fā)展開發(fā)自己的芯片和超級計算機。

8、每天，自動駕駛測試團隊都會將PB級的遙測傳感數(shù)據(jù)傳輸?shù)綌?shù)據(jù)平臺，然后進行標記、分類、檢錯、仿真，再放入大規(guī)模存儲系統(tǒng)。如此大規(guī)模的存儲平臺，不僅可能擴展到EB級別，還可能承擔模擬、再處理和機器學習的繁重負荷。

9、在這些新場景賦予的挑戰(zhàn)下，出現(xiàn)了一波新技術(shù)，比如從PCIe 4.0過渡到PCIe 5.0，光模塊從200G過渡到400G，GPU直接存儲等特殊協(xié)議的使用等等。

10、這些技術(shù)大多提高了HPC存儲的吞吐量，更重要的是，優(yōu)化了特定工作流的效率。

11、高性能計算系統(tǒng)中存儲的組成

12、在目前的HPC場景下，無論是本地部署還是云環(huán)境，都需要一個計算平臺，可能是CPU的配置，也可能是CPU GPU/加速器的配置。該節(jié)點可以充分利用3D Xpoint等持久內(nèi)存，不僅可以在掉電情況下提供低延遲的內(nèi)存數(shù)據(jù)訪問而不丟失數(shù)據(jù)，還可以使用DAOS等分布式異步對象存儲的文件系統(tǒng)。

13、Lustre文件系統(tǒng)/Lustre

14、最后是數(shù)據(jù)管理，屬于大量數(shù)據(jù)的長期存儲。比如像波音這樣的航空公司，需要存儲每架飛機50年以上的詳細數(shù)據(jù)，還要有數(shù)據(jù)溯源的能力。

15、這種存儲不需要有高速性能，但是可以在前端程序需要的時候提供即時交互。而且為了節(jié)約能源，需要實現(xiàn)所謂的“零功率存儲”。

16、超是怎么做到的？

17、在眾多超級計算機已經(jīng)布局百億億次系統(tǒng)的情況下，作為HPC中的頂級應(yīng)用，我們自然可以一窺端倪，看看目前主流的HPC存儲解決方案。

18、以計劃今年完成的前沿超級計算機為例。這臺超級計算機將成為第一臺計算能力約為1.5萬億次的計算機。

19、前沿超級計算機/AMD

20、Frontier采用了AMD的全套解決方案，結(jié)合了AMD的EPyc CPU和鐳龍Instinct GPU。在AMD的cache coherence互聯(lián)方案下，CPU上的代碼可以直接訪問GPU內(nèi)存，也就是我們上面說的GPU直接存儲技術(shù)。

21、在存儲系統(tǒng)上，F(xiàn)rontier采用了基于Lustre ZFS的679PB文件系統(tǒng)方案，用47700塊硬盤實現(xiàn)，最高速度可達5TB/s

22、在高速存儲中，有5400個NVMe固態(tài)硬盤，構(gòu)成11PB的存儲空間，提供10TB/s的讀取速度。

23、極光超級計算機/英特爾

24、Aurora作為今年推出的千萬億次超級計算機系統(tǒng)，選擇了英特爾的解決方案。單個計算節(jié)點由兩個Xeon Sapphire Rapids、六個Xeponte Vecchio GPUs和一個通用內(nèi)存架構(gòu)組成。

25、主存儲方案也選擇了Intel的DAOS文件系統(tǒng)，結(jié)合NVMe和傲騰持久內(nèi)存，形成大于230PB的系統(tǒng)，達到25 TB/s的速度

26、總結(jié)

27、除了上述挑戰(zhàn)，HPC存儲還面臨著最近內(nèi)存計算興起所帶來的計算能力挑戰(zhàn)。未來五年，存儲結(jié)構(gòu)、文件系統(tǒng)甚至存儲材料都將再次迎來新的變革。

28、這些變化將首先解決HPC中的問題，然后潛移默化地改善日常應(yīng)用。

本文到此結(jié)束，希望對大家有所幫助。