人妻换人妻A片爽麻豆,亚洲VA久久久噜噜噜久久狠狠,无码精品黑人一区二区三区 ,日日狠狠久久偷偷色综合96蜜桃

+ 微信號:18888850905

您當(dāng)前的位置首頁 > 信息動態(tài)  > 行業(yè)動態(tài) 返回

浪潮信息采用3臺AS13000G7服務(wù)器搭建分布式存儲集群,搭載ICFS自研分布式文件系統(tǒng)

來源:cgsvip.cn  |  發(fā)布時間:2024年10月09日

浪潮信息采用3臺AS13000G7服務(wù)器搭建分布式存儲集群,搭載ICFS自研分布式文件系統(tǒng),在3D-UNet和CosmoFlow兩大評測任務(wù)中 共獲得五項*佳成績。其中,在圖像分割3D-UNet多客戶端2評測任務(wù)中,服務(wù)于10個客戶端264個加速器,集群聚合帶寬達到360GB/s,單個存儲節(jié)點的帶寬高達120GB/s;在宇宙學(xué)分析CosmoFlow單客戶端2和多客戶端2評測任務(wù)中,分別提供了18 GB/s和52 GB/s的帶寬*佳成績。





本次測試,浪潮信息采用3臺AS13000G7服務(wù)器搭建分布式存儲集群,搭載ICFS自研分布式文件系統(tǒng),在3D-UNet和CosmoFlow兩大評測任務(wù)中 共獲得五項*佳成績。其中,在圖像分割3D-UNet多客戶端2評測任務(wù)中,服務(wù)于10個客戶端264個加速器,集群聚合帶寬達到360GB/s,單個存儲節(jié)點的帶寬高達120GB/s;在宇宙學(xué)分析CosmoFlow單客戶端2和多客戶端2評測任務(wù)中,分別提供了18 GB/s和52 GB/s的帶寬*佳成績。


近年來,浪潮信息基于存算協(xié)同的理念,持續(xù)加大存儲研發(fā)投入,從整體架構(gòu)到各技術(shù)棧持續(xù)創(chuàng)新,優(yōu)化升級存力,提升了GPU算力整體性能表現(xiàn),實現(xiàn)了模型訓(xùn)練數(shù)據(jù)處理的即時性,消除了GPU資源閑置(即“饑餓GPU”現(xiàn)象),提升大模型訓(xùn)練效率。


架構(gòu)層面,采用新數(shù)控分離架構(gòu)。數(shù)據(jù)面和控制面完全解耦,控制面實現(xiàn)數(shù)據(jù)管理和訪問,數(shù)據(jù)面讀寫操作直通到盤,達到120 GB/s的單存儲節(jié)點的高性能,單存儲節(jié)點支撐5臺8卡計算節(jié)點規(guī)模,同時計算集群GPU利用率90%以上;


軟件層面,通過多路并發(fā)透傳技術(shù),減少I/O操作中頻繁的上下文切換,降低單次I/O時延50%,同時達到高并發(fā)下時延穩(wěn)定性。本次測試中1430個高并發(fā)讀線程支撐下,保證每個線程單次I/O的時延均在0.005秒,AI端到端訓(xùn)練中I/O占比低于10%。此外,通過元數(shù)據(jù)VRANK技術(shù),達到單個元數(shù)據(jù)進程多單元并發(fā)處理,提供高性能元數(shù)據(jù)服務(wù);


軟硬協(xié)同層面,通過內(nèi)核親和力調(diào)度,I/O請求動態(tài)調(diào)整,增強文件系統(tǒng)與計算節(jié)點親和性,確保負載均衡,將數(shù)據(jù)移動與多核CPU之間的訪問效率提升400%。