近期，第十一屆亞太區(qū)RDMA編程競(jìng)賽的最終結(jié)果在CCF全國(guó)高性能計(jì)算學(xué)術(shù)年會(huì)（HPCC 2023）揭曉，西工大計(jì)算機(jī)學(xué)院高性能計(jì)算中心指導(dǎo)的西北工業(yè)大學(xué)參賽隊(duì)榮獲本屆RDMA編程競(jìng)賽唯一的一等獎(jiǎng)，也是繼去年獲得冠軍后，再次摘冠！截至目前，我校在該項(xiàng)賽事中已經(jīng)四次榮獲一等獎(jiǎng)。
2023年獲獎(jiǎng)證書(shū)
2022年獲獎(jiǎng)證書(shū)
本次競(jìng)賽共有40多支來(lái)自亞太區(qū)各個(gè)大學(xué)和科研機(jī)構(gòu)的學(xué)生團(tuán)隊(duì)和10多支來(lái)自亞太區(qū)科技企業(yè)的團(tuán)隊(duì)參加，競(jìng)賽共設(shè)置一等獎(jiǎng)1名、二等獎(jiǎng)2名、三等獎(jiǎng)3名。我校隊(duì)員為計(jì)算機(jī)學(xué)院學(xué)生王靖元、董章祺、孫東、吳錦皓以及教育實(shí)驗(yàn)學(xué)院學(xué)生張陽(yáng)，團(tuán)隊(duì)依托西工大超級(jí)計(jì)算機(jī)系統(tǒng)創(chuàng)新實(shí)踐基地，計(jì)算機(jī)學(xué)院高性能計(jì)算中心教師趙天海、王云嵐、谷建華、侯正雄指導(dǎo)。
第十一屆亞太區(qū)RDMA編程競(jìng)賽頒獎(jiǎng)
RDMA(Remote Direct Memory Access)技術(shù)允許程序通過(guò)網(wǎng)絡(luò)直接訪(fǎng)問(wèn)遠(yuǎn)程主機(jī)的內(nèi)存，具有低延遲，高帶寬的特點(diǎn)。RDMA技術(shù)已廣泛應(yīng)用于超算中心、云計(jì)算中心和人工智能計(jì)算中心等。西工大超級(jí)計(jì)算機(jī)系統(tǒng)創(chuàng)新實(shí)踐基地依托高性能計(jì)算中心的計(jì)算平臺(tái)，通過(guò)組織和鼓勵(lì)學(xué)生參與RDMA編程競(jìng)賽，使學(xué)生能夠深入接觸HPC領(lǐng)域最前沿的技術(shù)和工具，培養(yǎng)學(xué)生的團(tuán)隊(duì)合作意識(shí)和應(yīng)對(duì)挑戰(zhàn)的能力，也提升了實(shí)際問(wèn)題建模、應(yīng)用系統(tǒng)設(shè)計(jì)和編程實(shí)踐水平。
Reduce/Scatter通信是當(dāng)前熱門(mén)的大語(yǔ)言模型應(yīng)用訓(xùn)練中最關(guān)鍵的通信操作之一。借助該通信操作，可以在模型的多卡分布式訓(xùn)練中將各GPU卡訓(xùn)練獲得的梯度值進(jìn)行聚合，并把計(jì)算結(jié)果分片分發(fā)各GPU，最后由各GPU更新神經(jīng)網(wǎng)絡(luò)模型參數(shù)并通過(guò)Allgather操作同步后開(kāi)始下一輪迭代訓(xùn)練。對(duì)于具有海量參數(shù)的大模型訓(xùn)練，使用Reduce/Scatter可支持大規(guī)模并行，提升模型訓(xùn)練效率。
在比賽過(guò)程中，西工大參賽隊(duì)通過(guò)先進(jìn)的網(wǎng)絡(luò)計(jì)算技術(shù)對(duì)Reduce/Scatter進(jìn)行了優(yōu)化，提出了基于在網(wǎng)計(jì)算的分層Reduce/Scatter算法，并在集合通信庫(kù)中實(shí)現(xiàn)，使其能夠利用可編程交換機(jī)的在網(wǎng)計(jì)算能力以較低的時(shí)延完成集合通信操作，算法能夠支持大模型訓(xùn)練中的并行梯度數(shù)據(jù)聚合。
參賽同學(xué)表現(xiàn)出了卓越的創(chuàng)新精神和高超的編程能力，最終使Reduce/Scatter集合通信性能得到了顯著提高，該成果有助于提升大模型時(shí)代AI訓(xùn)練的規(guī)模和效率。隊(duì)長(zhǎng)王靖元同學(xué)受到RDMA競(jìng)賽組委會(huì)的邀請(qǐng)，在HPCC 2023的The New RDMA For LLM Era論壇分享了競(jìng)賽心得和Reduce/Scatter算法的優(yōu)化實(shí)現(xiàn)技術(shù)。
參賽同學(xué)在HPCC 2023分享RDMA競(jìng)賽心得
亞太區(qū)RDMA編程競(jìng)賽是由國(guó)際高性能計(jì)算和人工智能咨詢(xún)委員會(huì)主辦的面向亞太區(qū)高校大學(xué)生的國(guó)際性大賽，得到了PC集群聯(lián)盟（PC Cluster Consortium）、中國(guó)科學(xué)院計(jì)算科學(xué)研究所、清華大學(xué)、北京大學(xué)的大力支持。大賽旨在為學(xué)生提供領(lǐng)先的RDMA編程課程的學(xué)習(xí)機(jī)會(huì)，提供先進(jìn)的軟、硬件平臺(tái)供學(xué)生動(dòng)手實(shí)踐，通過(guò)競(jìng)賽的形式來(lái)歸納和驗(yàn)證學(xué)習(xí)效果，最終達(dá)到提升學(xué)生的HPC和AI實(shí)踐能力的效果。
（文字：王云嵐、趙天海、王翠萍；審核：李春科、馬西平）
