学生天地
创新创业

喜报!研究中心学子获第12届亚太区大学生RDMA编程竞赛冠军

来源:   作者:  发布时间:2024年11月02日  点击量:

10月18日,第十二届亚太区大学生RDMA编程竞赛决赛成绩揭晓,武汉光电国家研究中心并行数据存储实验室(HUST-PDSL)参赛团队获得冠军。

RDMA(Remote Direct Memory Access,远程直接内存访问)是一种高性能网络技术,广泛应用于高性能计算、人工智能、分布式存储和金融服务等领域。亚太区大学生RDMA编程竞赛由国际高性能计算和人工智能咨询委员会(HPC-AI Advisory Council)主办,旨在为学生提供先进的RDMA软硬件平台,通过竞赛的形式提升学生的HPC和AI编程能力。本次竞赛共有50多支来自亚太区各个大学和科研机构的学生团队参加,竞赛共设置一等奖1名、二等奖2名、三等奖3名。

武汉光电国家研究中心并行数据存储实验室(Parallel Data Storage Lab, PDSL)参赛,团队成员包括研究生陈奕骁、刘鹏宇、闵鑫豪、陈宇昂、唐鼎,指导教师为万继光教授、吴非教授和鲁凯博士后。团队提出了一种高效的单边RDMA Allreduce优化方案,通过Ring Allreduce算法充分利用网卡双边带宽、重叠reduce渐进计算过程和RDMA无感知接收过程掩盖网络通信开销、并实现异步流水化网络传输和数据语义切换功能以达到全过程零拷贝,最终将Allreduce操作的时延降低了37%。凭借这一方案,我校团队在众多国内外代表队中脱颖而出,勇夺竞赛冠军。在赛后召开的国际高性能计算与人工智能咨询委员会中国年会上,队长陈奕骁受HPC-AI咨询委员会邀请,在会上分享了竞赛心得和单边RDMA Allreduce算法实现技术。

团队感想:

本次RDMA竞赛要求我们在全新的集合通信框架中实现基于单边RDMA通信的Allreduce操作。尽管实际赛题与我们赛前的预想相差甚远,竞赛开始后我们还是立刻开始阅读相关代码并设计实现方案。

阅读代码后,我们判定本次竞赛难度较高,因而选择战略性地放弃DPU优化部分。设计方案时,我们也决定不改动已有算法而是直接实现新算法。赛后回顾,这两项决策或许正是我们获奖的关键:放弃DPU优化节省了熟悉新硬件的时间,让我们能够把精力集中在赛事最主要的部分;直接实现新算法一则可以使用更高效的算法,二则让我们摆脱了竞赛框架的历史包袱,以最直接的方式完成了赛题要求。

参赛时,我们队员均有两年以上的RDMA技术积累。尽管之前的代码无法直接应用于竞赛,但科研和项目中积累的宝贵经验也使我们能够高效地调试并迅速解决竞赛过程中遇到的bug。

完成代码实现后,我们方案的性能仍不理想。我们没有放弃改进,而是一边做PPT一边根据竞赛环境和算法设计调优,直至答辩前两小时才调试出一组性能出色的参数。正是这种挑战极限的决心,让我们的参赛经历变得圆满。

团队寄语:

谋定而后动、厚积而薄发

团队合照(唐鼎、刘鹏宇、闵鑫豪)

团队合照(陈宇昂、陈奕骁)

据了解,武汉光电国家研究中心并行数据存储实验室专注于分布式存储技术研究与存储人才培养,研制的并行文件系统曾将超算存储性能排行榜IO500(十节点榜单)的世界记录提升15倍,并培养出两名华为“天才少年”。此次竞赛让参赛学生进一步积累了高性能网络方面的宝贵经验,为后续RDMA网络优化和存储研究提供了丰富的实践基础。