新闻中心
综合新闻

研究中心PDSL团队打破超算IO500排行榜世界记录

来源:   作者:万继光  发布时间:2022年06月02日  点击量:

2022年5月30日晚,2022国际超级计算大会(ISC22)公布IO500(超算存储500强)结果,华中科技大学武汉光电国家研究中心并行数据存储实验室PDSL团队开发的FlashFS超算文件系统取得骄人成绩,夺得“10节点榜单”第一,将世界记录提高36%

图1 PDSL团队,从左到右:谭志虎、谢长生、杨豪迈、郭一兴、万继光

IO500是高性能计算领域针对存储性能最权威的世界排行榜。自2017年11月开始,IO500榜单在高性能计算领域顶级会议——全球超级计算机大会(SC)和国际超级计算大会(ISC)上发布。IO500包括“总榜单”和“10节点榜单”两类。其中,10节点榜单将基准性能测试限制为10个计算节点,可以准确反映存储系统为实际程序提供的I/O性能,便于用户横向对比,参考价值更高。IO500涵盖带宽和元数据两项基准测试,计算整个存储系统的性能评分。

SC和ISC是世界公认高性能计算大会,每年举行一次。ISC 2022于5月30日在德国汉堡召开。“全球最快的500台超级计算机排行榜”(Top500)就在SC和ISC会议上公布。我国超算“神威·太湖之光”于2016~2018年连续2年蝉联第一,“天河2号”于2010~2015年连续6年称雄。

武汉光电国家研究中心并行数据存储实验室(Parallel Data Storage Lab, PDSL)自研的FlashFS超算文件系统在IO500测试的“10节点榜单”中勇夺第一。FlashFS核心开发人员包括华中科技大学武汉光电国家研究中心研究生杨豪迈、计算机学院研究生郭一兴、计算机学院谭志虎教授、武汉光电国家研究中心万继光教授和谢长生教授。

图2 IO500 10节点公布榜单

FlashFS采用PDSL自研的网络通信框架、任务调度框架和和存储引擎,又在元数据布局、文件同步、目录扫描等多个关键技术上大胆创新,实现突破。基于RDMA实现网络互联,通过无锁共享链路技术最大化网络吞吐。采用run-to-completion模型和无栈协程实现极低时延的任务调度框架,使得任务处理性能与CPU核数量线性扩展。基于SPDK/AIO和优化的RocksDB实现高性能存储引擎,极致优化文件系统数据路径,保证数据稳定可靠的前提下最大化存储性能。

PDSL实验室团队与国家超级计算济南中心合作基于“山河”超级计算平台对FlashFS及配套应用环境适配性进行了验证和优化,测试结果展现出FlashFS优异的线性扩展能力,表明其在输出带宽和HPC应用适应性方面具有持续稳定的表现。

图3 团队使用服务器来自于我国超级计算济南中心“山河”超级计算平台

PDSL研究团队是谢长生、万继光、谭志虎教授指导的以研究网络存储技术为主的团队。主要研究方向包括:分布式大数据存储系统、分布式云存储系统、智能存储系统研究等。该团队承担了国家自然科学基金等十几项国家级研发项目,并与华为、PingCAP等企业合作密切合作,开展长期联合研究,还在人才培养和存储相关竞赛上取得耀眼成绩,包括但不限于:

(1)优秀博士生姚婷获得华为天才少年和ACM ChinaSys优博;

(2)硕士研究生杨豪迈、郭一兴和博士研究生刘鹏宇,在首届NVIDIA DPU中国黑客松比赛中获得冠军;

(3)硕士研究生单海康、李响参加国内首个分布式数据库内核开发大赛“OceanBase数据库大赛”获得季军,也是华中地区唯一获奖团队;

(4)硕士研究生李思岑,王能杰,陈劲刚,李响四位同学获得Talent Plan课程优秀学员,并担任Talent Plan学习社区学习营导师,指导400多名高校学员。

榜单链接:https://io500.org/list/isc22/ten