科学研究

15倍提升!我校师生联手名企再破超算存储世界纪录!

来源:   作者:谢长生  发布时间:2023年05月26日  点击量:

近日,从德国汉堡召开的国际超算大会ISC2023传来消息,华中科技大学并行数据存储实验室(HUST-PDSL)联合华为分布式存储和济南超级计算技术研究院研发的OceanFS2超算文件系统,运行在配备了华为OceaStor Pacific分布式存储硬件的国家超级计算济南中心(JNIST)Ceeloo-1超级计算机上,以突破性技术取得骄人成绩,勇夺IO500(超算存储500强)的“Research10节点榜单”总分第一、带宽性能第一和元数据性能第一,并将IO500世界记录提高15倍以上。这是HUST-PDSL实验室第二次获得该奖项。

图1. 获奖证书

IO500(超算存储500强)官网公布了最新的排行榜,PDSL实验室两次出现在这个榜单上。

图2. IO500 10节点公布榜单

国际超级计算大会ISC和全球超级计算机大会SC是世界公认的顶级高性能计算大会。自2017年开始,IO500榜单在这两个会议上半年一次交替发布,是国际数据存储界最具权威性的榜单。

IO500包括 “总榜单”和“10节点榜单”两类。其中,“10节点榜单”将基准性能测试统一规定为10个计算节点,可以准确反映存储系统为实际程序提供的I/O(输入输出)性能,便于用户横向对比,参考价值更高。IO500涵盖带宽和元数据两项基准测试,并据此计算整个存储系统的性能总评分。

据介绍,华中科大并行数据存储实验室(Parallel Data Storage Lab, PDSL)对超算存储的文件系统进行了长期的创新研究,并在去年德国举行的ISC2022上以FlashFS文件系统运行在国家超级计算济南中心的山河超级计算机上,获得IO500世界10节点冠军。为了使高校的创新技术能真正应用到我国企业产品之中,而不只是停留在打榜夺冠层面,实验室此次在获奖的文件系统基础上,联合华为分布式存储研发了OceanFS2新一代并行分布式超算文件系统,在多个关键技术上进行了重要的创新。

测试环境基于10个客户端与OceanStor Pacific 分布式存储硬件组合,采用了最新一代国产化存储底座和互联架构构建的OceanFS2,经过IO500国际组织规定的12项苛刻的场景测试,取得了2439.37 GiB/s的带宽和7,705,448.04 (KIOP/S)的元数据访问性能,结果表明OceanFS2性能十分优异,以遥遥领先的优势夺冠。

图3 联合研发的OceanFS2文件系统运行在齐鲁一号上

华中科技大学并行数据存储实验室(PDSL)主要研究方向包括分布式大数据存储系统结构、分布式文件系统、智能存储系统研究等,其团队成员为来自武汉光电国家研究中心和计算机学院的教师和学生,教师有万继光教授、谢长生教授、谭志虎教授和李国宽副教授,参与OceanFS2研发的核心骨干包括华中科技大学武汉光电国家研究中心硕士生杨豪迈、计算机学院本科生陈奕骁(已保研到武汉光电国家研究中心)、武汉光电国家研究中心博士生鲁凯。

人工智能、大数据和云计算的快速发展,对算力的需求激增,而存储始终是高性能计算机系统的性能瓶颈所在,提升存储性能(存力)是当务之急。现有的并行文件系统不能够充分发挥硬件的性能。因此,发展全新的分布式超算文件系统意义重大。

“将论文写在祖国大地上”是华中科技大学坚持的一贯理念,也是华中科技大学数据存储研究团队的特色之一。在从事科技前沿研究的同时,团队对十分重视与我国企业的合作,其目的是促进我国存储产业从底层打牢基础,掌握核心技术,从根基上提升我国数据存储产业的技术创新能力。早在20多年前,谢长生教授就带领团队与华为合作,联合开发成功了该公司存储部门起步时的第一台存储产品样机,万继光当时作为学生骨干参加了开发。当年的学生如今已成为广受学生喜爱的教授,仍然坚持学术研究服务产业的优良传统,将大量学术研究成果应用于骨干企业,还培养出“华为天才少年”这样的高端人才。此次国际顶级赛事以极为亮眼的成绩夺冠,是华中科技大学产学研结合的又一成功范例。