新闻中心
综合新闻

万继光教授团队获DATE 2025最佳论文奖

来源:   作者:  发布时间:2025年03月17日  点击量:

电子设计自动化(Electronic Design Automation, EDA)是芯片设计的基石产业,被誉为“芯片之母”。欧洲设计自动化与测试会议(Design, Automation and Test in Europe Conference, DATE)是EDA领域的顶级国际学术会议。近日,华中科技大学武汉光电国家研究中心万继光教授带领的并行数据存储实验室(HUST-PDSL)与平安科技人工智能中心王健宗博士团队合作,在DATE 2025发表的论文《Cocktail: Chunk-Adaptive Mixed-Precision Quantization for Long-Context LLM Inference》获最佳论文奖(Best Paper Award)。

团队提出了一种新颖的chunk级别的混合精度量化策略Cocktail来优化LLM的长文本推理。通过在chunk级别上比较LLM的query与context的相似度,本文实现了高效的KV cache混合精度量化搜索;同时,通过KV cache chunk重排序策略,大大提高了混合精度量化后的KV cache的硬件效率。相较于业界之前的混合精度量化算法,本文能够实现10.4%的显存占用降低和21.4%的生成token时延降低

众所周知,人工智能特别是大模型已进入广泛落地应用阶段,而在落地过程中的性能瓶颈是阻碍人工智能发展的一个重大挑战,这也为大模型与计算机体系结构结合提供了重要契机。本工作是并行数据存储实验室与平安科技联合研究的成果,体现了存储与AI技术的融合、学术界与产业界的深度合作,为大模型的推理优化加速提供了一种有效方法。

DATE创办于1994年,由IEEE(国际电气电子工程师学会)和ACM(美国计算机协会)共同举办,吸引了全球电子设计自动化与测试领域的著名学者、企业界专家参与。今年的大会收到超过1200篇投稿,录用率约25%,共在D、A、T、E赛道选出了4篇最佳论文奖(本文是E赛道的最佳论文)。

华中科技大学为论文第一完成单位,武汉光电国家研究中心博士生陶伟为第一作者,万继光教授和王健宗博士为共同通讯作者。该研究工作得到了广东省重点研发计划“面向人机协同的边缘计算开放系统研发及应用“与国家重点研发计划“面向新型计算模式的分布式存储系统”等项目的资助。

武汉光电国家研究中心万继光教授带领的并行数据存储实验室(Parallel Data and Storage Laboratory, PDSL)专注于存储系统、计算机系统结构、数据库系统等方向的前沿研究,研制的并行文件系统曾将超算存储性能排行榜IO500(十节点榜单)的世界记录提升15倍,并培养出两名华为“天才少年”。未来,PDSL团队将与平安科技将继续深化合作,共同探索大模型技术在存储系统优化中的创新应用。