基于基础模型的光声图像处理工作流：一种无需训练的解决方案

Streamlined photoacoustic image processing with foundation models: A training-free solution

Handi Deng, Yucheng Zhou, Jiaxuan Xiang, Liujie Gu, Yan Luo, Hai Feng, Mingyuan Liu, and Cheng Ma.

https://doi.org/10.1142/S1793545824500196

在生物医学光子学领域，光声成像（PAI）作为一种无创、高对比度的成像技术，广泛应用于血管成像、组织边界划分和手术器械识别等场景。然而，传统的光声图像处理方法，尤其是基于深度学习（DL）的方法，面临着网络设计复杂、数据集构建耗时以及模型泛化能力不足等问题。近期，清华大学马骋教授研究团队和首都医科大学刘明远副主任医师研究团队共同提出了一种基于基础模型（FMs）的光声图像处理工作流——SAMPA，实现了无需训练的高效图像分割和重建，为光声成像的临床应用带来了新的可能性。

研究背景

基础模型（FMs）近年来在计算机视觉领域取得了显著进展，尤其是通过“提示”机制，用户可以将图像先验信息整合到模型中，从而无需训练即可应用。这一特性为光声成像（PAI）的图像处理提供了新的思路。光声成像作为一种结合光学和超声的成像技术，能够提供高分辨率的组织结构和功能信息，但在图像分割和重建方面仍面临挑战。传统方法需要大量的数据集和复杂的网络设计，而基于基础模型的方法则有望简化这一过程。

研究方法

研究团队采用了Meta公司开发的Segment Anything Model（SAM）作为核心工具，通过简单的提示（如标记点或类别信息）将先验知识整合到模型中，实现了多种光声图像处理任务，包括：

• 三维光声图像渲染中去除皮肤信号：在人体手部成像中，SAMPA能够精准划分人体组织边界，去除皮肤信号，从而更好地暴露深层血管特征。

• 双声速重建：在二维小鼠成像中，SAMPA能够识别动物与耦合介质的边界，助力双声速重建，提升图像质量。

• 手指血管分割：在手指血管分割任务中，SAMPA通过优化SAM的输出并结合先验信息，实现了对主要血管的稳健识别。

主要创新点

• 无需训练的图像处理：SAMPA通过提示机制将先验知识整合到基础模型中，无需进行网络设计、数据集构建和模型训练，显著降低了深度学习模型的应用门槛。

• 强大的泛化能力：SAMPA在多种成像系统和不同类型的光声图像上均表现出色，验证了其在不同场景下的适用性。

• 高效性与便捷性：SAMPA能够在0.1秒内完成传统光声图像的分割任务，适合在常规成像设备中部署或与光声图像处理软件无缝集成。

应用前景

SAMPA的提出为光声成像的临床应用提供了新的思路。其无需训练的特点使得研究人员可以快速部署和应用深度学习模型，尤其是在资源有限的情况下。此外，SAMPA在处理复杂场景（如有限视图和欠采样条件）时表现出的鲁棒性，使其在实际应用中具有显著优势。未来，随着基础模型技术的进一步发展，SAMPA有望在三维光声成像、血管网络分割等更复杂的任务中发挥更大的作用。

结语

本研究通过SAMPA工作流，展示了基础模型在光声成像中的巨大潜力。SAMPA不仅简化了深度学习模型的应用流程，还通过实际验证展示了其在多种光声图像处理任务中的高效性和泛化能力。这一成果为光声成像的临床应用提供了新的技术路径，也为未来生物医学成像技术的发展提供了新的方向。

通讯作者简介

马骋，清华大学电子工程系副教授，研究方向为生物光子学、光声成像、组织光学、神经光子学、波前工程、多模态细胞成像。

更多详情见：http://web.ee.tsinghua.edu.cn/macheng/zh_CN/index.htm

刘明远，首都医科大学附属北京友谊医院血管外科副主任医师，首都医学科学创新中心青年研究员，研究方向为以外周动静脉疾病为核心的血管疾病的微创及个体化诊疗。

更多详情见：http://www.ncrc-dd.org.cn/Html/Doctors/Main/Index_1298.html