中医药拥有几千年的悠久历史，是中国以及全球医疗体系中不可或缺的一部分。在新冠肺炎疫情的治疗过程中，临床研究明确显示中医药在缓解感染者症状方面发挥了积极作用。中医药的药材产地对其药效产生显著影响，尤其是道地药材具有更高的质量和疗效。因此，研究和开发中药材的快速检测技术，确保中药材质量和疗效，具有重要的研究价值和应用前景。

采用大数据技术在中药产地检测领域发挥了广泛的应用，为中药的质量控制、临床研究、资源开发以及安全性监测提供了一种新的技术手段。然而，由于不同地方的相同药材在形状和颜色上可能非常相似，采用传统的图像处理技术进行分类的准确率较低。而利用现代化学分析技术（HPLC、TLC、UV、MS）需要专门的设备、需要对样品进行复杂的前处理，测试周期长，难以满足工业检测的实时快速和绿色检测需求。

近日，华中科技大学武汉光电国家研究中心郭连波教授与于源副教授合作，采用具有原位、快速、以及多元素同时检测的激光诱导击穿光谱(LIBS)技术，并融合图像处理技术，以提升中药分类的精度和效率。该研究以典型的中药材枸杞为研究对象，获取了枸杞样本的一维LIBS光谱数据和二维图像数据。面对这一异构的双模态数据，研究团队提出了一种创新的两级融合轻量网络。实验结果表明，该模型以最少的计算负担和参数，达到了99%以上的分类准确度，验证了该模型在高效性和高准确性方面的优越性，为中医药的快速检测提供一种新方法。相关工作于2023年8月30日在线发表于计算机领域期刊《Information Fusion》，题为"Spectrum-image dual-modality fusion empowered accurate and efficient classification system for traditional Chinese medicine"。

针对枸杞的一维LIBS光谱数据和二维图像数据，面临三大主要挑战：(1)不同模态的特征表示；(2)不同模态的特征融合；(3)在确保分类精度的前提下保证网络的轻量。为了解决这些挑战，研究团队提出了两级融合轻量网络，流程图如图1所示。在网络的第一阶段，利用深度注意融合（DAF）模块中的DSC模块逐层学习堆叠的LIBS光谱数据和图像数据中的重要信息，然后通过Attention模块集中在最关键的特征上。在网络的第二阶段，与以往直接选择元素谱峰或直接对元素波形进行积分的方法不同，该研究引入了一种线到面积（LTA）模块的新方法，用于光谱特征的提取。该模块聚焦于关键元素谱线并凸显这些元素谱线的特征。与传统方法不同，LTA模块不仅考虑了元素谱峰，还考虑了元素波形的演变趋势，为一维光谱数据处理提供了全新的视角。该研究首次将轻量化的思想引入LIBS数据处理算法中。提出的两阶段融合模型的参数量为2.95M和计算量为0.24GM。对于一对LIBS-图像双模态数据，平均训练时间为0.917ms，平均测试时间为0.859ms，该模型具备较高的分类精度、较低的计算量和参数量，能够满足实时检测的要求。

图1. 基于光谱-图像双模态的两级融合轻量网络流程图

该论文的第一作者为博士研究生龚奥军。华中科技大学武汉光电国家研究中心郭连波教授和于源副教授担任共同通讯作者。研究工作得到了华中科技大学邓贤君教授的悉心指导。博士研究生夏云芝和胡桢麟作为共同作者参与相关工作。该工作得到了国家自然科学基金项目（No. 62075069）的支持。

论文链接：https://doi.org/10.1016/j.inffus.2023.101981