本文介绍的是浙江大学许迎科课题组通过深度学习的方法，对显微序列图像中细胞内的运动囊泡进行识别与追踪，有效提升了追踪准确率，并应用于实际细胞内动态过程的定量分析，论文发表在《Journal of Innovative Optical Health Sciences》期刊2022年第5期。

U-Net-based deep learning for tracking and quantitative analysis of intracellular vesicles in time-lapse microscopy images

基于U-Net深度学习的显微序列图像中胞内运动囊泡的追踪与定量分析

Zhichao Liu,Heng Zhang, Luhong Jin, Jincheng Chen, Alexander Nedzved, Sergey Ablameyko, Qing Ma, Jiahui Yu, Yingke Xu*

研究背景

细胞内囊泡的运动与物质转运、激素调节、能量代谢等过程有关，对其进行追踪和动态特性定量分析，对于理解细胞的生物学规律至关重要。随着光学与计算机技术的快速发展，先进的荧光显微成像技术使得特异性标记细胞内的特定结构和动态观测细胞中的生命活动成为可能。在获取大量包含丰富生物医学信息的时序图像的同时，我们也面临着如何高效准确地处理这些数据并从中提取出有效信息的新挑战。受显微图像信噪比、时空分辨率参差等因素的限制，传统的图像处理和分析算法往往难以取得理想的效果。近年来，许多研究者将深度学习应用于显微图像的分类、分割、目标追踪和重建等多项任务中，并取得了良好的效果。

内容简介

该论文以荧光显微图像中的细胞内囊泡为研究对象，利用深度学习的方法开发了亚细胞结构识别与追踪算法，实现了细胞内囊泡的识别定位、追踪以及动态特性定量分析。本文首先构建了细胞内囊泡追踪的真实细胞图像和计算机模拟图像数据集；然后基于U-Net设计和训练了囊泡识别定位与运动状态分类的模型，模型算法追踪准确率可达90%以上；在此基础上，还定义了数项囊泡动态特性定量评价指标，并设计了温控和药物实验验证了算法的实际应用价值。综上，论文利用深度学习的方法实现了荧光显微序列图像中囊泡的识别与追踪，并可进一步对其动态特性进行定量分析。此方法未来可能应用于细胞药物筛选或相关疾病的细胞机理探索，对生物医学的研究将发挥重要作用。

图文导读

1.数据集构建

图1(a)模拟数据获取过程 (b)真实细胞内囊泡图像(c)模拟获得的囊泡图像

图a为细胞内囊泡运动轨迹及形态的数据模拟过程，通过囊泡分布、囊泡运动模式、囊泡形态、显微图像噪声等模拟步骤，获取了近似于真实细胞内囊泡显微图像(图b)的模拟数据图像(图c)。利用模拟数据集对模型进行预训练，再利用迁移学习对模型进行重训练，可以降低需人工标注的真实显微图像数据需求量。

2.模型和算法设计

图2囊泡追踪与定量分析的算法模块步骤图

该论文将囊泡的追踪分析过程分为四步，首先利用U-Net模型对细胞内囊泡的进行识别与定位；随后根据获取的质心位置信息基于U-Net和囊泡运动模式进行运动状态分类；第三步根据不同的运动状态采用合适的轨迹连接算法；最后根据追踪获得的结果进行囊泡的动态特性定量分析。

3.识别与追踪结果

图3不同识别定位算法在模拟和真实数据中的应用效果比较

图4不同轨迹连接算法的连接效果比较

图3为传统的特征点检测方法（FPD）和本研究提出的 U-Net 分别在计算机生成的模拟数据和采集的真实细胞图像中的囊泡检测效果示例。模型在模拟数据测试集中定位准确率为93.9%，在真实数据测试集中准确率为74.4%，均高于FPD点检测方法。

图4为运动状态分类前后扇形追踪器在模拟囊泡数据中轨迹连接效果对比。第一列为轨迹连接的金标准，第二列为扇形追踪器的连接结果，第三列为运动状态分类辅助下扇形追踪器的连接结果；第二行对应第一行红色方框内的局部放大图。在轨迹发生交联重叠时，扇形追踪器会出现较多的错误连接，而运动状态分类的引入可以极大地减少此现象的发生，将扇形追踪器的连接准确率由62.3%提升至93.6%。

图5真实细胞内囊泡显微图像序列中的追踪应用结果

图5为所提出的囊泡识别与追踪算法在真实囊泡图像序列中的应用结果。对照(a)的囊泡序列图像和(b)的轨迹，本研究所提出的追踪算法能够较好地对囊泡进行追踪，(b)中不同颜色的轨迹线表示不同的运动状态，黄色为定向运动，蓝色为布朗运动，红色为受限运动，运动状态与实际轨迹相符。

4.动态特性定量

图6不同温度下细胞内囊泡动态特性进行定量分析的结果

图6为用本论文所提分析方法对不同温度下囊泡各项动态特性指标定量分析的柱状统计图。分别选取10℃，25℃，37℃下的5 个视野，计算各运动状态囊泡占比和定向运动平均速率，并对不同温度组别间通过T检验进行统计学差异显著性分析，得出：温度降低，囊泡布朗运动和定向运动所占比例降低，受限运动比例提升，定向运动速率降低，提示细胞的囊泡动态特性减弱，与预期结果相符，验证了算法的有效性与应用价值。

通讯作者简介

许迎科，浙江大学生物医学工程与仪器科学学院教授，博士生导师，院长助理。浙江省心脑血管检测技术与药效评价重点实验室副主任，浙江大学滨江研究院智能医疗技术与装备研究中心副主任。2008年毕业于浙江大学生物医学工程专业，获工学博士学位。2008年至2012年，于美国耶鲁大学医学院从事科研工作，先后担任博士后及研究助理科学家。目前担任耶鲁大学兼职客座教授(Adjunct Professor)、中国工程院院刊《Engineering》杂志青年编委，Journal of Cellular and Molecular Medicine杂志副主编等职务。长期从事生物光子学与细胞生物学的应用研究工作，在Nature Methods, Nature Communications, JCB等期刊发表SCI论文70多篇。主持科技部重点研发计划、国家自然科学基金、基金委重大仪器专项及科技部973项目子课题等的资助。入选浙江省万人计划、省151人才工程、浙江省杰出青年基金获得者。