嵌入式神经网络显微镜通用自适应光学系统

(a) MLAO 嵌入显微镜控制装置中，通过调节照明光提高成像质量。右侧显示了使用 MLAO 的一个操作周期的示例。在使用 MLAO 进行两次样品曝光后，成像质量有了很大提高，因为标记为校正的图像比标记为初始的图像更亮、更清晰。(b) MLAO 被用于小鼠大脑的三光子内视深部组织成像。使用 MLAO 后，细胞更明亮、更清晰、更易辨认。(c) MLAO 用于果蝇幼虫神经肌肉接头的超分辨率成像。使用 MLAO 后，图像更加清晰，更多的精细特征被分辨出来，六边形伪影也被去除。图片来源：Qi Hu, Martin Hailstone 

在生物化学、生理学和神经科学等多个科学学科中，显微镜是进行科学研究的重要仪器。为了纠正光学系统固有限制和样品结构不均匀造成的光波前像差，显微镜中采用了自适应光学（或称 AO）技术。在成像之前，样品结构和波前像差都是未知的，因此自适应光学虽然能显著提高显微镜的成像质量，却很难进行调节。

传统的自动光学系统经常需要额外的波前传感器，这可能既昂贵又耗时。建议的无传感器方法通常需要迭代整流程序，这会造成样品光损伤。迄今为止，还没有一种方法既简单易用，又能适用于多种显微镜模式。

牛津大学的一个研究小组创造了一种基于机器学习的自动光学（MLAO）技术，将自动光学集成到显微镜成像过程中，大大提高了成像质量： 科学与应用》第 12 期封面文章中有所描述。

Schmidt AI in science研究员Qi Hu博士在牛津大学工程科学系Martin Booth教授的指导下监督了这项研究。与传统的自动光学成像方法相比，这项新技术使用的样本曝光量更少，而且在面对许多困难的成像任务（如管理高噪声水平、随机样本运动和功能成像中的 "眨眼 "现象）时表现出了很强的应变能力。

该技术使用了双光子、三光子和宽视场三维结构照明超分辨率显微镜。与其他基于机器学习的技术相比，该方法提出了一种定制的卷积神经网络（CNN）架构，其体积比其他常用的 CNN 结构小很多。

它还囊括了物理理解。此外，成像过程的物理方面也包含在这个定制开发的 CNN 中。

研究报告的作者指出："这意味着 CNN 的内部配置不再需要被视为一个'黑盒子'，而是可以用来提供有关内部工作原理以及如何将像差信息编码到图像中的物理知识。

可用于不同显微镜模式的通用方法
早先的方法通常需要特定的光学设计，或仅限于特定的显微镜模式，与之不同的是，这种建议的策略已被证明可适用于各种显微镜。即使必须创建单独的训练数据集以适应各种成像设备的物理模型，也可以使用相同的结构。

此外，当系统针对各种成像应用进行训练时，CNN 架构保持不变。研究使用双光子、三光子和宽视场三维结构照明显微镜演示了该技术，证明了其出色的多功能性和广泛的适用性。

研究人员对 MLAO 方法及其传统等效方法进行了公平的比较。根据统计结果，MLAO 方法通过减少样品曝光次数进行校正，其性能普遍优于传统方法。在少数情况下，MLAO 方法优于传统方法。此外，MLAO 方法的工作更可靠、更稳定。

此外，MLAO 方法还适用于传统方法通常无法解决的困难成像应用，如功能动态成像和随机样本运动的实时成像。研究还证明，MLAO 具有对噪声水平、成像采样率和失焦结构的变化具有弹性的有利特性。

MLAO 算法中采用的 CNN 架构特别捕捉了成像过程的物理理解。通过将 CNN 权重与物理特征联系起来，不仅可以分析 MLAO 算法的有效性，还可以分析其优缺点。此外，未来方法的设计也可受益于这一特性。

由于其适应性和高效性，MLAO 方法在显微成像应用中大有可为，并可用于神经科学、生理学、生物化学和眼科学等多个科学研究领域。

参考资料

Hu, Q., et al. (2023) Universal adaptive optics for microscopy through embedded neural network control. Light: Science & Application. doi:10.1038/s41377-023-01297-x.