神经性波前整形相机克服了光学成像中的光散射问题

在实验中，由莱斯大学和马里兰大学的合作者发明的名为NeuWS的相机技术，能够纠正相机和被成像物体之间的光散射介质的干扰。上排显示的是一个蝴蝶邮票的参考图像（左），普通相机通过一块大约80微米厚的洋葱皮拍摄的邮票（中间），以及修正了洋葱皮光散射的NeuWS图像（右）。中间一行显示了以0.5度的光扩散器为散射介质的狗食道组织样本的参考（左）、未校正（中）和校正（右）图像，最下面一行显示了以涂有指甲油的玻璃片为散射介质的正解目标的相应图像。每行的插图特写显示在左边，以供比较。资料来源：Veeraraghavan实验室/莱斯大学

来自莱斯大学和马里兰大学的工程师们创造了全动态视频技术，该技术有可能被用来制造相机，以透过雾、烟、雨、浑浊的水、皮肤、骨骼和其他反射散射光并遮蔽物体的介质。

"通过散射介质成像是目前光学成像的'圣杯问题'，"莱斯大学的Ashok Veeraraghavan说，他是今天发表在《科学进展》上的一项开放性研究的共同通讯作者。"散射是使光--它的波长较低，因此能提供更好的空间分辨率--在许多、许多情况下无法使用。如果你能消除散射的影响，那么成像就会走得更远。

Veeraraghavan的实验室与马里兰州共同通讯作者Christopher Metzler的研究小组合作，创造了一项他们命名为NeuWS的技术，这是 "神经波前塑形 "的缩写，是该技术的核心技术。

"如果你问那些正在研究自动驾驶汽车的人他们面临的最大挑战，他们会说，'坏天气。我们无法在恶劣的天气下进行良好的成像"。Veeraraghavan说。"他们说的是'坏天气'，但他们的意思，从技术角度讲，是光散射。"

"如果你问生物学家关于显微镜的最大挑战，他们会说，'我们不能在体内对深层组织进行成像'。他们说的是'深层组织'和'体内'，但实际上他们的意思是，他们想看透的皮肤和其他组织层在散射光。如果你问水下摄影师他们最大的挑战，他们会说，'我只能给离我很近的东西拍照'。他们实际上的意思是，光线在水中散射，因此不能深入到足以让他们关注到远处的事物。在所有这些情况以及其他情况下，真正的技术问题是散射。"


Veeraraghavan说，NeuWS有可能被用来克服这些情况和其他情况下的散射问题。

"他说："这对我们来说是一个很大的进步，以一种可能实用的方式来解决这个问题。"在我们能够在这些应用领域中的每一个领域中实际建立原型之前，还有很多工作要做，但是我们所展示的方法可以穿越它们。"

从概念上讲，NeuWS是基于这样的原理：光波是复杂的数学量，具有两个关键属性，可以针对任何给定的位置进行计算。第一个，幅度，是波在该地点携带的能量，第二个是相位，是波在该地点的振荡状态。Metzler和Veeraraghavan说，测量相位是克服散射的关键，但由于光的高频性，直接测量相位是不现实的。

因此，他们改用 "波阵 "来测量入射光线--包含相位和强度信息的单一测量，并使用后端处理来快速破译每秒几百次波阵测量的相位信息。

"技术上的挑战是找到一种快速测量相位信息的方法，"马里兰计算机科学助理教授、"三只猫头鹰 "莱斯大学校友梅茨勒说，他分别于2019年、2014年和2013年在莱斯大学获得电气和计算机工程的博士、硕士和学士学位。在Veeraraghavan及其同事于2020年发表的名为WISH的波前处理技术的早期迭代开发过程中，Metzler就在莱斯大学。

"WISH解决了同样的问题，但它是在所有东西都是静态和美好的假设下工作的，"Veeraraghavan说。"当然，在现实世界中，事情一直在变化。"

他说，对于NeuWS，我们的想法是不仅要消除散射的影响，而且要足够快地消除它们，以便散射介质本身在测量期间不发生变化。

"Veeraraghavan说："你不是测量振荡状态本身，而是测量它与已知波阵的相关性。"你采取一个已知的波前，你把它与未知的波前进行干扰，你测量两者产生的干扰模式。这就是这两个波面之间的相关性。"

梅茨勒用晚上透过云雾看北极星来作比喻。"如果我知道北极星应该是什么样子，而且我可以知道它以一种特定的方式被模糊了，那么这就告诉我其他东西将如何被模糊。"

Veerarghavan说："这不是一种比较，而是一种关联，如果你至少测量三个这样的关联，你就可以唯一地恢复未知的波前。"

最先进的空间光调制器每分钟可以进行几百次这样的测量，Veeraraghavan、Metzler及其同事表明他们可以使用一个调制器和他们的计算方法来捕捉移动物体的视频，这些物体被介入的散射介质遮挡住了。

"这项研究的主要作者之一、Veeraraghavan研究小组的博士生、莱斯大学的郭海云说："这是第一步，是这项技术能够实时纠正光散射的原理证明。

例如，在一组实验中，含有猫头鹰或乌龟印刷图像的显微镜载玻片在转轴上旋转，并由一台高空摄像机进行拍摄。光散射介质被放置在摄像机和目标幻灯片之间，研究人员测量了NeuWS对光散射的修正能力。散射介质的例子包括洋葱皮、涂有指甲油的载玻片、鸡胸组织切片和光扩散膜。对于其中的每一种，实验显示NeuWS可以纠正光散射并产生清晰的旋转数字视频。

Metzler说："我们开发了算法，使我们能够连续地估计散射和场景，"。"这就是使我们能够做到这一点的原因，我们用称为神经表征的数学机器来做，使它既高效又快速。"

NeuWS快速调制来自入射波面的光，以创建几个稍微改变的相位测量。然后，这些改变的相位被直接送入一个16,000个参数的神经网络，该网络迅速计算出必要的关联，以恢复波前的原始相位信息。

"Veeraraghavan说："神经网络允许我们设计需要更少测量的算法，从而使它更快。

梅茨勒说，"这实际上是最大的卖点。更少的测量，基本上意味着我们需要更少的捕获时间。这使我们能够捕获视频而不是静止帧。"

参考资料

Brandon Y. Feng et al, NeuWS: Neural wavefront shaping for guidestar-free imaging through static and dynamic scattering media, Science Advances (2023). DOI: 10.1126/sciadv.adg4671