检测多个物体的位置、大小和类别的高速方法

科学家们已经开发出一种新的高速方法来检测几个物体的大小、位置和类别。这是在不需要图像或需要复杂场景重建的情况下完成的。

研究人员开发了一种新的高速方法来检测多个物体的位置、大小和类别，而无需获取图像或需要复杂的场景重建。图片来源：北京理工大学的彭林涛

由于新方法高度降低了物体检测所必需的计算能力，它可能有利于确定驾驶时的风险。

我们的技术基于单像素检测器，它可以直接从少量的二维测量中实现高效和稳健的多物体检测。-中国北京理工大学研究小组组长边立恒

Bian补充说："这种类型的无图像感知技术有望解决现有视觉感知系统的沉重通信负荷、高计算开销和低感知率等问题"。

目前已有的无图像感知技术只能获得单一物体的识别、分类或跟踪。为了同时进行这三项，科学家们想出了一种叫做无图像单像素物体检测（SPOD）的方法。

在Optica出版集团的《光学通讯》杂志上，科学家们报告说，SPOD可以实现略高于80%的物体检测精度。

SPOD方法建立在该研究小组早期的成就之上，即提出了一种无成像传感技术作为有效的场景感知技术。他们之前的工作包括无图像分类、分割和字符识别，这些都取决于单像素检测器。

对于自动驾驶，SPOD可以与激光雷达一起使用，以帮助提高场景重建速度和物体检测精度。我们相信，它对自主驾驶有足够高的检测率和准确率，同时也能减少物体检测所需的传输带宽和计算资源要求。-卞立恒，中国北京理工大学研究团队负责人

无图像的检测

一般来说，高级视觉任务的自动化--如果用来导航车辆或跟踪移动的飞机--需要精心制作的场景图像，以提取确定物体所需的特征。

但是，这需要复杂的成像硬件或复杂的重建算法，导致运行时间长，计算成本高，数据传输负荷大。

依靠单像素探测器的无图像传感技术有可能减少物体检测所需的计算能力。

单像素成像技术不是应用像CMOS或CCD那样的像素化探测器，而是用一连串的结构化光线模式来照亮场景。此外，它还进一步记录透射光强度以获得物体的空间信息。然后利用这些数据来计算重建物体或评估其属性。

就SPOD而言，科学家们利用一个小的但经过改进的结构光模式来快速扫描完整的场景并实现2D测量。

这些测量结果被送入一个称为基于变压器的编码器的深度学习模型，以提取场景中的高维重要特征。此外，这些特征被送入一个基于多尺度注意力网络的解码器，它同时输出场景中所有目标的位置、类别和尺寸信息。

与其他单像素检测方法使用的全尺寸图案相比，小的、优化的图案产生了更好的无图像感应性能。同时，SPOD解码器中的多尺度注意网络加强了网络对场景中目标区域的注意。这可以更有效地提取场景特征，实现最先进的物体检测性能。-彭林涛，小组成员，北京理工大学

概念验证演示
为了对SPOD进行实验说明，科学家们建立了一个概念验证装置。从Pascal Voc 2012的测试数据集中随机选择的图像被打印在胶片上，然后作为目标场景使用。

当利用5%的采样率时，用SPOD完成无图像物体检测和每个场景的空间光调制的平均时间仅为0.016秒。这比先执行场景重建（0.05秒）和进一步检测物体（0.018秒）要快得多。对于测试数据集中包含的所有物体类别，SPOD显示了82.2%的平均检测精度。

Peng补充说："目前，SPOD不能检测每一个可能的物体类别，因为用于训练模型的现有物体检测数据集只包含80个类别。然而，当面临一个特定的任务时，可以对预训练的模型进行微调，以实现对新目标类别的无图像多物体检测，用于行人、车辆或船只检测等应用。"

此外，科学家们计划将无图像感知技术扩展到其他类型的探测器和计算采集系统，以获得无重构感知技术。

参考资料：Okamura, S., et al. (2023) Ultrafast measurement of vector spatial modes by using two-dimensional linear optical sampling. Optics Letters. doi.org/10.1364/OL.490009.