点状神经网络 – Hackster.io

计算机视觉提供了关于世界的非常密集的信息来源，因此这项技术被用于广泛的应用也就不足为奇了，从监视到野生动物监测和自动驾驶等等。 但这些数据的丰富性是一把双刃剑——虽然它可以开发出许多很酷的新技术，但它也需要大量的计算能力才能理解任何意义。 这通常意味着更高的成本、较差的能源效率和有限的便携性。 为了改进这种模式并将计算机视觉带入更多应用，近年来已经做出了许多努力，以使处理更接近图像传感器，从而可以更有效地运行。

这些努力通常属于三大类之一——近传感器处理、传感器内处理或像素内处理。 在第一种情况下，专门的处理芯片与图像传感器位于同一电路板上，提供到云端进行处理的行程，但它仍然是传感器和处理器之间数据传输的瓶颈。 传感器内处理通过将其置于图像传感器本身内，使处理更近了一步，但它并不能完全消除近传感器处理出现的数据传输瓶颈。 作为一条更好的前进道路，已开发出像素处理技术，可将处理直接传输到图像传感器的每个单独像素，从而消除数据传输中的延迟。

虽然这种方法带来了很多希望，但当前的实现往往依赖于尚未准备好生产的新兴技术，或者不支持现实世界机器学习模型所需的各种操作，例如多位、多位通道卷积操作和归一化校正了批次和线性单元。 这些解决方案在纸面上看起来令人印象深刻，但是当橡胶遇到道路时，它们除了解决游戏问题之外没有任何用处。

由于南加州大学洛杉矶分校的一个团队最近的工作，适用于现实世界应用的像素处理似乎更接近成为现实。 称呼 处理内存中的像素他们的方法在单个像素级别结合了网络权重和激活，以在图像传感器内实现高度并行计算，能够执行许多神经网络所需的卷积等操作。 事实上，应用这些技术的传感器能​​够执行处理现代深度神经网络前几层所需的所有操作。 伙计们，在这里可以看到涉及 MNIST 数字评级的游戏没有问题。

研究人员通过构建一个 MobileNetV2 模型来测试他们的方法，该模型使用他们的方法在视觉警报词数据集上进行了训练。 结果发现，与标准的半处理和传感器内应用相比，数据传输延迟减少了高达 21 倍。 这种效率也体现在较低的功率预算中，其中功率延迟积被发现减少了 11 倍。 重要的是，这些效率提升是在没有显着降低模型准确性的情况下实现的。

由于模型的前几层是以像素为单位处理的，因此只需将少量压缩数据发送到传感器外部的处理器。 这不仅消除了数据传输的瓶颈，还意味着可以将廉价的微控制器与这些图像传感器配对，以使先进的视觉算法能够在更小的平台上运行，而不会牺牲质量。 确保在未来密切关注这项工作，看看它可能会对 tinyML 应用程序产生哪些变化。