神经网络入门

借助 Limelight 的神经网络管道，曾经不可能完成的计算机视觉挑战现在变得轻而易举。基于学习的视觉技术已经在尖端机器人和自动驾驶汽车中发挥着巨大作用，因此我们很高兴将这项技术带给 FIRST 的学生们。

信息

Limelight 1、2 和 3 都支持借助 Google Coral 实现基于学习的视觉。Google Coral 是一款 USB 加速器，需要单独购买。

观看 2023 年世界冠军 1323 队使用 Limelight 神经网络管道的视频：

从我们的下载页面下载预训练的神经网络。

在 FRC 中，队伍一直希望能在自动和遥控阶段追踪场地上的游戏道具。使用 Limelight 的"神经检测器"管道，队伍可以像追踪任何其他目标一样追踪道具，无需任何调整。

另一方面，"神经分类器"管道允许队伍为机器人添加高级感知能力。假设一个队伍想要确定他们的机器人是持有红球、蓝球，还是没有持有球。一个指向机器人内部的 Limelight 可以运行一个经过训练的分类器来判断这三种情况之一。分类器还可以计算料斗中物体的数量、确定场地特征的状态等。

神经检测器和分类器网络需要添加 Google Coral USB 加速器。Google Coral 加速器是一种 ASIC（专用集成电路），专门为神经网络推理而构建。你可以将"推理"这个术语理解为"执行"或"将数据通过神经网络运行并产生输出"。

如果你有兴趣深入了解机器学习，我们建议从 3blue1brown 的这个视频开始

程序员可以通过以下书籍以实践的方式学习更多内容

神经检测器管道

首先，确保你的 Google Coral 已插入 Limelight 的 USB-A 端口。

将"Pipeline Type"更改为"Neural Detector"以开始在内置测试模型上运行推理。从我们的下载页面下载预训练的神经网络，并上传它以开始追踪游戏道具。

调整"confidence threshold"滑块以调整成功检测所需的置信度。

更改裁剪窗口以轻松忽略所需检测区域之外的物体。

首先，确保你的 Google Coral 已插入 Limelight 的 USB-A 端口。

将"Pipeline Type"更改为"Neural Classifier"以开始在内置测试模型上运行推理。你可以使用"训练"部分中记录的方法训练自己的分类器模型。

"Crop"窗口将允许你更好地控制用于神经网络推理的图像。虽然分类器模型能够在各种环境中实现令人难以置信的泛化水平，但通过最小化图像中的变量数量，你将获得更大的成功。