神经网络入门
通过Limelight的神经网络流水线，曾经不可能完成的计算机视觉挑战现在变得轻而易举。基于学习的视觉技术在最前沿的机器人和自动驾驶汽车中已经发挥着巨大作用，因此我们很高兴能够将这项技术带给FIRST的学生们。
Limelight 1、2和3都支持基于学习的视觉技术，需要配合Google Coral使用。Google Coral是一个需要单独购买的USB加速器。
看看2023年世界冠军1323队如何使用Limelight的神经网络流水线：
从我们的下载页面下载预训练的神经网络。
在FRC比赛中，队伍一直希望能在自动和遥控阶段追踪场地上的比赛道具。使用Limelight的"神经检测器"流水线，队伍可以像追踪其他目标一样追踪道具，无需任何调试。
另一方面，"神经分类器"流水线让队伍能够为机器人添加高级感知能力。假设一个队伍想要确定他们的机器人是否持有红球、蓝球或没有持有球。朝向机器人内部的Limelight可以运行一个经过训练的分类器来判断这三种情况。分类器还可以计算料斗中的物体数量、确定场地特征的状态等。
神经检测器和分类器网络需要额外添加Google Coral USB加速器。Google Coral加速器是一个专门用于神经网络推理的ASIC（专用集成电路）。这里的"推理"可以理解为"执行"或"将数据输入神经网络并产生输出"。
如果你想深入理解机器学习，我们建议从3blue1brown的这个视频开始
程序员可以通过这本书进行实践学习
神经检测器流水线
首先，确保将Google Coral插入Limelight的USB-A端口。
将"Pipeline Type"更改为"Neural Detector"以开始在内置测试模型上运行推理。从我们的下载页面下载 预训练的神经网络，并上传它以开始追踪比赛道具。
调整"confidence threshold"滑块来设置成功检测所需的置信度。
更改裁剪窗口可以轻松忽略所需检测区域之外的物体。
神经分类器流水线
首先，确保将Google Coral插入Limelight的USB-A端口。
将"Pipeline Type"更改为"Neural Classifier"以开始在内置测试模型上运行推理。你可以使用"训练"部分中记录的方法训练自己的分类器模型。
"Crop"窗口将允许你更好地控制用于神经网络推理的图像。虽然分类器模型能够在不同环境中实现令人难以置信的泛化水平，但通过最小化图像中的变量数量，你将获得更好的成功率。