跳到主要内容

补充理论

视觉目标​

FRC 比赛设计者通常会在场地的战略位置放置反光"视觉目标"。这些视觉目标通常由回射反光带制成。主要得分元素通常都有可用于自动瞄准的视觉目标。下面您可以看到 2016 年和 2017 年 FRC 比赛中一些视觉目标的两个示例。

视觉目标示例

这些回射反光视觉目标具有一个非常有用的特性：当光线照射到它们时，光线会直接反射回光源。这就是为什么 Limelight 在其相机镜头周围有明亮的绿色 LED。通过将相机曝光设置得非常低，同时向目标发射明亮的绿光，我们可以获得一张大部分为黑色但带有明亮绿色视觉目标的图像。这使得获取目标变得相对容易。

在这里您可以看到一个理想图像的示例。请注意，由于低曝光设置，图像中几乎所有细节都消失了，但回射反光带却非常明亮地突出显示。

视觉目标示例 2

阈值处理​

阈值处理是大多数 FRC 视觉追踪算法的下一个关键组成部分。它是获取图像并丢弃不在特定颜色范围内的任何像素的过程。阈值处理的结果通常是一维图像，其中像素要么"开"要么"关"。阈值处理在使用上述策略（低曝光、非常暗的图像配合明亮照明的视觉目标）捕获的图像上效果非常好。

Limelight 在 HSV（色相-饱和度-明度）颜色空间中进行阈值处理。您可能习惯于在 RGB（红-绿-蓝）颜色空间中思考颜色。HSV 只是另一种表示颜色的方式，类似于笛卡尔坐标或极坐标可以用来描述位置。我们使用 HSV 颜色空间的原因是色相可以非常精确地选择 Limelight LED 输出的绿色。

HSV 图像

调整阈值设置以尽可能多地从图像中消除干扰是至关重要的。如果您在进入下一阶段之前优化视觉管道的每个阶段，您将获得最佳结果。下图展示了不正确和正确阈值处理之间的区别：

阈值处理示例

有时候，场馆中的天花板灯或窗户可能很难通过阈值处理从图像中移除，这就引出了下一个阶段。

轮廓过滤​

阈值处理后，Limelight 的视觉管道会为图像生成一组轮廓。轮廓是围绕一组连续像素的曲线。有时候，天花板灯、场馆记分牌、窗户和其他东西可能会通过阈值处理步骤。这就是轮廓过滤变得有用的地方。目标是消除任何我们知道不是我们感兴趣的目标的轮廓。

第一个也是最简单的轮廓过滤器是忽略任何小于我们从得分距离看到的视觉目标的轮廓。任何小于该尺寸的东西显然是更远的东西，应该被忽略。这称为面积过滤。

FRC 视觉目标通常具有一些可以利用的几何特性来帮助我们过滤轮廓。例如，如果视觉目标具有宽的长宽比，我们可以过滤掉任何不宽的轮廓：

目标

但是，请记住，您的相机可能从奇怪的角度观察目标。这可能会极大地影响其轮廓的长宽比。请务必从各种角度测试您的设置，以确保您不会过于激进地过滤而最终忽略视觉目标！

目标

下一个图像目标非常有趣。它是 FRC 中设计最好的视觉目标之一（在我们看来）。Limelight 自动计算一个称为轮廓填充度的值。填充度是轮廓的像素面积与其凸包面积的比率。这种特殊形状的填充度非常低，您几乎从未见过任何天花板灯、窗户等具有如此低的填充度。因此，如果您的视觉目标看起来像这个，您可以非常有效地过滤掉不需要的轮廓。

目标

Limelight 有许多过滤轮廓的选项。您可以将这些选项与您对正在尝试追踪的特定视觉目标的几何特性的了解结合使用。

目前，如果多个轮廓通过您的过滤选项，将选择最大的轮廓。此外，管道倾向于使用滞后效应"锁定"轮廓。这是一个有助于防止在相似目标之间闪烁的功能。

从像素到角度​

视觉管道的最终结果是图像中最佳轮廓的像素位置。对于大多数比赛，我们可以直接瞄准轮廓的中心。有时瞄准顶部中心或其他某个点也很有用，但本质上我们有一个我们想要瞄准的像素坐标。为了计算到这个目标的角度，我们需要使用一点三角学。

首先，我们假设我们有一个完美的"针孔"相机。在实践中，这可能与事实相去甚远，但 Limelight 的相机非常接近。（作为反例，鱼眼镜头就远离这个理想状态。）

Limelight 相机的水平视场角为 54 度，垂直视场角为 41 度。它以 320x240 分辨率捕获图像。我们假设图像的中心是相机的光轴（因此该位置的 x 和 y 角度为 0,0）。根据这些已知值，我们可以使用一点三角学来计算图像中任何像素的角度。

下图显示了一个我们想要计算角度的示例目标点。像素坐标从图像的左上角开始，向右和向下为正。

像素到角度

我们的第一步是将像素坐标转换为归一化的 2D 坐标，其中 0,0 是图像的中心，1.0：

(px, py) = 像素坐标，0,0 是左上角，向下和向右为正

(nx, ny) = 归一化像素坐标，0,0 是中心，向右和向上为正

nx = (1/160) * (px - 159.5)

ny = (1/120) * (119.5 - py)

接下来我们定义一个假想的视平面并计算其大小。为简单起见，我们可以选择将此平面放置在相机位置前方 1.0 单位处。这是从上方俯视相机的视图。我们的目标是计算视平面的宽度和高度，因为这些值将用于稍后计算角度：

像素到角度归一化坐标

给定 1.0 单位的距离和已知的水平和垂直视场角，我们可以使用以下公式计算视平面矩形的大小：

vpw = 2.0*tan(horizontal_fov/2)

vph = 2.0*tan(vertical_fov/2)

使用这两个值，我们现在可以通过简单的乘法在归一化像素坐标和视平面坐标之间进行转换。

x = vpw/2 * nx;

y = vph/2 * ny;

请记住，我们选择将视平面放置在距离 1.0 的位置。现在我们拥有计算到目标点角度所需的一切。

像素到角度计算

tan(ax) = x / 1

tan(ay) = y / 1

ax = atan2(x, 1)

ay = atan2(y, 1)