Primeros Pasos con Redes Neuronales
Con los pipelines de redes neuronales de Limelight, los desafíos de visión por computadora que antes eran imposibles ahora son triviales. La visión basada en aprendizaje ya juega un papel enorme en robots de vanguardia y vehículos autónomos, por lo que estamos emocionados de llevar esta tecnología a los estudiantes de FIRST.
Limelight 1, 2 y 3 soportan visión basada en aprendizaje con la ayuda de Google Coral. Google Coral es un acelerador USB que debe comprarse por separado.
Mira el uso del pipeline de Red Neuronal de Limelight por parte del Campeón Mundial 2023, el equipo 1323:
Descarga redes neuronales preentrenadas desde nuestra página de descargas.
En FRC, los equipos siempre han querido rastrear piezas de juego en el campo durante los períodos autónomo y teleoperado. Usando el pipeline "Neural Detector" de Limelight, los equipos pueden rastrear piezas como cualquier otro objetivo sin necesidad de ajustes.
Los pipelines "Neural Classifier", por otro lado, permiten a los equipos agregar capacidades de detección avanzadas a sus robots. Digamos que un equipo quería determinar si su robot tenía posesión de una bola Roja, una bola Azul, o no tenía posesión de ninguna bola. Un Limelight apuntando dentro de un robot podría ejecutar un clasificador entrenado para determinar uno de estos tres casos. Un clasificador también podría contar el número de objetos en una tolva, determinar el estado de una característica del campo, etc.
Las redes Neural Detector y Classifier requieren la adición de un acelerador USB Google Coral. El Acelerador Google Coral es un ASIC (circuito integrado de aplicación específica) que está diseñado específicamente para inferencia de redes neuronales. Puedes pensar en el término "inferencia" como "ejecución" o "pasar datos a través de la red neuronal y producir una salida".
Si estás interesado en construir una comprensión más profunda del aprendizaje automático, recomendamos comenzar con este video de 3blue1brown
Los programadores pueden aprender más de manera práctica con el siguiente libro
Pipeline Neural Detector
Para comenzar, asegúrate de que tu Google Coral esté conectado al puerto USB-A de tu Limelight.
Cambia "Pipeline Type" a "Neural Detector" para comenzar a ejecutar inferencia en el modelo de prueba incorporado. Descarga redes neuronales preentrenadas desde nuestra página de descargas, y súbela para comenzar a rastrear piezas de juego.
Cambia el control deslizante "confidence threshold" para ajustar la confianza requerida para una detección exitosa.
Cambia la ventana de recorte para ignorar fácilmente objetos fuera de la zona de detección deseada.
Pipeline Neural Classifier
Para comenzar, asegúrate de que tu Google Coral esté conectado al puerto USB-A de tu Limelight.
Cambia "Pipeline Type" a "Neural Classifier" para comenzar a ejecutar inferencia en el modelo de prueba incorporado. Puedes entrenar tus propios modelos clasificadores usando el método documentado en la sección "Training".
La ventana "Crop" te permitirá controlar mejor la imagen utilizada para la inferencia de la red neuronal. Aunque los modelos clasificadores son capaces de niveles increíbles de generalización en entornos diversos, tendrás mayor éxito minimizando el número de variables en tu imagen.