Primeiros Passos com Redes Neurais
Com os pipelines de redes neurais do Limelight, desafios de visão computacional antes impossíveis agora são triviais. A visão baseada em aprendizado já desempenha um papel enorme em robôs de ponta e veículos autônomos, então estamos animados em trazer essa tecnologia para os estudantes do FIRST.
Limelight 1, 2 e 3 todos suportam visão baseada em aprendizado com a ajuda do Google Coral. O Google Coral é um acelerador USB que deve ser comprado separadamente.
Confira o uso do pipeline de Rede Neural do Limelight pelo Campeão Mundial de 2023, equipe 1323:
Baixe redes neurais pré-treinadas em nossa página de downloads.
No FRC, as equipes sempre quiseram rastrear peças do jogo no campo durante os períodos autônomo e teleoperado. Usando o pipeline "Neural Detector" do Limelight, as equipes podem rastrear peças como qualquer outro alvo sem nenhum ajuste.
Os pipelines "Neural Classifier", por outro lado, permitem que as equipes adicionem capacidades avançadas de sensoriamento aos seus robôs. Digamos que uma equipe quisesse determinar se seu robô estava em posse de uma bola Vermelha, uma bola Azul, ou não estava em posse de nenhuma bola. Um Limelight apontado para dentro de um robô poderia executar um classificador treinado para determinar um desses três casos. Um classificador também poderia contar o número de objetos em um compartimento, determinar o estado de um elemento do campo, etc.
As redes Neural Detector e Classifier requerem a adição de um acelerador USB Google Coral. O Google Coral Accelerator é um ASIC (circuito integrado de aplicação específica) que é construído especificamente para inferência de redes neurais. Você pode pensar no termo "inferência" como "execução" ou "passar dados pela rede neural e produzir uma saída".
Se você está interessado em construir uma compreensão mais profunda de aprendizado de máquina, recomendamos começar com este vídeo do 3blue1brown
Programadores podem aprender mais de forma prática com o seguinte livro
Pipeline Neural Detector
Para começar, certifique-se de que seu Google Coral está conectado à porta USB-A do seu Limelight.
Mude "Pipeline Type" para "Neural Detector" para começar a executar inferência no modelo de teste integrado. Baixe redes neurais pré-treinadas em nossa página de downloads, e faça o upload para começar a rastrear peças do jogo.
Ajuste o controle deslizante "confidence threshold" para ajustar a confiança necessária para uma detecção bem-sucedida.
Altere a janela de corte para ignorar facilmente objetos fora da zona de detecção desejada.
Pipeline Neural Classifier
Para começar, certifique-se de que seu Google Coral está conectado à porta USB-A do seu Limelight.
Mude "Pipeline Type" para "Neural Classifier" para começar a executar inferência no modelo de teste integrado. Você pode treinar seus próprios modelos de classificador usando o método documentado na seção "Training".
A janela "Crop" permitirá que você controle melhor a imagem usada para inferência da rede neural. Embora os modelos de classificador sejam capazes de níveis incríveis de generalização em ambientes diversos, você terá maior sucesso minimizando o número de variáveis em sua imagem.