תחילת העבודה עם רשתות נוירונים
עם צינורות הרשתות הנוירונים של Limelight, אתגרי ראייה ממוחשבת שפעם היו בלתי אפשריים הפכו כעת לטריוויאליים. ראייה מבוססת למידה כבר ממלאת תפקיד עצום ברובוטים חדשניים וברכבים אוטונומיים, ולכן אנחנו נרגשים להביא טכנולוגיה זו לתלמידי FIRST.
Limelight 1, 2 ו-3 כולם תומכים בראייה מבוססת למידה בעזרת Google Coral. Google Coral הוא מאיץ USB שיש לרכוש בנפרד.
צפו בשימוש של קבוצה 1323, אלופת העולם 2023, בצינור הרשת הנוירונית של Limelight:
הורידו רשתות נוירונים מאומנות מראש מדף ההורדות שלנו.
ב-FRC, קבוצות תמיד רצו לעקוב אחר חלקי משחק על המגרש במהלך התקופות האוטונומית והטלאופ. באמצעות צינור "Neural Detector" של Limelight, קבוצות יכולות לעקוב אחר חלקים בדיוק כמו כל מטרה אחרת ללא כוונון.
צינורות "Neural Classifier", לעומת זאת, מאפשרים לקבוצות להוסיף יכולות חישה מתקדמות לרובוטים שלהן. נניח שקבוצה רצתה לקבוע האם הרובוט שלה מחזיק כדור אדום, כדור כחול, או לא מחזיק כדור כלל. Limelight המכוון לתוך הרובוט יכול להריץ מסווג שאומן לקבוע אחד משלושת המקרים הללו. מסווג יכול גם לספור את מספר האובייקטים במאגר, לקבוע את מצב אלמנט במגרש, וכו'.
רשתות Neural Detector ו-Classifier דורשות הוספת מאיץ Google Coral USB. מאיץ Google Coral הוא ASIC (מעגל משולב ייעודי ליישום) שנבנה במיוחד להסקת רשתות נוירונים. אתם יכולים לחשוב על המונח "הסקה" כ"הרצה" או "העברת נתונים דרך הרשת הנוירונית ויצירת פלט".
אם אתם מעוניינים לבנות הבנה עמוקה יותר של למידת מכונה, אנו ממליצים להתחיל עם הסרטון הזה מ-3blue1brown
מתכנתים יכולים ללמוד יותר בצורה מעשית עם הספר הבא
צינור Neural Detector
כדי להתחיל, ודאו שה-Google Coral שלכם מחובר ליציאת USB-A ב-Limelight שלכם.
שנו את "Pipeline Type" ל-"Neural Detector" כדי להתחיל להריץ הסקה על מודל הבדיקה המובנה. הורידו רשתות נוירונים מאומנות מראש מדף ההורדות שלנו, והעלו אותן כדי להתחיל לעקוב אחר חלקי משחק.
שנו את מחוון "confidence threshold" כדי להתאים את הביטחון הנדרש לזיהוי מוצלח.
שנו את חלון החיתוך כדי להתעלם בקלות מאובייקטים מחוץ לאזור הזיהוי הרצוי.
צינור Neural Classifier
כדי להתחיל, ודאו שה-Google Coral שלכם מחובר ליציאת USB-A ב-Limelight שלכם.
שנו את "Pipeline Type" ל-"Neural Classifier" כדי להתחיל להריץ הסקה על מודל הבדיקה המובנה. אתם יכולים לאמן מודלי מסווג משלכם באמצעות השיטה המתועדת בסעיף "Training".
חלון "Crop" יאפשר לכם לשלוט טוב יותר בתמונה המשמשת להסקת רשת נוירונים. בעוד שמודלי מסווג מסוגלים לרמות מדהימות של הכללה בסביבות מגוונות, תראו הצלחה גדולה יותר על ידי מזעור מספר המשתנים בתמונה שלכם.