התחלת העבודה עם רשתות נוירונים
עם צינורות הרשתות הנוירוניות של Limelight, אתגרי ראייה ממוחשבת שפעם היו בלתי אפשריים הפכו לפשוטים. ראייה מבוססת למידה כבר ממלאת תפקיד עצום ברובוטים מתקדמים וברכבים אוטונומיים, ולכן אנו נרגשים להביא טכנולוגיה זו לתלמידי FIRST.
Limelight 1, 2, ו-3 כולם תומכים בראייה מבוססת למידה בעזרת Google Coral. Google Coral הוא מאיץ USB שיש לרכוש בנפרד.
צפו בשימוש של אלופי העולם לשנת 2023, קבוצה 1323, בצינור הרשת הנוירונית של Limelight:
הורידו רשתות נוירוניות מאומנות מראש מדף ההורדות שלנו.
ב-FRC, קבוצות תמיד רצו לעקוב אחר חלקי משחק על המגרש במהלך תקופות האוטונומי והטלאופ. באמצעות צינור "Neural Detector" של Limelight, קבוצות יכולות לעקוב אחר חלקים בדיוק כמו כל מטרה אחרת ללא כיוון כלל.
צינורות "Neural Classifier", לעומת זאת, מאפשרים לקבוצות להוסיף יכולות חישה מתקדמות לרובוטים שלהם. נניח שקבוצה רצתה לקבוע האם הרובוט שלהם מחזיק בכדור אדום, כדור כחול, או שאינו מחזיק בכדור כלל. Limelight המכוון לתוך רובוט יכול להריץ מסווג שאומן לקבוע אחד משלושת המקרים האלה. מסווג יכול גם לספור את מספר האובייקטים במיכל, לקבוע את מצב תכונת שדה וכו'.
רשתות Neural Detector ו-Classifier דורשות הוספה של מאיץ USB של Google Coral. מאיץ Google Coral הוא ASIC (מעגל משולב ייעודי ליישום) שנבנה במיוחד להסקה של רשתות נוירוניות. אפשר לחשוב על המונח "הסקה" כ"ביצוע" או "הרצת נתונים דרך הרשת הנוירונית והפקת פלט".
אם אתם מעוניינים לבנות הבנה עמוקה יותר של למידת מכונה, אנו ממליצים להתחיל עם הסרטון הזה מ-3blue1brown
מתכנתים יכולים ללמוד עוד בצורה מעשית עם הספר הבא
צינור Neural Detector
כדי להתחיל, ודאו שה-Google Coral שלכם מחובר ליציאת USB-A ב-Limelight שלכם.
שנו את "Pipeline Type" ל-"Neural Detector" כדי להתחיל להריץ הסקה על מודל הבדיקה המובנה. הורידו רשתות נוירוניות מאומנות מראש מדף ההורדות שלנו, והעלו אותן כדי להתחיל לעקוב אחר חלקי משחק.
שנו את מחוון "confidence threshold" כדי להתאים את רמת הביטחון הנדרשת לזיהוי מוצלח.
שנו את חלון החיתוך כדי להתעלם בקלות מאובייקטים מחוץ לאזור הזיהוי הרצוי.
צינור Neural Classifier
כדי להתחיל, ודאו שה-Google Coral שלכם מחובר ליציאת USB-A ב-Limelight שלכם.
שנו את "Pipeline Type" ל-"Neural Classifier" כדי להתחיל להריץ הסקה על מודל הבדיקה המובנה. אתם יכולים לאמן מודלי סיווג משלכם באמצעות השיטה המתועדת בסעיף "אימון".
חלון ה-"Crop" יאפשר לכם לשלוט טוב יותר בתמונה המשמשת להסקת רשת נוירונית. בעוד שמודלי סיווג מסוגלים לרמות מדהימות של הכללה בסביבות מגוונות, תראו הצלחה גדולה יותר על ידי צמצום מספר המשתנים בתמונה שלכם.