התחלת העבודה עם רשתות נוירונים
עם צינורות הרשתות הנוירונים של Limelight, אתגרי ראייה ממוחשבת שפעם היו בלתי אפשריים הפכו לפשוטים. ראייה מבוססת למידה כבר משחקת תפקיד עצום ברובוטים מתקדמים וברכבים אוטונומיים, ולכן אנו נרגשים להביא טכנולוגיה זו לתלמידי FIRST.
Limelight 1, 2, ו-3 כולם תומכים בראייה מבוססת למידה בעזרת Google Coral. Google Coral הוא מאיץ USB שיש לרכוש בנפרד.
צפו בשימוש של אלופי העולם לשנת 2023, קבוצה 1323, בצינור הרשת הנוירונית של Limelight:
הורידו רשתות נוירונים מאומנות מראש מדף ההורדות שלנו.
ב-FRC, קבוצות תמיד רצו לעקוב אחר חלקי המשחק בשדה במהלך תקופות האוטונומי והטלאופרציה. באמצעות צינור ה-"Neural Detector" של Limelight, קבוצות יכולות לעקוב אחר חלקים בדיוק כמו כל מטרה אחרת ללא כיוון כלל.
צינורות "Neural Classifier", מצד שני, מאפשרים לקבוצות להוסיף יכולות חישה מתקדמות לרובוטים שלהם. נניח שקבוצה רצתה לקבוע אם הרובוט שלהם מחזיק בכדור אדום, כדור כחול, או לא מחזיק בכדור כלל. Limelight המכוון לתוך רובוט יכול להריץ מסווג שאומן לקבוע אחד משלושת המקרים הללו. מסווג יכול גם לספור את מספר האובייקטים במכל, לקבוע את מצב תכונת השדה, וכו'.
רשתות Neural Detector ו-Classifier דורשות הוספה של מאיץ USB של Google Coral. מאיץ Google Coral הוא ASIC (מעגל משולב ייעודי ליישום) שנבנה במיוחד להסקה של רשתות נוירונים. אפשר לחשוב על המונח "הסקה" כ"ביצוע" או "הרצת נתונים דרך הרשת הנוירונית והפקת פלט".
אם אתם מעוניינים לבנות הבנה עמוקה יותר של למידת מכונה, אנו ממליצים להתחיל עם הסרטון הזה מ-3blue1brown
מתכנתים יכולים ללמוד עוד בצורה מעשית עם הספר הבא
צינור Neural Detector
כדי להתחיל, ודאו שה-Google Coral שלכם מחובר ליציאת ה-USB-A ב-Limelight שלכם.
שנו את "Pipeline Type" ל-"Neural Detector" כדי להתחיל להריץ הסקה על מודל הבדיקה המובנה. הורידו רשתות נוירונים מאומנות מראש מדף ההורדות שלנו, והעלו אותן כדי להתחיל לעקוב אחר חלקי משחק.
שנו את מחוון "confidence threshold" כדי להתאים את הביטחון הנדרש לזיהוי מוצלח.
שנו את חלון החיתוך כדי להתעלם בקלות מאובייקטים מחוץ לאזור הזיהוי הרצוי.
צינור Neural Classifier
כדי להתחיל, ודאו שה-Google Coral שלכם מחובר ליציאת ה-USB-A ב-Limelight שלכם.
שנו את "Pipeline Type" ל-"Neural Classifier" כדי להתחיל להריץ הסקה על מודל הבדיקה המובנה. אתם יכולים לאמן מודלי מסווג משלכם באמצעות השיטה המתועדת בסעיף "אימון".
חלון ה-"Crop" יאפשר לכם לשלוט טוב יותר בתמונה המשמשת להסקת הרשת הנוירונית. בעוד שמודלי מסווג מסוגלים לרמות מדהימות של הכללה בסביבות מגוונות, אתם תראו הצלחה גדולה יותר על ידי מזעור מספר המשתנים בתמונה שלכם.