תחילת העבודה עם רשתות נוירונים
עם צינורות הרשתות הנוירונים של Limelight, אתגרי ראייה ממוחשבת שפעם היו בלתי אפשריים הפכו לפשוטים. ראייה מבוססת למידה כבר ממלאת תפקיד עצום ברובוטים מתקדמים ורכבים אוטונומיים, ולכן אנחנו נרגשים להביא טכנולוגיה זו לתלמידי FIRST.
Limelight 1, 2, ו-3 כולם תומכים בראייה מבוססת למידה בעזר ת Google Coral. Google Coral הוא מאיץ USB שיש לרכוש בנפרד.
צפו בשימוש של אלופי העולם לשנת 2023 קבוצה 1323 בצינור הרשת הנוירונית של Limelight:
הורידו רשתות נוירונים מאומנות מראש מדף ההורדות שלנו.
ב-FRC, קבוצות תמיד רצו לעקוב אחר חלקי המשחק על המגרש במהלך תקופות האוטונומי והטלאופ. באמצעות צינור "Neural Detector" של Limelight, קבוצות יכולות לעקוב אחר חלקים בדיוק כמו כל מטרה אחרת ללא כיוון כלל.
צינורות "Neural Classifier", מצד שני, מאפשרים לקבוצות להוסיף יכולות חישה מתקדמות לרובוטים שלהם. נניח שקבוצה רצתה לקבוע האם הרובוט שלהם מחזיק כדור אדום, כדור כחול, או לא מחזיק כדור כלל. Limelight המכוון לתוך רובוט יכול להריץ מסווג שאומן לקבוע אחד משלושת המקרים האלה. מסווג יכול גם לספור את מספר האובייקטים במיכל, לקבוע את מצב תכונת השדה, וכו'.
רשתות Neural Detector ו-Classifier דורשות הוספה של מאיץ Google Coral USB. מאיץ Google Coral הוא ASIC (מעגל משולב ייעודי ליישום) שנבנה במיוחד להסקה של רשתות נוירונים. אפשר לחשוב על המונח "הסקה" כ"הרצה" או "העברת נתונים דרך הרשת הנוירונית והפקת פלט".
אם אתם מעוניינים לבנות הבנה עמוקה יותר של למידת מכונה, אנו ממליצים להתחיל עם הסרטון הזה מ-3blue1brown
מתכנתים יכולים ללמוד עוד בצורה מעשית עם הספר הבא
צינור Neural Detector
כדי להתחיל, ודאו שה-Google Coral מחובר ליציאת USB-A בLimelight שלכם.
שנו את "Pipeline Type" ל-"Neural Detector" כדי להתחיל להריץ הסקה על מודל הבדיקה המובנה. הורידו רשתות נוירונים מאומנות מראש מדף ההורדות שלנו, והעלו אותן כדי להתחיל לעקוב אחר חלקי משחק.
שנו את מחוון "confidence threshold" כדי להתאים את רמת הביטחון הנדרשת לזיהוי מוצלח.
שנו את חלון החיתוך כדי להתעלם בקלות מאובייקטים מחוץ לאזור הזיהוי הרצוי.
צינור Neural Classifier
כדי להתחיל, ודאו שה-Google Coral מחובר ליציאת USB-A בLimelight שלכם.
שנו את "Pipeline Type" ל-"Neural Classifier" כדי להתחיל להריץ הסקה על מודל הבדיקה המובנה. אתם יכולים לאמן מודלי סיווג משלכם באמצעות השיטה המתועדת בסעיף "אימון".
חלון ה"Crop" יאפשר לכם לשלוט טוב יותר בתמונה המשמשת להסקת רשת נוירונים. בעוד שמודלי סיווג מסוגלים לרמות מדהימות של הכללה בסביבות מגוונות, אתם תראו הצלחה גדולה יותר על ידי מזעור מספר המשתנים בתמונה שלכם.