יישום שלב אחר שלב של התנהגות DeepBehavior ארגז כלים למידה עמוקה עבור ניתוח התנהגות אוטומטית
6 בפברואר 2020
מטרת פרוטוקול זה היא לנצל מראש בנוי רשתות עצביות convolutional כדי להפוך מעקב התנהגות ולבצע ניתוח התנהגות מפורטת. ניתן להחיל מעקב אחר התנהגות על כל נתוני הווידאו או רצפי התמונות וניתנים להכליל כדי לעקוב אחר כל אובייקט המוגדר על-ידי המשתמש.
ביצוע ניתוח התנהגות מפורט חיוני להבנת מערכת היחסים בין התנהגות המוח. אחת הדרכים הטובות ביותר להעריך התנהגות היא באמצעות תצפיות זהירות. עם זאת, כימות ההתנהגות שנצפתה הוא זמן רב ומאתגר.
שיטות קלאסיות לניתוח התנהגות אינן ניתנות לכימות בקלות והן סובייקטיביות מטבען. ההתפתחויות האחרונות בלמידה עמוקה, ענף של למידת מכונה ותחומי בינה מלאכותית, מספקות הזדמנויות לכמות אוטומטי ואובייקטיבי של תמונות וסרטונים. כאן אנו מציגים את השיטות שפותחו לאחרונה באמצעות רשתות עצביות עמוקות כדי לבצע ניתוח התנהגות מפורט אצל מכרסמים ובני אדם.
היתרון העיקרי של טכניקה זו הוא הגמישות וההתאימות שלה לכל נתוני הדמיה לניתוח התנהגות. ארגז הכלים DeepBehavior תומך בזיהוי אובייקט יחיד, בזיהוי אובייקטים מרובי ומעקב אחר תנוחות אנושיות. אנו מספקים גם את קוד עיבוד הפוסט ב- MATLAB לשיטות ניתוח קינמטיות מעמיקות יותר.
התחל בהגדרת תיבת טנזור. הפעל את הסביבה ולאחר מכן השתמש ב- GitHub כדי לשכפל את תיבת טנזור ולהתקין אותה במחשב ובתלות נוספת. לאחר מכן, הפעל את ממשק המשתמש הגרפי לתיוג ותייג לפחות 600 תמונות מהפצה רחבה של מסגרות התנהגות.
כדי להוסיף תווית לתמונה, לחץ על הפינה השמאלית העליונה של אובייקט העניין ולאחר מכן על הפינה השמאלית התחתונה. לאחר מכן ודא שהתיבה התוחמת לוכדת את האובייקט כולו. לחץ על לצד כדי לעבור למסגרת הבאה.
כדי לקשר את תמונות האימון לקובץ פרמטרי היפר-רשת, פתח את overfeat_rezoom. json בעורך טקסט ולהחליף את נתיב הקובץ תחת train_idl labels.json. לאחר מכן הוסף את אותו נתיב קובץ תחת test-idl ושמור את השינויים.
ליזום את סקריפט האימון אשר יתחיל אימון עבור 600, 000 איטראציות וליצור את המשקולות מאומנים וכתוצאה מכך של הרשת העצבית המפותלת בתקריית הפלט. לאחר מכן בצע חיזוי על תמונות חדשות והצג את יציאות הרשת כתמונות המסותוויות וכנקודות ציון של תיבה תוחמת. התקן את YOLOv3.
לאחר מכן תייג את נתוני Yolo_mark באמצעות תוויות על-ידי הצבת התמונות Yolo_mark אובגה של נתונים ותוויתן בזה אחר זה בממשק המשתמש הגרפי. תייג כ- 200 תמונות. לאחר מכן, הגדר את קובץ התצורה.
כדי לשנות את קובץ התצורה, פתח את YOLO-obj. תיקיית cfg. שנה את שורות האצווה, חלוקת המשנה והמדיות.
לאחר מכן שנה את המסנן עבור כל שכבת קונבולוטוריה לפני שכבת YOLO. הורד את משקולות הרשת והצב אותן בבנייה של רשת האפלה. תיקיית x64.
הפעל את אלגוריתם האימון, וברגע שהוא יושלם, הצג את איטראציות. כדי לעקוב אחר חלקי גוף מרובים בנושא אנושי, התקן את OpenPose ולאחר מכן השתמש בו כדי לעבד את הווידאו הרצוי. היכולות של ארגז הכלים DeepBehavior הודגמה על קטעי וידאו של עכברים ביצוע גלולת מזון להגיע למשימה.
כפותיהם הימניות תויגו והתנועה הייתה במעקב עם מצלמות צפייה קדמיות וצד. לאחר עיבוד פוסט עם כיול המצלמה, מסלולים 3D של תפוצה הושגו. הפלטים של YOLOv3 הם תיבות תוחמות מרובות מכיוון שניתן לעקוב אחר אובייקטים מרובים.
הקופסאות התוחמות הן סביב האובייקטים של עניין אשר יכול להיות חלקים של הגוף. ב- OpenPose, הרשת זיהתה את עמדות המפרקים ולאחר עיבוד פוסט עם כיול המצלמה, נוצר דגם תלת-ממד של הנושא. שלב קריטי אחד שלא מכוסה בפרוטוקול זה הוא להבטיח שלהתקן שלך יהיה את גירסאות פייתון ואת יחסי התלות המתאימים, כמו גם התקן שתצורתו נקבעה על-ידי המעבד הגרפי לפני שתתחיל.
לאחר קבלת אופן הפעולה של המסלול בהצלחה מהרשת ניתן לעשות עיבוד פוסט נוסף כדי לנתח עוד יותר את kinematics ודפוסים של ההתנהגות. מדוע תיבת הכלים DeepBehavior ישימה עבור גישות אבחון במודלים של מחלות של מכרסמים ונושאים אנושיים אינה יתרון טיפולי ישיר. השימוש בטכניקות אלה ככלי אבחון או פרוגנוסטי נמצא תחת מחקר פעיל במעבדה שלנו.
טכניקה זו משמשת כדי לחקור את המנגנונים העצביים של התנהגות מוטורית מיומנת מכרסמים, כמו גם בשימוש במחקרים קליניים כדי להעריך התאוששות מוטורית בחולים עם מחלות נוירולוגיות.
צפו בתמליל המלא וקבלו גישה לאלפי סרטונים מדעיים
סקירה כללית
פרוטוקול זה עושה שימוש ברשתות נוירונים קונבולוציוניות (CNN) מוכנות מראש כדי להפוך את מעקב ההתנהגות לאוטומטי ולבצע ניתוח התנהגות מפורט. הואו ניתן להחלה על כל נתוני וידאו או רצפי תמונות, ומאפשר מעקב אחר אובייקטים המוגדרים על ידי המשתמש.
מרכיבי מפתח של המחקר
תחום מדע
- מדעי המוח
- ניתוח התנהגות
- למידת מכונה
רקע
- הבנת הקשרים בין המוח להתנהגות היא קריטית.
- שיטות מסורתיות לניתוח התנהגות הן סובייקטיביות וגוזלות זמן רב.
- למידה עמוקה מציעה אפשרויות לכימות אוטומטי של התנהגות.
- התפתחויות אחרונות בבינה מלאכותית יכולות לשפר את מעקב ההתנהגות במגוון נבדקים.
מטרת המחקר
- לאוטומציה של מעקב התנהגותי באמצעות רשתות נוירונים עמוקות.
- לספק כימות אובייקטיבי של התנהגות בסרטונים ובתמונות.
- לשפר את היעילות של ניתוח התנהגות במחקר.
השיטות שנעשה בהן שימוש
- שימוש ברשתות נוירונים קונבולוציוניות.
- יישום על נתוני וידאו ורצפי תמונות.
- מעקב אחר אובייקטים המוגדרים על ידי המשתמש.
- יישום במחקרים על מכרסמים ובני אדם כאחד.
תוצאות עיקריות
- אוטומציה מוצלחת של מעקב התנהגותי.
- ניתוח אובייקטיבי של דפוסי התנהגות.
- יכולת הכללה על פני סוגים שונים של נתוני וידאו.
- הבנה משופרת של התנהגות באמצעות מדדים כמותיים.
מסקנות
- שיטות למידה עמוקה יכולות לשפר באופן משמעותי את ניתוח ההתנהגות.
- אוטומציה מפחיתה את הסובייקטיביות ואת הזמן המושקע במחקר.
- הגישה ישימה להקשרי מחקר מגוונים.
שאלות נפוצות
רלוונטיות תעשייתית למנהלים
ניתוח התנהגות אוטומטי פותר את צוואר הבקבוק של דירוג ידני סובייקטיבי וגוזל זמן במדעי העצבים הפרה-קליניים, ומאפשר כימות אובייקטיבי של פנוטיפים מוטוריים במודלים של מחלות. באמצעות המרת נתוני וידאו למדריכי קינמטיקה מדויקים, DeepBehavior תומך בתיקוף מטרות ובצמצום סיכונים מכניסטיים בשלבי הגילוי המוקדמים, במיוחד עבור הפרעות במערכת העצבים המרכזית (CNS) שבהן נקודות קצה התנהגותיות הן קריטיות. דבר זה מגביר את הביטחון החזוי בזיהוי מועמדים מובילים (leads) ומפחית את שיעורי הנשירה בשל תוקף תרגומי דל של בדיקות התנהגותיות.
יישומים אסטרטגיים במחקר ופיתוח בביו-פרמה
גילוי מוקדם ותיקוף מטרה
- ערך מדעי: מאפשר בחינה של היפותזות טיפוליות באמצעות כימות התנהגויות מוטוריות ספונטניות ומיומנויות במודלים של מכרסמים למחלות נוירולוגיות.
- ערך תפעולי: מפחית שונות בין צופים ומגביר את התפוקה עבור סריקת התנהגות בעלת תוכן גבוה.
- ערך ניבוי: מייצר תוצרי התנהגות רב-ממדיים הניתנים לשחזור, המשפרים את הביטחון במעורבות המטרה (target engagement) ובמודולציה של המסלול.
סריקה ופיתוח בדיקה
- ערך מדעי: מייצר קואורדינטות קרטזיות כמותיות וסטנדרטיות של חלקי גוף או מפרקים לאורך פריימים, מה שמאפשר השוואה אובייקטיבית של השפעות משולבות על התפקוד המוטורי.
- ערך תפעולי: תומך ביכולת הרחבה של הבדיקה באמצעות אוטומציה של תהליכי מעקב אחר תנוחות (pose tracking) של אובייקט בודד, מספר אובייקטים ותלת-ממד.
- מוכנות הבדיקה: התוצרים תואמים לניתוחים סטטיסטיים ולצינורות עיבוד של למידת מכונה לשם גילוי סממנים ביולוגיים.
מחקר תרגומי ופרה-קליני
- המשכיות תרגומית: מקלה על השוואה התנהגותית בין מינים באמצעות החלה של מסגרות למידה עמוקה זהות על נתוני וידאו של מכרסמים ובני אדם.
- תיקוף פרה-קליני: מאפשר מעקב אורך של התאוששות מוטורית או ניוון במודלים של מחלות, ובכך תומך בהחלטות קידום מותאמות סיכון.
- הפחתת סיכונים מכניסטית: מקשרת בין שינויים התנהגותיים שנצפו לבין תפקוד מעגלים עצביים באמצעות מעקב מרחבי-זמני מדויק של תבניות תנועה.
שילוב תהליכי עבודה (Pipeline & Workflow)
DeepBehavior משתלב ברצף הגילוי, החל מתיקוף מטרות מוקדם ועד לאופטימיזציה של מובילים (lead optimization), כאשר כימות התנהגות אוטומטי מספק מידע על קשרי מבנה-פעילות ותוצאות של סריקה פנוטיפית.
- ביולוגיה של הגילוי: תומכת בניתוח מונחה-השערות של תפקוד מעגלים מוטוריים על ידי אספקת מדדים התנהגותיים אובייקטיביים ברזולוציית פריימים.
- סריקה: מאפשרת ניתוח הניתן לשחזור ובעל תפוקה גבוהה של ספריות תרכובות באמצעות פלטים סטנדרטיים של מעקב והערכת תנוחה.
- אנליטיקה: מספקת נתונים קינמטיים כמותיים (למשל, מסלול, מהירות, זוויות מפרקים) המקלים על מידול תגובה למינון והערכת גודל האפקט.
- מחקר תרגומי: מתאימה התנהגות פרה-קלינית של מכרסמים להערכות מוטוריות אנושיות באמצעות ארכיטקטורות למידה עמוקה משותפות, ובכך משפרת את יכולת הניבוי הקלינית.
- שימוש חוזר ארגוני: ארגז הכלים ניתן להתאמה לתחומי מחלה ולמודלים שונים, ומשמש כפלטפורמה לשימוש חוזר עבור פנוטיפ תפקודי של התנהגות.
השפעה תפעולית וארגונית
- ערך מדעי: מגביר את הביטחון בחיזוי על ידי הפחתת רעשים במדידות התנהגותיות ומאפשר זיהוי של שינויים פנוטיפיים עדינים.
- ערך תפעולי: מבצע סטנדרטיזציה של רכישת נתונים וניתוחם בין אתרים ומפעילים שונים, ובכך משפר את השחזור במחקרים רב-מרכזיים.
- ערך אסטרטגי: מאיץ החלטות של go/no-go באמצעות אספקת סימנים מוקדמים ואובייקטיביים ליעילות התנהגותית.
- השפעה על הפורטפוליו: תומך בתעדוף מבוסס-סיכון של תרכובות בעלות פרופילים התנהגותיים חיוביים, ובכך מפחית את הסיכון לכישלון בשלבים מאוחרים.
שיקולי יישום
- דורש מומחיות במסגרות למידה עמוקה (deep learning frameworks), ניהול נתוני וידאו ומדעי המוח ההתנהגותיים.
- נדרשות תחנות עבודה עם GPU וסביבות תוכנה עבור TensorBox, YOLOv3 ו-OpenPose.
- דורש סטנדרטיזציה של פרוטוקולים לרכישת וידאו (למשל, תאורה, זוויות מצלמה) כדי להבטיח דיוק במעקב לאורך הניסויים.
- דורש מיומנויות עיבוד לאחר צילום (post-processing) עבור טרנספורמציה של קואורדינטות, כיול מצלמה ואנליזה קינמטית ב-MATLAB או Python.
- הביצועים תלויים בכמות מספקת של נתוני אימון (למשל, יותר מ-600 פריימים מתויגים) ובפרמטרים של הרשת (hyperparameters) המתאימים להתנהגות הנבדקת.
