פלטפורמה ניסויית לחקר ביצועים לולאה סגורה של המוח מכונת ממשקים

אנו משתמשים בפעילות של נוירון ביניים חזותי במוח הזבוב, תא ה-H1, כדי לשלוט במנועים של רובוט נייד. הרובוט ממוקם על שולחן מסתובב הנע באופן קבוע, ופעילות התא משמשת לייצוב הרובוט ביחס לסביבה מפני תנועות חיצוניות. תמונות של תנועת תבניות המוקלטות מהרובוט נדגמות ונשלחות לשני מסכי CRT של מחשב, הממוקמים לפני הזבוב.

האותות של תא H1, הנמדדים בפולסים (spikes) לשנייה, מעידים על מהירות תנועת התבנית. לאחר מכן מיושמים חוקי בקרה שונים כדי להמיר את הפולסים לשנייה שהוקלטו לאות בקרה עבור מנועי הרובוט. שלום, אני נביטה ג'וש ממעבדת הולגר קרופס במחלקה להנדסת ביו-רפואית באימפריאל קולג' לונדון.

אני כריס פטרסון, גם אני ממעבדתו של הולגר קאפ. שלום, אני הולגר קאפ. היום נדגים לכם פרוצדורה ליצירת ממשק מוח-מכונה בין תאים בודדים במערכת הראייה של הזבוב לבין רובוט.

אנו משתמשים בהליך זה כדי לבחון את הביצועים של אסטרטגיות בקרה שונות המשתמשות באותות עצביים לשליטה במערכות רובוטיות בתנאי שפתיים סגורות. אז בואו נתחיל. כדי להתחיל בהכנת הזבוב, קררו אותו על קרח, ולאחר מכן השתמשו במקלות קוקטייל קהים כדי להחזיק את הכנפיים למטה וקבעו את גבו של הזבוב לחתיכת סרט דביק דו-צדדי על תבנית מיקרוסקופ. לאחר מכן, השתמשו בשעוות דבורים כדי להצמיד את הכנפיים לתבנית וגם כדי לחסום את פעולתו של מנוע התעופה.

שלב זה דורש טיפול מהיר ומדויק כדי שהזבוב לא יתחמם במהלך הפרוצדורה. כעת, תחת המיקרוסקופ, החזק כל רגל בעזרת פינצטה והשתמש במספריים קטנים כדי לחתוך אותן במפרקים הקרובים ביותר לגוף. חזור על פעולה זו עבור החרטום (proboscis).

כדי למנוע מהזבוב להתייבש, יש לאטום את החורים בשעווה. לאחר מכן, יש לחתוך אחת הכנפיים ולהפנות את הזבוב על צדו. יש להסיר את שאריות הכנף תוך השארת ה-katra, לכסות את דמעות ה-Hal ולאטום את החור בשעווה.

חזרו על נוהל זה עבור הכנף השנייה. כדי לעורר נוירון מטרה באופן מוגדר, יש לדייק את מיקום ראש הזבוב ביחס למסכי המחשב. לצורך כך, תזדקקו למחזיק מותאם אישית הכולל חלל רחב לגוף הזבוב ותוספת בקצה אחד עם חריץ שבו ימוקם צווארו של הזבוב.

הניחו את הזבוב על התומך כך שצווארו יהיה בתוך החריץ, והפעילו לחץ כלפי מטה תוך כדי הדבקת הבטן במקומה. כעת, הניחו את תומך הזבוב על מעמד כך שתוכלו לראות את חזית ראשו של הזבוב דרך המיקרוסקופ. בצפייה בזבוב תחת אור אדום, ניתן לראות בכל עין תופעה אופטית הנקראת pseudo pupil.

אם האישון המדומה (pseudo pupil) מקבל צורה מסוימת, הרי שמיקום הראש של הזבוב מוגדר באופן מדויק. השתמשו במיקרו-מניפולטור כדי להכווין את ראש הזבוב למנח הנכון, ולאחר מכן השתמשו בשעווה כדי להדביקו למחזיק. לאחר מכן, לחצו את החזה כלפי מטה בצורה שטוחה והדביקו אותו למחזיק באמצעות שעווה.

פעולה זו מאפשרת לפתוח את החלק האחורי של קפסולת הראש כדי שניתן יהיה להחדיר אלקטרודות לתוך מוח הזבוב. השתמשו במיקרו-סקלפל או במחט הזרקה דקה כדי לחתוך בזהירות חלון בקוטיקולה של קפסולת הראש הימנית. היזהרו לא לחתוך את הרקמה העצבית הנמצאת מיד מתחת לקוטיקולה. לאחר הסרת פיסת הקוטיקולה, הוסיפו מספר טיפות של תמיסת ringer.

השתמשו בפינצטה כדי להסיר שערות צפות, משקעי שומן או רקמת שריר העלולים לכסות את לוח ה-LOA. ניתן לזהות את לוח ה-LOA לפי תבנית הסתעפות אופיינית של קנה נשימה (trachea) כסוף המכסה את פניו האחוריים. חררו חור קטן בקוטיקול של קפסולת הראש האחורית השמאלית לצורך מיקום של אלקטרודת ייחוס כאשר הזבוב מוכן.

בואו נראה כיצד למקם את אלקטרודת ההקלטה. יש להניח את אלקטרודת ההקלטה בקרבה רבה לנוירון H1. נוירון H1 מגיב בעיקר לתנועה אופקית מאחור לפנים המוצגת בשדה הקליטה שלו.

כדי למקם את אלקטרודת ההקלטה, השתמשו בקנה הנשימה (trachea) כנקודת ייחוס חזותית. בתחילה, מקמו את האלקטרודה בחלקו העליון ביותר של קנה הנשימה. השימוש במגבר שמע להמרת הפוטנציאלים החשמליים המוקלטים לאותות אקוסטיים עשוי לסייע בתהליך.

כל פולס (spike) בודד הופך לצליל נקישה אופייני. ככל שהאלקטרודה מתקרבת יותר לנוירון בודד, כך צליל הנקישה הופך לברור יותר. כדי לזהות את נוירון H1 באמצעות העדפת התנועה שלו, גרה אותו באמצעות תנועה בכיוון האופקי.

לאחר שהאלקטרודת ההקלטה במקומה, נעבור לגירוי חזותי ולהקלטות. לתחילת הפעולה, מקמו זבוב מול שני מסכי מחשב CRT. מכיוון שמערכת הראייה של הזבוב מהירה פי 10 מזו של בני האדם, על המסכים להציג 200 פריימים לשנייה.

מרכזי המסכים נמצאים בזווית של 45 מעלות פלוס או מינוס ביחס לכיוון הזבובים. כפי שנראה מקו המשווה של עינו של הזבוב, כל מסך תופס זווית של 25 מעלות פלוס או מינוס במישור האופקי ו-19 מעלות פלוס או מינוס במישור האנכי. הקלט למסכי המחשב מסופק על ידי שתי מצלמות וידאו המורכבות על רובוט SRO קטן בעל שני גלגלים, אשר הותאם לצורך הניסוי.

מקמו את הרובוט על גבי פלטת סיבוב בתוך אזור גלילי שקירותיו מצופים בתבנית של פסים שחורים ולבנים מכוונים אנכית. באמצעות סיבוב פלטת הסיבוב במישור האופקי, תנועות הרובוט מוגבלות לדרגת חופש אחת בלבד. בתחילה, הן פלטת הסיבוב והן הרובוט נמצאים במצב מנוחה.

כאשר השולחן המסתובב מתחיל לנוע, הסיבוב שלו נושא את הרובוט באותו כיוון, ומצלמות הווידאו מקליטות את התנועה היחסית בין הרובוט לבין תבנית הפסים של הזירה. מצלמות הווידאו המופעלות על ידי סוללה על הרובוט מותקנות בזווית של פלוס או מינוס 45 מעלות. הן לוכדות 200 תמונות לשנייה כדי להתאים לקצב הפריימים של מסכי המחשב שלפני ה-fly log.

התמונות הוצגו במסכי מחשב בקצב של 200 פריימים לשנייה ברזולוציה של 40 על 80 בגווני אפור. בעוד שהזבוב צופה בתנועות של התבנית הפסית, נרשמו האותות החשמליים שעברו סינון פס-מעבר (band pass filter), לדוגמה, בין 30 ל-200 kilohertz, באמצעות כרטיס רכישה דיגיטלי בקצב דגימה של לפחות 10 kilohertz. סף (threshold) מיושם על האותות החשמליים שעברו סינון פס-מעבר כדי להפריד את ה-spikes מהפעילות הרקעית.

מסנן חצי גאוסי סיבתי עובר קונבולוציה עם הפולסים כדי לקבל אומדן חלק של פעילות הפולסים עבור תא H one, במטרה לסגור את הלולאה של הממשק בין המוח למכונה. אלגוריתם בקרה משמש להמרת קצב הפולסים של תא H one למהירות רובוט, המוחזרת באמצעות ממשק Bluetooth כדי לשלוט בשני מנועי ה-DC המניעים את גלגלי הרובוט. גלי סינוס טהורים נבחרו כפרופילי המהירות עבור השולחן המסתובב.

לגלי הסינוס יש היסט DC כך שהפלטה המסתובבת תסתובב רק בכיוון המעורר את נוירון H one לאורך הכיוון המועדף שלו. מערכת הבקרה כולה מוגדרת כך שגירוי של נוירון H one יגרום לרובוט לפצות על תנועת הפלטה המסתובבת כאשר היא מוגדרת כהלכה. ייצוב חזותי מושג כאשר הסיבוב הנגדי של הרובוט תואם את הסיבוב של הפלטה המסתובבת, מה שמוביל לתנועה מועטה או לאף תנועה של התבנית על מסכי המחשב.

הביצועים הכוללים של המערכת תלויים באלגוריתם הבקרה המשמש לסגירת הלולאה. האלגוריתם הראשון שאנו בוחנים הוא בקר פרופורציונלי, שבו מהירות הרובוט המעודכנת פרופורציונלית להפרש במהירויות הזוויתיות בין מהירות הרובוט omega R למהירות השולחן המסתובב Omega P. ערכים שונים עבור ההגבר הסטטי KP ותדרי כניסה עבור אות השולחן המסתובב omega P נבחרים כדי לבחון את ביצועי הבקר.

עקבות דגימה עבור omega P ו-omega R מוצגים כאן עבור KP השווה לאחד ותדר קלט של 0.6 hertz עבור omega P; הרובוט בירוק עוקב אחר השולחן המסתובב בכחול עם פיגור ואמפליטודה של שיא קטנה יותר. הרכיב האופקי של תנועת התבנית המגרית את תא H one מוצג מימין באדום. תדרי קלט עבור אות השולחן המסתובב, Omega P, נבחרים בין 0.03 ל-3 hertz, ואות הרובוט המתאים, omega R, נרשם.

שני האותות מעובים למרחב התדרים באמצעות התמרת פורייה מהירה, וערכי האמפליטודה והמופע מחושבים בתדר הכניסה. תרשים הגודל של BO d עבור הבקר הפרופורציונלי עם KP השווה לאחד מראה את תגובת המערכת לאורך תדרי הכניסה שנבחנו. ביצועי הבקר יורדים בדרך כלל עם עליית התדרים.

העלייה הקלה בהגבר בתדר של 1 Hz היא תוצאה של תנודות באות הרובוט, הנובעות משימוש בתא H1 אחד בלבד שטווח הפלט הדינמי שלו מכסה בעיקר תנועה אופקית מקדימה לאחורה. תרשים המופע של בודי (Bodhi) מראה פיגור מופע של הבקר הקטן מ-PI עבור תדרי קלט הנמוכים מ-0.6 Hz. מכאן עולה כי הבקר יציב עבור תדרים הנמוכים מ-0.6 Hz ואינו יציב עבור תדרי קלט הגדולים או השווים ל-1 Hz.

ביצועי הבקר הפרופורציונלי עם KP סטטי הושוו לבקר אדפטיבי שבו ערך ה-KP מתעדכן מדי 50 מילישניות. ההשוואה התבססה על קצב הפולסים השיא, F max, שחושב על פני מרווח זמן של T פחות 500 מילישניות עד T. כתוצאה מחלון האינטגרציה הגדול, הבקר הפרופורציונלי הציג ביצועים טובים יותר מהבקר האדפטיבי עבור טווח הפרמטרים שנבדק; לבקר האדפטיבי היה מאפיין פאזה דומה לזה של הבקר הפרופורציונלי, תבנית הדירוג סביב השולחן המסתובב הוסרה, וסביבת המעבדה שימשה כקירוב של קלט ויזואלי טבעי עבור תא H1 של הזבוב.

בממוצע, גרף העוצמה של Bodhi עבור הקלט הוויזואלי הנטבעי הראה הגברים גבוהים מעט יותר מאלו של הקלט הוויזואלי המדורג, ככל הנראה משום שניצלה טווח רחב יותר של תדרים מרחביים בתמונות ויזואליות נטבעיות. מאפייני גרף הפאזה של Bodhi עבור קלטים ויזואליים מדורגים לעומת נטבעיים היו דומים. הרגע הצגנו בפניכם כיצד ליצור ממשק מוח-מכונה בין תא לבין מערכת החזון והרובוט.

ישנם מספר שלבים קריטיים במהלך הליך זה. ראשית, יש להימנע מחתכים עמוקים בזמן פתיחת קפסולת הראש כדי למנוע פגיעה במוח. שנית, יש למקם את האלקטרודה בזהירות כך שתבצע הקלטה מתא אחד בלבד; אנו מקליטים מתא H one.

שלישית, שמרו על המוח לח בכל הזמנים ומנעו ממנו להתייבש. זהו זה. תודה שצפיתם ובהצלחה בניסויים.