חוצה מודאלי תבנית ניתוח רב משתני

מטרת הניסוי הבא היא להשתמש בניתוח תבניות רב-משתני של נתוני fMRI כדי לחקור עיבוד רב-מודאלי במוח האנושי. זאת מושג תחילה על ידי יצירת סוג ספציפי של גירויים חושיים, המוצגים לנבדקים באמצעות מודאליות חושית אחת. לדוגמה, המודאליות החזותית, אך כזו המרמזת על קשרים חזקים במודאליות אחרת.

לדוגמה, בעוד הנבדקים תופסים גירויים אלו, נמדדת פעילות עצבית בחלקי המוח הנוגעים לאופן השיוך של המודאליות. במקרה זה, קליפת השמיעה נמדדת באמצעות FMRI. הפעילות המוקלטת מנותחת באמצעות ניתוח תבניות רב-משתני (multi-variate pattern analysis), במטרה לנבא איזה מבין מספר גירויים תפס הנבדק במודאליות המקורית.

התוצאות מראים כי גירויים חד-מודאליים המכילים מידע הרלוונטי ליותר ממודאליות אחת יכולים להשרות פעילות עצבית ספציפית לתוכן בקליפות התחושתיות המוקדמות של מודאליות שאינה זו שדרכה הם הוצגו. הטכניקה שאנו מציגים היום, אותה אנו מכנים Crossmodal multivariate pattern analysis, מהווה הרחבה טבעית של ניתוח תבניות רב-משתני קונבנציונלי, כאשר ההבדל הוא שגירויים תחושתיים מסווגים בין מודאליות תחושתית אחת לשנייה, ולא בתוך מודאליות אחת. הרעיון לשיטה זו עלה לראשונה כשניסינו להביא ראיות אמפיריות למסגרת נוירו-ארכיטקטונית שהוצגה על ידי Demio לפני יותר משני עשורים.

בסרטון זה, נכיר את ההיבטים הטכניים של ניתוח תבניות רב-משתני (multivariate pattern analysis), או בקיצור MVPA, וכן את המסגרת התאורטית של שיטה זו. ראשית, נצביע על מספר הבדלים מרכזיים בין MVPA לבין ניתוח fMRI חד-משתני (univariate) קונבנציונלי. שקלו את הדברים הבאים.

לדוגמה, אם נסיין מוצג לשני גירויים חזותיים שונים, כגון תפוח ותפוז, אזי שני הגירויים, בממוצע על פני מספר ניסויים, יעוררו דפוס ספציפי של פעילות עצבית. בקליפה החזותית הראשונית, המיוצגת כאן על ידי רמות ההפעלה של שישה ווקסלים היפותטיים. בניתוח fMRI קונבנציונלי, קיימות למעשה שתי שיטות לניתוח דפוסים אלו.

הראשונה היא להשוות את רמת הפעילות הממוצעת שהגרויים השילו בכל אזור העניין. עם זאת, ייתכן שההבדל בין הממוצעים לא יהיה מובהק. השיטה השנייה היא לקבוע ניגודיות חיסור (subtraction contrast) עבור כל ווקסל.

רמת ההפעלה במהלך תנאי התפוח מופחתת מרמת ההפעלה במהלך תנאי התפוז, ואת ההפרש המתקבל עבור כל ווקסל ניתן להציג בתמונת ניגודיות (contrast image) של המוח כולו. עם זאת, שוב, הבדלים אלו עשויים להיות קטנים ועשויים להגיע לקריטריון הסטטיסטי הנדרש עבור ווקסלים ספורים בלבד. אולם, בניגוד לשיטות ניתוח חד-משתנה (univariate), MVPA מסוגלת לזהות תבניות בתוך ווקסלים על ידי בחינה סימולטנית של רמות ההפעלה של כל הווקסלים.

בעוד שרק חלק קטן מההבדלים בהפעלה עשויים להיות משמעותיים באופן מבודד, שני הדפוסים, כאשר בוחנים אותם במלואם, עשויים להיות אכן שונים מבחינה סטטיסטית. הבדל מרכזי נוסף בין ניתוח FMRI קונבנציונלי לבין MVPA הוא שהשיטה האחרונה משתמשת במה שנקרא הסקה הפוכה (reverse inference). בניתוח FMRI קונבנציונלי, החוקר שואל בדרך כלל שאלה מהסוג האם שני גירויים חזותיים שונים.

לדוגמה, תמונה של פנים ותמונה של בית יובילו לרמות פעילות שונות באזור עניין ספציפי, כגון ה-fusiform face area. לעומת זאת, MVPA מבוטא בדרך כלל במונחים של הסקה הפוכה (reverse inference) או פענוח (decoding), ושואל, בהתבסס על תבנית הפעילות העצבית באזור מוחי ספציפי, האם נוכל לחזות איזה משני הגירויים החזותיים תפס הנבדק. עם זאת, חשוב לציין כי מנקודת מבט סטטיסטית, הדבר שקול לומר ששני גירויים מובילים לתבניות פעילות נפרדות באזור מוחי נתון, ולומר שתבנית הפעילות באותו אזור מוחי מאפשרת חיזוי של הגירוי המשרה.

במילים אחרות, הרגישות של MVPA עולה מזו של ניתוחים חד-משתנים (univariate) מכיוון שהיא בוחנת מספר ווקסלים בו-זמנית, ולא משום שהיא פועלת בכיוון הפוך. כדי לחזור לדוגמה הקודמת, נשקול פרדיגמת MVPA טיפוסית המעריכה האם ראיית תפוח גורמת לתבנית פעילות עצבית שונה בקליפה החזותית הראשונית מאשר ראיית תפוז. בשלב ראשון, נתוני FMRI מוקלטים בזמן שנבדק רואה מספר רב מהגירויים שיש להבחין ביניהם.

לאחר מכן, הנתונים שנרכשו מחולקים למערכת נתונים לאימון ולמערכת נתונים לבדיקה. הנתונים ממערכת האימון מוזנים למסווג תבניות, המנסה לזהות מאפיינים בתבניות העצביות המבדילים בין שני סוגי הניסויים. לאחר מכן, מוצגים למסווג נתונים ללא תווית ממערכת הבדיקה, ועל סמך התבניות שזיהה במערכת נתוני האימון, הוא משייך את התווית הסבירה ביותר לכל אחד מניסויי הבדיקה עבור כל גירוי.

ניחוש המסווג מושווה לאחר מכן לתווית הגירוי הנכונה, וביצועי המסווג מחושבים כאחוז הניחושים הנכונים. כפי שראינו, המסווג בדוגמה זיהה נכון את תוויות הגירוי בתשעה מתוך 12 המקרים, כלומר 75%. במצב של הבחנה דו-ערכית, ביצועי המקריה היו 50%. נתון זה מצביע על כך שקיימים אכן הבדלים עקביים בין התבניות העצביות המושרות ב-V1 על ידי גירויי התפוז והתפוח.

כמובן, יהיה צורך להוכיח את המובהקות של תוצאה זו באופן סטטיסטי. סוגיה חשובה שיש לזכור בניסוי סיווג כזה היא שמאגרי נתוני האימון והבדיקה חייבים להיות בלתי תלויים לחלוטין זה בזה, שכן רק במצב זה ניתן להסיק מסקנות לגבי היכולת להכליל את הדפוסים שנלמדו במהלך שלב האימון. מסיבה זו, פרדיגמות של MVPA משתמשות לעיתים קרובות בפרדיגמה המכונה תיקוף צולב (cross validation).

בעוד שפרוצדורה זו משמשת למקסום מספר ניסויי האימון והבדיקה שניתן להפיק מסט נתונים נתון, היא מבטיחה בו-זמנית שסט האימון וסט הבדיקה אינם חופפים במהלך שלבי הסיווג האינדיבידואליים. שקלו את ניסוי ה-MVPA הבא הכולל שמונה הרצות פונקציונליות. בשלב אימות צולב ראשון, המסווג מאומן על הנתונים מהרצות אחת עד שבע ונבדק על הנתונים מההרצה השמינית.

בשלב השני, המסווג מאומן על הרצות אחת עד שש וכן על הרצה שמונה, ולאחר מכן נבחן על הרצה שבע. בהתאם לסכמה זו, מבוצעים שמונה שלבי 검증 צולב (cross validation), כאשר כל הרצה משמשת בדיוק כהרצת הבדיקה. לאחר קבלת ביצועי המסווג עבור כל שלב של 검증 צולב, מיצוע תוצאות אלו מניב את הביצועים הכוללים.

קיימות חבילות תוכנה הזמינות בחינם באינטרנט לביצוע MVPA, כגון pi MVPA ומארג הכלים המוצע על ידי מכון מדעי המוח של פרינסטון. פרדיגמות ניסיוניות, כגון זו שתיאורה כעת, שימשו בהצלחה לניבוי גירויים תפיסתיים מתוך פעילות עצבית בחלקים התואמים של קליפת המוח; כך, למשל, לניבוי גירויים חזותיים בהתבסס על הפעילות בקליפות החזותיות, או גירויים שמיעתיים בהתבסס על הפעילות בקליפות השמיעתיות. על בסיס הפעילות בקליפות השמיעתיות, נרצה כעת להציג הרחבה של רעיון בסיסי זה, שבה גירויים תפיסתיים נחזים לא רק בתוך אותה מודאליות, אלא גם בין מודאליות שונות.

הרעיון שלנו מתבסס על העובדה שתפיסה קשורה באופן הדוק לשליפת זיכרונות. לדוגמה, גירוי חזותי בעל השלכה שמיעתית חזקה, כגון מראה של בסיס זכוכית המתנפץ על הקרקע, יעורר באופן אוטומטי ב"אוזן של הדמיון" תמונה שמיעתית בעלת דמיון לתמונות השמיעתיות שחווינו במפגשים קודמים עם זכוכית נשברת.

על פי מסגרת תיאורטית שהוצגה על ידי Theo בסוף שנות ה-80, הקשר הזיכרוני בין מיקום הבסיס המתנפץ לצליל התואם נשמר באזורי התכנסות-התבדרות, או CD בקיצור (Convergence Divergence zones). אזורי התכנסות-התבדרות נתפסים כמקבצי נוירונים הממוקמים ברמות ההיררכיות השונות של המערכות החושיות, כפי ששמם מרמז.

CDs בכל רמה מקבלים היטלים עולים (bottom-up) מתכנסים מקורטקסים מסדר נמוך יותר. בתמורה, הם שולחים חזרה היטלים יורדים (top-down) מתבדרים לאותם קורטקסים מסדר נמוך. בשל ההיטלים העולים המתכנסים, CDs יכולים להיות מופעלים על ידי ייצוגים תפיסתיים במספר מודליות, למשל, הן על ידי המראה והן על ידי הצליל של כד שנשבר, וזאת הודות להיטלים היורדים המתבדרים.

לאחר מכן, הם יכולים לקדם את השחזור של תמונות קשורות על ידי העברת סיגנלים בחזרה לקליפות התחושה המוקדמות של מודליות נוספות. שקלו את רצף ההפעלה שגירוי ויזואלי טהור, אך כזה המרמז על קול, יעורר על פי מסגרת זו. הגירוי מעורר תחילה דפוס ספציפי של פעילות עצבית בקליפות הוויזואליות המוקדמות באמצעות הקרנות bottom-up מתכנסות.

קליפת המוח הוויזואלית המוקדמת מפעילה את הרמה הראשונה של ה-CDs, אלו של ה-CDZ. בהתאם לתבנית הפעילות המדויקת בסקטור הקורטיקלי המוקדם התואם, CDZ עשוי להפוך לפעיל או להישאר לא פעיל. יחידות CDZ מקרינות כלפי מעלה אל CDZ שתיים, בדיוק כפי ש-CDZ אחת זיהו.

דפוסי פעילות בקליפות הראייה המוקדמות, CDZ twos מזהים דפוסי פעילות בקרב CDZ ones, מספר CDZ twos עשויים להיות מופעלים, אך לצורך הפשטות רק אחד מוצג כאן באמצעות השלחות מלמעלה למטה. CDZ ones עשויים בו זמנית להשלים את דפוס הפעילות בקליפות הראייה המוקדמות באמצעות מספר רמות נוספות של CDZ twos. Twos מקרינים קדימה אל CDZ ends בקליפות אסוציאציה רב-מודאליות.

שוב, ייתכן שיהפעלו מספר קצות CDZ, אך לצורכי פשטות מוצג רק אחד מהם. שוב, CD Z twos מסמנים גם לאחור ל-CDZ ones, אשר בתורם עשויים לשנות עוד יותר את הדפוס שהושרה במקור בקליפות הראייה המוקדמות. קצות ה-CDZ מסמנים בחזרה ל-CZ twos של כל המודליות.

בתוך קליפות השמיעה ייבנה תבנית עצבית, שתאפשר לנבדק לחוות "באוזן של הדמיון" דימוי שמיעתי הקשור לגירוי המוצג חזותית. האותיות המוצגות מלמעלה למטה (top-down) אל המודאליות הסומטוסנסורית משקפות את העובדה שכמעט כל גירוי חזותי מרמז גם על קשרים תחושתיים מסוימים. לפיכך, המסגרת חוזה כי צליל המרמז על גירוי חזותי יוביל לתבנית של פעילות עצבית הסגולית לתוכן.

בקליפות השמיעה המוקדמות. ניתוח של תבנית עצבית זו באמצעות MVPA אמור לאפשר, לפיכך, לנבא איזה מתוך מספר גירויים חזותיים המרמזים על צליל ראה הנבדק. בניסוי הראשון, נדגמה פעילות עצבית מקליפות השמיעה המוקדמות בזמן שנבדקים צפו בתשעה סרטוני וידאו שונים של חפצים ואירועים המרמזים על צליל.

האזור הנבדק בניסוי זה היה אזור מוגבל במישור הסמלי (Semal plane), אשר כלל את קליפת המוח השמיעתית הראשונית ואת קליפות השמיעה אסוציאטיביות מוקדמות מאוד. בניסוי שני, נמדדה פעילות עצבית מקליפת המוח הסומטוסנסורית הראשונית בזמן שהנבדקים צפו בחמישה סרטוני וידאו שונים שרמזו על מגע. בניסוי זה, האזור הנבדק כלל את קליפת המוח הסומטוסנסורית הראשונית הממוקמת בפיתול הפוסט-מרכזי (postcentral gyrus).

שני המחקרים כללו שמונה נבדקים במחקר השמיעתי. מסווג MVPA הניב ביצועים מעל לרמת הסיכוי של 50% עבור כל האפשרויות להבחנה דו-כיוונית בין זוגות של גירויים. ב-26 מתוך 36 ההבחנות, ביצועי המסווג היו שונים באופן מובהק מרמת הסיכוי של 0.5.

בדומה לכך, במחקר הסומטוסנסורי, המסווג הניב ביצועים מעל לרמת המקרי בכל ההבחנות הדו-כיווניות, ושמונה מתוך 10 ההבחנות הגיעו למשמעות סטטיסטית. כפי שניתן לראות, באמצעות ניתוח תבניות רב-משתני חוצה-מודאליות (crossmodal multivariate pattern analysis), הצלחנו להדגים כי תפיסה של גירויים חזותיים המרמזים על צליל או מגע מובילה לייצוגים עצביים ספציפיים לתוכן בקליפות השמיעה והסומטוסנסוריות המוקדמות, בהתאם למסגרת התיאורטית שהוצגה קודם לכן. ניכר כי הפרדיגמה הניסויית שהצגנו אינה חייבת להישאר מוגבלת למודאליות שהיו מעורבות בניסויים שלנו, אלא ניתנת להרחבה גם למודאליות חושיות אחרות.

אנו מקווים, אם כן, שקבוצות אחרות יצטרפו אלינו בהרחבת סוג זה של מחקר, בניסיון להעמיק את הידע שלנו לגבי האופן שבו תהליכים מעבדים גירויים מולטי-מודאליים מהסביבה.