יצירת אובייקטים וקטגוריות אובייקט ללימוד תפיסה ולמידת תפיסתית

נוהל זה נועד ליצור אובייקטים וקטגוריות של אובייקטים לצורך חקר האופן שבו אנו תופסים ולומדים לתפוס אובייקטים באמצעות ראייה ו/או מגע. ראשית, נעשה שימוש במורפוגנזה וירטואלית (virtual morphogenesis או VM) כדי לדמות את תהליכי ההתפתחות העוברית המוקדמת וליצור אובייקטים וירטואליים תלת-ממדיים טבעיים וחדשניים הנקראים עוברים דיגיטליים. לאחר מכן, באמצעות פילוגנזה וירטואלית (virtual phy agenesis או VP), נוצרות קטגוריות של אובייקטים בעלות תכונות סטטיסטיות מוגדרות במדויק, המבוססות על העובר הדיגיטלי שהוזן למערכת.

במידה ורצויה, ניתן להשתמש בניתוח רכיבים עיקריים (principal components analysis) כדי ליצור וריאציות צורה נוספות בין האובייקטים הווירטואליים שנוצרו באמצעות מורפוגנזה וירטואלית ופילוגנזה וירטואלית. ניתן לחשב במדויק את הסבירות שאובייקט נתון שייך לקטגוריה מסוימת באמצעות הסקה בייסיאנית מבוססת מאפיינים. במידת הצורך, ניתן להפיק הדפסים מולטיים (haptic prints) של האובייקטים הווירטואליים שנוצרו באמצעות מדפסת תלת-ממד.

כל אחת מהשיטות הללו תודגם בפירוט רב יותר בהמשך בהשוואה לשיטות קיימות. גישות חדשות אלו יוצרות וריאציות של צורה שהן נטורליסטיות אך ניתנות למדידה מדויקת, אשר נוצרות ללא צורך באילוצים המוטלים על ידי החוקר. הן מציעות כלים חדשניים בתחומי התפיסה החזותית וההפטית, למידה תפיסתית וראייה ממוחשבת, ובעלות יישומים פוטנציאליים בשיקום של סוגים רבים של לקויות ראייה באמצעות אימון צולב חזותי-הפטי.

מעניין לציין כי ניתן ליישם שיטה זו גם כדי לחקור את תהליכי המורפוגנזה והאבולוציה עצמם, והרעיון לשיטה זו עלה בראשונה כאשר חיפשנו דרכים ליצור גירויים ויזואליים שנראים טבעיים אך ניתנים להגדרה מדויקת עבור מחקרים וראייה חישובית. בתחילה, ייתכן שמי שמכיר את השיטה יתקשה בהיבטים הדורשים ידע רב במתמטיקה ובתכנות, לכן הדגמה ויזואלית זו תמחיש כיצד ליישם ולהשתמש בשיטה זו בצורה נכונה. בסדנת העובר הדיגיטלי, הגדירו סט של הגדרות או גנוטיפ כדי ליצור עובר בודד או מספר עוברים.

חזור על תהליך זה מספר פעמים כדי ליצור צורות מורכבות יותר באמצעות מורפוגנזה וירטואלית. הגדל את מספר מחזורי הצמיחה כדי לקבוע את מספר הפעמים שבהן יתרחש חלוקה של תאי העובר. סדנת העובר הדיגיטלי שומרת באופן אוטומטי כל עובר כקובץ OBJ, כך שתוכל להשתמש בעובר מאוחר יותר עם ערכות כלים מסחריות למידול בתלת-ממד.

ייצרו את הגירויים הוויזואליים על ידי הגדרת פרמטרים גרפיים סטנדרטיים שונים, כגון אוריינטציה, גודל, תאורה, מרקם פני השטח ורקע, כדי ליצור קטגוריות של אובייקטים. צרו צאצאים מאובייקט אב באופן היררכי. ניתן גם לשנות את הצורה באופן הדרגתי באמצעות מורפינג (morphing), תוך שמירה על התאמה חד-ערכית של הקודקודים בין האובייקטים.

מעניין לציין כי ניתן להשתמש באובייקטים וירטואליים שאינם עוברים דיגיטליים כקלטים לפילוגנזה וירטואלית. בחרו אובייקטים בתוך קטגוריה נתונה כדי להשיג התפלגות מסוימת של מאפיינים. לדוגמה, אם ברצונכם ליצור שתי קטגוריות הנבדלות זו מזו בגודלן, הסירו באופן סלקטיבי אובייקטים בגודל בינוני כדי לייצר התפלגות בּי-מודאלית של גדלי האובייקטים.

כעת, מדדו באופן אובייקטיבי את הדמיון בין זוג קטגוריות נתון באמצעות שיטות פילוגנטיות זמינות, כגון co phonetic correlation. ניתן לבצע חישובים אלו באמצעות ערכות כלים אנליטיות נפוצות כגון MATLAB או R; עבור כל זוג אובייקטים נתון שבו כל קודקוד של אובייקט אחד מקביל בדיוק לקודקוד אחד של האובייקט השני, תהליך המורפינג (morphing) הוא פשוט. בחרו את נקודות האינטרפולציה והשתמשו במורפינג ליניארי בין שני האובייקטים כדי לבצע אינטרפולציה חלקה בין הקודקודים המקבילים.

ראשית, קבע את הרכיבים הראשיים כמתארים ספציפיים של קבוצה נתונה של אובייקטים. ניתן לחשב רכיבים ראשיים באמצעות MATLAB או R; חשב את הקואורדינטות של כל קודקוד על פני כל N האובייקטים שהוזנו כדי ליצור אובייקט ממוצע, הכפל כל רכיב P בערך העצמי המתאים lambda ובמשקל רצוי wj, והוסף לאובייקט הממוצע כדי ליצור אובייקט חדש. המשך לשנות את WJ בצורה הדרגתית כדי ליצור וריאציות חלקות של הצורה לאורך רכיב ראשי נתון.

ליצירת רשת רב-ממדית של צורות, השתמשו בסט של משקולות עבור כל אחד ממספר רכיבים עיקריים. הדפיסו אובייקטים תלת-ממדיים באמצעות מדפסת תלת-ממדית (3D prototyper). במידת הצורך, התאימו את גודל האובייקט והחליקו את פני השטח שלו כדי לייעל את ההדפסה.

משימה חשובה בעיבוד חזותי היא הסקת הקטגוריה שאליה שייך אובייקט נצפה נתון. עוברים דיגיטליים הם שימושיים, בין היתר, בזכות השימוש במידע על מאפיינים ידועים של האובייקט. בעת חקר תהליך הסקה זה, נניח שמשימת הסיווג היא בינארית.

כלומר, קיימות רק שתי קטגוריות אפשריות ומשימתנו כוללת הבחנה בין קטגוריה K לקטגוריה L; נגדיר את C כמשתנה הקטגוריה, כאשר C שווה ל-K או ש-C שווה ל-L בהתאם לשאלה אם התמונה הנצפית I שייכת לקטגוריה K או L, בהתאמה. בהנחה שקיים מאפיין בינארי F אחד בלבד, חשב את ההסתברות שהקטגוריה היא K בהינתן המידע שבתמונה. באופן דומה, עבור ההסתברות שהקטגוריה היא L, בחר בקטגוריה בעלת ההסתברות הגבוהה יותר.

לדוגמה, נתחיל עם מאפיין קטע אינפורמטיבי זה וערך סף של 0.69. המטרה היא לקבוע האם מאפיין זה קיים בתמונה נתונה, כגון התמונה הימנית ביותר בכביש G three. ראשית, החלק את התבנית על פני כל המיקומים האפשריים בתמונה, ובכל מיקום חשב את הערך המוחלט של המתאם הצולב המנורמל (normalized cross correlation) בין התבנית לבין תת-התמונה שמתחתיה.

לאחר מכן, בחרו את מיקום התמונה בעל הערך הגבוה ביותר. אם ערך זה גבוה מהסף, הסיקו כי המאפיין קיים, אחרת הסיקו כי הוא אינו קיים. במסגרת הסקה מבוססת מאפיינים, אנו מניחים שכל המידע שהצופה מחלץ מהתמונה כלול בערכו של מאפיין זה.

לפיכך, המשימה הופכת לקביעת הערך של F בתמונה הנתונה, חישוב ההסתברויות עבור ערך F זה, ובחירת הקטגוריה בעלת ההסתברות הגבוהה יותר. זהו המסגרת הבייסיאנית (Bayesian framework) לאיגוד כל ההסתברויות הרלוונטיות. שימו לב שהמכנה בשתי המשוואות הוא זהה, ולכן יש למקד את התשומת לב במונה.

הניחו הסתברות מוקדמת (prior) שטוחה, כך ששתי הקטגוריות שוות בסבירותן מראש. המשימה כעת היא לחשב את הנראות (likelihood) – ההסתברות של ערך מאפיין נתון בתמונה של קטגוריה C נתונה. לדוגמה, השתמשו בשש התמונות של קטגוריה L כדוגמאות כדי לחשב את ההסתברות שהמאפיין קיים בתמונה מקטגוריה L. ראשית, קחו את כל תמונות האימון השייכות ל-L; עבור כל תמונה, קבעו האם ערך המאפיין הוא אחד (כלומר, המאפיין קיים בתמונה) או אפס (כלומר, המאפיין אינו קיים). לאחר מכן, חשבו את שברי התמונות שבהן ערך המאפיין הוא אחד.

לפיכך, ההסתברות שהמאפיין יהיה נוכח בתמונה מקטגוריה L היא 0.33; עבור הערכות מדויקות, השתמשו ב-30 תמונות לפחות לכל קטגוריה. בניסוי טיפוסי, נצטרך לדעת את ההערכה הפנימית של הנבדק לגבי הסתברות זו. שימו לב כי השימוש בעוברי דיגיטל הופך זאת לקל במיוחד.

מכיוון שיש לנו שליטה מלאה על חשיפת הנבדק לעוברים דיגיטליים, אנו יכולים להיות בטוחים שהערך שחושב פנימית על ידי הנבדק עקבי עם ההערכה שלנו ואינו מושפע מניסיון קודם בלתי נשלט ולא ידוע. באופן דומה, חשב את ההסתברויות להיעדרות ולנוכחות של התמונה בקטגוריות K ו-L. בהינתן ערכים אלו, ניתן לבצע הסקה כדי לזהות את תווית הקטגוריה של תמונה חדשה זו. ראשית, קבע האם המאפיין F נוכח בתמונה באמצעות הנוסחאות הקודמות שנקבעו עבור הסתברויות לא-נורמליות והערכים שחושבו זה עתה, חשב את ההסתברויות לנוכחות של קטגוריות K ו-L בתמונה. נתונים אלו מצביעים על כך שהתמונה היא מקטגוריה K. למרות שזהו ביטחון נמוך יחסית, מורפוגנזה וירטואלית מציעה אספקה בלתי מוגבלת של צורות תלת-ממדיות חדשות.

כאן, עוברים דיגיטליים נוצרים על ידי סימולציה של תהליכים מרכזיים של עובריות ביולוגית. כל הרצה מתחילה עם איקוסההדרון (icosahedron) ומייצרת עובר ייחודי. בהתבסס על הגדרות המורפוגנים, ניתן לבצע מניפולציה גרפית של העוברים הדיגיטליים כדי ליצור סצנות חזותיות בעלת מורכבות שרירותית באמצעות כל ערכת כלים גרפית סטנדרטית.

לדוגמה, ניתן להחיל טקסטורות שונות ולהאיר באופן רצוי את אותו עובר דיגיטלי. בנוסף, ניתן ליצור סצנות ויזואליות במורכבות שרירותית, כגון סצנה זו שבה עובר דיגיטלי ממוהס על רקע בעל טקסטורה דומה, באמצעות סביבת מידול ורינדור תלת-ממדית זמינה מסחרית. אלגוריתם ה-virtual phy agenesis מדמה אבולוציה ביולוגית.

אלגוריתם הפילוגנזה הווירטואלית מדמה אבולוציה ביולוגית. אובייקטים וקטגוריות של אובייקטים חדשים מופיעים כוריאציות תורשתיות שנצברות באופן סלקטיבי, אך צוברות וריאציות של צורה משלהן ככל שהם מתפתחים. בדוגמה ספציפית זו, אב קדמון משותף אחד, האיקוסהדרון, מייצר שלושה דורות של צאצאים.

מורכבות הצורה עולה מהאיקוסהדרון (icosahedron) לדור G1 מכיוון שאנו מאפשרים למספר התאים לגדול, אך מורכבות הצורה הכוללת נותרת ללא שינוי מדור G1 ואילך. אילן יוחסין זה דומה בהיבטים אחרים, אך הוא משתמש באובייקטים שאינם עוברים, אשר הורדו מספקי אובייקטים וירטואליים. שימו לב כי האובייקטים החולקים אב קדמון משותף מהווים באופן ישיר קטגוריה.

מכיוון שלא התאפשרו חלוקות תאים באף דור, כל שינויי הצורה נובעים אך ורק מתנועה ו/או צמיחה של התאים הבודדים באובייקט הנתון. בתרחיש זה, תהליך המורפינג יוצר שינויים חלקים בצורה על ידי אינטרפולציה בין הקודקודים המקבילים של שני האובייקטים שהוגדרו. השמאלי ביותר והימני ביותר.

רכיבים עיקריים של העוברים יוצרים גם שינויים הדרגתיים בצורה. עובר זה מייצג את הממוצע האריתמטי של 400 עוברים. במקרה זה, שני הרכיבים העיקריים הראשונים היוו 73% ו-19% ממידע הצורה, בהתאמה.

עוברים התקבלו על ידי שינוי של ערכי העצם (eigen values) המשוקללים. ניתן להציג עוברים דיגיטליים אלו כאובייקטים וירטואליים בתלת-ממד ולאחר מכן להדפיסם כאובייקטים מוחשיים (haptic objects) באמצעות מדפסת תלת-ממד או בונה דגמים סטנדרטי הזמין מסחרית, לצורך חקר תפיסה חזותית כהסקה, ובפרט כהסקה בייסיאנית (Bayesian inference). עוברים דיגיטליים הם כלי בעל ערך רב ליצירת קטגוריות חדשות עם פרמטרים מבוקרים, כגון הסתברויות קודמות (priors) והסתברויות מותנית (likelihoods).

לאחר צפייה בסרטון זה, תרכישו הבנה טובה לגבי האופן שבו ניתן ליצור סט של עוברים דיגיטליים המתאימים לניסוי הספציפי שלכם. ניתן ליצור בקלות אובייקטים בודדים או קטגוריות שלמות בעלות דרגות שונות של שונות ומורכבות. את התמונות המתקבלות ניתן להשתמש בהן לניסויי זיהוי אובייקטים, סיווג, למידת קטגוריות וניסויים רבים אחרים.