שילוב נתוני מעקב אחר עיניים באמצעות ניתוח של תוכן וידאו מחינם-צפייה בסרטון וידאו של טיול בסביבה של פארק עירוני

מחקרים רבים למעקב אחר העיניים מסתמכים על גירויים מורכבים של וידאו והגדרות בעולם האמיתי, מה שהופך את ניתוח הנתונים למורכבות ביותר. טכניקת ניתוח זו מאפשרת גישה עשירה ואוטומטית הרבה יותר לניתוח נתונים מבוססי וידאו מאשר שיטות זמינות כיום המובילות לחילוץ עשיר יותר של נתונים מורכבים יותר. שיטה זו יכולה לשמש יישומים רבים שונים מעקב אחר העיניים במיוחד במצבים בעולם האמיתי או אלה המשתמשים וידאו כמו גירוי.

מחקרי נוף הסתמכו על הבנת האופן שבו אנשים מגיבים לגירויים חזותיים שונים. טכניקה זו בשילוב עם מעקב אחר העיניים יכול לשמש כדי לבדוק הנחות אלה. עבור סוג זה של מחקר, גישה צוות חיוני עבור ישנם היבטים מרובים הדורשים קלט ברמה גבוהה והתחשבות.

הדגמת ההליך איתי תהיה הסטודנט שלי לתואר שני אנדרו טרלר. רצפי הסרטים צריכים להיות מוצגים במעבדה למעקב אחר העיניים שבה אור טבעי זמין אך ניתן לשלוט בהם כדי למנוע השתקפויות על המסך על מסך גדול ככל האפשר כדי לכבוש כמה שיותר מהשדה החזותי, ובכך למנוע הסחות דעת מחוץ לשדה הראייה. לאחר ישיבה המשתתפים 60-65 ס"מ מן המסך, לבקש מהם לדמיין להיות זקוק לשיקום באמצעות משפט המאפשר למשתתף לדמיין בהקשר של וידאו מעקב אחר העיניים.

לאחר מכן הפעל את הסרטים עבור המשתתף בסדר אקראי קבוע מראש באמצעות מכשיר מעקב אחר העיניים בשולחן העבודה כדי להקליט את תנועות העיניים של המשתתף במהלך כל סרטון. כדי לעצב אזור מעניין, בחר פריטים שמעניינים את המחקר כגון עצים, שיחים, שילוט, מבנים, שבילים, מדרגות. לקבלת ביצועים מיטביים ודרישות אימון מינימליות, השתמש באלמנטים הניתנים להבחנה חזותית בקלות זה מזה לעין בלתי ו/או הכובשים באופן עקבי אזורים שונים של כל מסגרת וידאו.

באופן כללי, כולל דוגמאות אימון מספיק המתארות הבדלים חזותיים מבדילים בין כל AOI צריך להספיק לביצועים חזקים. לאחר שינוי כל הפריטים, בחר מספר מתאים של מסגרות אימונים כדי להפוך את ערכת האימונים. אין מספר קבוע המתאים.

לאחר מכן, פתחו כל מסגרת אימון מהסרטון בתוכנת עריכת התמונות ולכל מסגרת שכבת תמונה שקופה בתמונה שנטענה לתיוג וליצור לוח צבעים המספק צבע אחד לכל סוג אובייקט נתון של עניין. לבחירת הצבע של אזור העניין לדוגמה, לחצו וגרורו פיקסלים בתוך אזור לצבע באזור לדוגמה עם בחירת לוח הצבעים המתאימה. לאחר השלמת התיוג של מסגרת, ייצאו את שכבת שכבת-העל כקובץ תמונה נפרד, תוך טיפול בנתיחת שם הקובץ הבסיסי התואם לשם קובץ בסיס המסגרת המקורי, אך עם C המצורף לסוף.

כדי לאמת כמותית את הדיוק של המסווג המיומן, בחר מסגרות מתוך רצף הווידאו המקורי שלא נבחר עדיין להיכלל בקבוצת האימונים ותייג את הפיקסלים בכל מסגרת כפי שהוכח רק עבור מסגרות האימון להיות מדויק ומקיף ככל האפשר. לאחר השלמת התיוג של מסגרת, השתמש באותה מוסכמה למתן שמות כמו עבור ההדרכה, שמירת הקבצים בתיקיה נפרדת של מסגרות אימות. לתיוג פיקסלים אוטומטי של רצף הווידאו, הפעל את ממשק המשתמש הגרפי של Darwin ולחץ על טען תוויות הדרכה.

כדי לקבוע את תצורת ה- GUI עבור הדרכה ותיוג, בחר צור פרוייקט וספק לפרוייקט שם באמצעות תיבת הדו-שיח המוקפצת. בחר את התיקיה המכילה את כל המסגרות המקוריות של רצף הווידאו בחלון המוקפץ. באמצעות תיבת הדו-שיח של סייר הקבצים המוקפצים, בחר את התיקיה המכילה את תמונות האימון המסומן עבור רצף הווידאו הרלוונטי.

ובתיבת הדו-שיח של סייר הקבצים, בחר את התיקיה המכילה את כל תמונות האימות המסוימות בתווית עבור רצף הווידאו הרלוונטי. בצע את הבקשה כדי לבחור תיקיית יעד עבור כל מסגרות הפלט אשר יהיו בצורה של תמונות המסומן באמצעות לוח צבעים זהה המשמש באימונים. באמצעות תיבת הדו-שיח המוקפצת, תחת תחומי עניין, הזן את אזורי העניין שיש להוסיף להם תווית, כולל הערכים האדומים/ירוקים/כחולים המשמשים לסימון כל אזור בדוגמאות האימון.

האלגוריתם יבחן כל מסגרת אימון המסומנת בתווית וילמד מודל מראה לסיווג הפיקסלים לכל אחת מחלקות האובייקטים שצוינו. לאחר השלמת האימון, לחץ על אמת את האימון. ובתיבת הדו-שיח של סייר הקבצים, בחר את התיקיה המכילה את כל תמונות האימות המסוימות בתווית עבור רצף הווידאו הרלוונטי.

כדי לאמת באופן חזותי את התוויות שנוצרו, לחץ על אימות חזותי. כל תמונה עם תווית שנוצרה תוצג לצד מסגרת האימות המקורית. אם הדיוק שנצפה באימות הכמותי או האיכותי יורד מתחת לרמות המקובלות, כלול והכשר דוגמאות אימון נוספות.

לאחר השלמת שלבי האימון וה האימות של המסווג, לחץ על הסיק הפעלה כדי להתחיל את התיוג המלא של כל המסגרות ברצף הווידאו באמצעות המסווג המיומן. לאחר השלמת התיוג, פעולה שעשויה להימשך מספר שעות, לחץ על עיין בפלט כדי לראות את התוויות המתקבלות. רוב התוכנות למעקב אחר העיניים יראה לך כי בממוצע, המשתתפים סרקו על ימין ועל שמאל על קואורדינטת x של הווידאו בסרטון הראשון לעומת הווידאו השני שעבורו מפת החום מראה צורה עגולה יותר.

באמצעות טכניקת תיוג פיקסל למידת המכונה המתוארת במאמר זה, אנו יכולים לראות פרטים נוספים. ייצוג גרפי זה של זמן הקיבוע באחוזים מראה שהנתיב גלוי בבירור במהלך הווידאו. עם זאת, כפי שמראה נתון זה מנתוני המעקב אחר העיניים, המשתתף הסתכל על תכונה זו רק מדי פעם בנקודות מפתח.

כאן מוצג סיכום של זמן ההתעכבות של כל 39 המשתתפים במחקר מייצג זה כאשר מסתכלים על אובייקטים לאורך כל הסרטון. בגרף זה, אותם נתוני זמן התעכבות חולקו לפי כמות הזמן והמרחב שאובייקטים שונים כבשו בסרטון. ערך של אחד מהם מציין שניתן להסביר את זמן ההתעכבות לפי כמות האובייקט בסרטון הווידאו.

לדוגמה, אובייקטים שהיו פחות רלוונטיים, כגון השמיים בשתי התמונות, נצפו באופן יחסי פחות מאובייקטים אחרים. חפצים מלאכותיים כגון פנסי רחוב וספסלים שוכנו במידה רבה יותר בהשוואה לחפצים טבעיים אחרים. סוגים אלה של ניתוח יכול להיות שימושים נרחבים רבים כדי לבדוק שאלות של תשומת לב ו saliency והוא יכול להיות יישומים נרחבים רבים להגיע לתחומי מחקר שונים.

ככל שהשימוש בסרטים קצרים כגירויים חזותיים הופך נפוץ יותר ויותר, אנו מצפים שטכניקה זו תהפוך לפופולרית יותר.