לכידת מחוות אצבע דינמיות עם אלקטרומיוגרפיה משטחית ברזולוציה גבוהה וראייה ממוחשבת

המחקר שלנו מתמקד בשיפור זיהוי מחוות יד דינמי באמצעות EMG מסונכרנים ונתונים חזותיים. אנו שואפים לקבוע עד כמה מדויקת פעילות השרירים ממפה את תנועות האצבעות על פני תנוחות ידיים שונות וכיצד זה יכול לשפר את היישום בשיקום תותבות ואינטראקציה בין אדם למחשב. הפרוטוקול שלנו מטפל בפער בזיהוי מחוות היד על ידי מתן אפשרות למיפוי פעילות השרירים למחוות האצבעות על פני תנוחות ידיים דינמיות שונות.

הגישה שלנו אוספת ומסנכרנת DMG ונתונים חזותיים במהלך תנועות דינמיות, ומניחה את היסודות לפיתוח מודלים חזקים לזיהוי מחוות. בניגוד לשיטות מסורתיות עם הגדרות סטטיות, הפרוטוקול שלנו משתמש ב-EMGRA אלחוטי ובמערכת מעקב הידיים במהלך תנועות דינמיות, מה שמבטיח גמישות ואיסוף נתונים מציאותי יותר למחקרי זיהוי מחוות. כדי להתחיל, פתח את מאגר GitHub ופעל לפי ההוראות המפורטות בסעיף ההתקנה.

אתר את קובץ ה-Python הראשי, data_collection. py, בתיקיה, והכינו אותו להפעלת הניסוי. השתמש בספקטרוגרמה של קובץ ה- Script.

py להערכת האלקטרומיוגרפיה, בקיצור, איכות אות EMG, ותסריט ניתוח הנתונים לסינון ופילוח אותות. ודא שיחידת רכישת הנתונים של EMG, בקיצור, DAU, טעונה במלואה לפני כל הפעלה. לאחר מכן, הפעל את ה-DAU.

חבר את ה-DAU למחשב באמצעות Bluetooth באמצעות האפליקציה הייעודית. הגדר את קצב תקשורת ה-Bluetooth ל-500 דגימות לשנייה. התקן ופתח את תוכנת מצלמת מעקב היד במחשב. חבר את מצלמת מעקב היד למחשב באמצעות כבל.

השתמש במסך אחד כדי להציג תמיד את תוכנת מצלמת מעקב הידיים. כדי להתחיל, הנחו את המשתתף לכופף את ידו הימנית לאגרוף חזק. כאשר המשתתף מתכופף, לחץ בעדינות לאורך האמה כדי למשש את השריר ולזהות את הנקודה עם ההפעלה הבולטת ביותר.

קלף את שכבת המגן הלבנה ממערך האלקטרודות EMG והצמד בזהירות את האלקטרודות לאזור האמה המזוהה. הניחו את סרט ההדבקה קרוב לכף היד וטפחו עליו בעדינות כדי להדק את מערך האלקטרודות לעור. לאחר חיבור מערך האלקטרודות לעור, קלף את שכבת התמיכה השקופה

לאחר מכן, הכנס את כרטיס מחבר מערך האלקטרודות לשקע מחבר ה-DAU. חבר את ה-DAU לסרט ההדבקה שליד האלקטרודות. הפעל את סקריפט הספקטרוגרמה המותאם אישית של Python כדי לאמת את איכות האות בזמן אמת.

שימו לב לחלון המוצג המציג נתונים גולמיים משמאל ונתוני תחום תדרים מימין עבור כל האלקטרודות. ודא שכל האלקטרודות מזוהות ומתפקדות כראוי ושהאות נקי מרעש מוגזם ורעש של 50 הרץ. במידת הצורך, נתק התקני ציוד מיותרים מהחשמל והתרחק מהמכשירים האלקטרוניים כדי להפחית את הרעש, מה שמאפשר זמן לאות להתייצב.

לאחר מכן, הנחו את המשתתף להניח מרפק על הכורסה ולהזיז את האצבעות, ואז בקשו להירגע. ודא שמוצג אות EMG ברור, ואחריו רעש בסיס סטטי. סגור את קובץ ה- Script לאחר השלמת אימות האות.

לסקירת המיקום, לחץ על הערכת תנוחת האצבע ואחריה רכישת נתונים כדי לפתוח את תיקיית התמונות. סקור את תמונות המחוות עם המשתתף. הסבירו למשתתף את עמדות הפורהנד בצורה ברורה.

הדריכו אותם כיצד להחזיק את היד לפני כל מפגש, תוך הקפדה על יציבה ומיקום נכונים. בתנוחת יד ראשונה, בקשו מהמשתתף לעמוד ישר, במרחק של כמטר אחד מהשולחן. לאחר מכן, הנחו את המשתתף להחזיק את ידו הימנית כלפי מטה, ישרה ונינוחה, כאשר כף היד פונה למצלמת מעקב היד.

קבעו את מצלמת מעקב הידיים על השולחן באמצעות מקל סלפי וכוונו אותה לכיוון ידו של המשתתף. ודא שהמשתתף מבצע מחוות יציבות בתחילת צליל הצפצוף, ולאחר מכן כף יד רגועה בזמן המנוחה. לתנוחת יד שנייה, הנחו את המשתתף לשבת בנוחות בכורסה, הממוקמת 40 עד 70 סנטימטרים מהמסכים.

לאחר מכן, בקשו מהמשתתף להושיט את ידו הימנית קדימה בזווית של 90 מעלות כשכף היד רפויה ופונה למצלמת מעקב היד. השתמש במכשיר תמיכה במידת הצורך כדי להחזיק את היד יציבה. הנח את מצלמת מעקב היד על השולחן עם הפנים כלפי מעלה.

ודא שהמשתתף מבצע מחוות יציבות בתחילת צליל הצפצוף, ולאחר מכן כף יד רגועה בזמן המנוחה. בתנוחת היד השלישית, בקשו מהמשתתף לקפל את ידו כלפי מעלה תוך הנחת המרפק על הכורסה. ודא שכף היד רגועה ופונה למצלמת מעקב היד.

קבעו את מצלמת מעקב היד על השולחן מול ידו של המשתתף. ודא שמיקום המשתתף אופטימלי הן לצפייה במסכים והן להימצאות בשדה הראייה של המצלמה. ודא שהמשתתף מבצע מחוות יציבות בתחילת צליל הצפצוף ואחריו כף יד רגועה בזמן המנוחה.

עבור תנוחת יד רביעית, בקשו מהמשתתף לבצע את תנועות האצבעות תוך כדי הזזת היד בחופשיות, ובחרו בתנוחת יד דינמית אחת, תנוחת יד דינמית שנייה או תנוחת יד דינמית שלוש. הפעל את המחשב, פתח את Python וטען את הסקריפט data_collection.py. התאימו את המיקום והזווית של מצלמת המעקב אחר היד כדי ליישר קו עם מיקום היד של המשתתף.

הפעל את data_collection. סקריפט py. יופיע חלון להזנת פרטי המשתתף.

מלא את המידע הנדרש ולחץ על אישור כדי להתחיל את הניסוי באופן אוטומטי. עבור כל מפגש, רשום נתוני EMG ומעקב אחר ידיים, שנשמרים אוטומטית. עם סיום הניסוי, ודא שהנתונים נשמרים אוטומטית בתיקייה המסומנת במספר הסידורי של המשתתף.

ודא שכל הפעלה מאוחסנת בתיקיית משנה בשם מספר S, המכילה ארבע תיקיות משנה עבור כל מיקום יד המסומן כמספר P. אם משתתף משלים מספר מפגשים, ודא שכל הנתונים נשמרים בתיקיית ההפעלה המתאימה. ודא שכל תיקיית מיקום יד מכילה את נתוני EMG שנשמרו בקובץ EDF, נתוני מעקב אחר ידיים שנשמרו בקובץ CSV וקובץ יומן המכיל את המטא נתונים על ההפעלה.

תעלות ה-EMG הראו פעילות חשמלית מוגברת במהלך שלבי החטיפה בהשוואה לשלבי מנוחה, כפי שניתן לראות באותות משרעת גבוהים יותר בכל הערוצים, עם חפצים מכניים המסומנים בקוצים חדים. נתונים קינמטיים ידניים הדגימו שינויים מסונכרנים בזווית האצבעות המתאימים למחוות חטיפה שהודרכו, עם מסלולי אות יציבים במהלך מעקב ללא הפרעה וסטייה נראית לעין בקטעים לא מיושרים.