Stima delle regioni di contatto tra mani e oggetti durante la presa umana a più cifre

Precedenti ricerche comportamentali sulla presa umana sono state limitate a misurazioni altamente vincolate in scenari strettamente controllati. Il nostro protocollo consente una caratterizzazione molto più ricca di complessi comportamenti di presa naturalistica. Questa tecnica utilizza mappe dettagliate delle superfici di contatto degli oggetti manuali grazie alla presa a più cifre.

Questo ci permette di indagare su come gli esseri umani afferrano gli oggetti con un livello di sofisticazione senza precedenti. Sono necessarie misurazioni accurate delle capacità di presa umana per comprendere il controllo motorio, la percezione tattile e l'interazione uomo-computer. Questi dati possono informare la progettazione di pinze robotiche e protesi degli arti superiori.

A dimostrare la procedura sarà Kira Dehn, una studentessa laureata che sta completando la sua tesi di Master nel mio laboratorio. Per iniziare, posiziona un banco di lavoro con un volume di tracciamento ripreso da più angolazioni da telecamere di tracciamento del movimento disposte su una cornice che circonda lo spazio di lavoro. Prepara i pennarelli riflettenti attaccando del nastro biadesivo alla base di ciascun pennarello.

Eseguire Qualisys Track Manager, o QTM, come amministratore. Posizionare l'oggetto di calibrazione a forma di L all'interno del volume di tracciamento. All'interno di QTM, fare clic su Calibrare nel menu Acquisizione e attendere che si apra una finestra di calibrazione.

Selezionare la durata della calibrazione e premere OK. Agitare la bacchetta di calibrazione sul volume di tracciamento per tutta la durata della calibrazione. Premere il pulsante Esporta e specificare un percorso di file per esportare la calibrazione come file di testo.

Accettare la calibrazione premendo OK. Per creare un oggetto di stimolo, costruisci un modello di oggetti 3D virtuale sotto forma di una mesh poligonale. Utilizzare una stampante 3D per costruire una replica fisica del modello a oggetti.

Per preparare un oggetto di stimolo, attacca quattro marcatori riflettenti non planari alla superficie dell'oggetto reale. Posizionare l'oggetto all'interno del volume di tracciamento. Nel repository del progetto, eseguire lo script Python indicato.

Seguire le istruzioni fornite dallo script per eseguire un'acquisizione di un secondo della posizione 3D dei marcatori oggetto. Selezionare tutti i marcatori del corpo rigido. Fate clic con il pulsante destro del mouse e selezionate Definisci corpo rigido (Define Rigid Body) o 6DOF, quindi Cornice corrente (Current Frame).

Immettere il nome del corpo rigido e premere OK. Nel menu File, seleziona Esporta in TSV. Nella nuova finestra, selezionare le caselle 3D, 6D e Skeleton nelle impostazioni Tipo di dati.

Seleziona tutte le caselle nelle impostazioni generali. Premere OK e quindi Salva. Apri Blender e vai all'area di lavoro Scripting.

Aprire il file indicato e premere Esegui. Passare all'area di lavoro Layout e premere N per attivare o disattivare la barra laterale. All'interno della barra laterale, vai alla scheda Personalizzata.

Selezionare il file obj da registrare insieme e premere il pulsante Carica oggetto. Selezionate il file di traiettoria esportato in precedenza e specificate i nomi dei marcatori attaccati agli oggetti rigidi separati da punto e virgola. Nell'intestazione dell'indicatore specificare la riga nel file di traiettoria contenente i nomi delle colonne dei dati.

Quindi, selezionare il file del corpo rigido corrispondente con il suffisso 6D e specificare il nome del corpo rigido definito nel passaggio precedente. Nell'intestazione 6D, specificare la riga nel file del corpo rigido contenente i nomi delle colonne dei dati. Premere Load Marker, quindi traslare e ruotare l'oggetto marcatori o l'oggetto per allinearlo.

Specificare un file di output mesh e premere Run Co-Registration per generare un file obj contenente la mesh di stimolo co-registrata. Attacca 24 marcatori riflettenti sferici su diversi punti di riferimento della mano di un partecipante usando del nastro biadesivo. Posizionare i marcatori centralmente sulla punta delle dita nelle articolazioni interfalangee distali, nelle articolazioni interfalangee prossimali e nelle articolazioni metacarpo-falangee dell'indice, del medio, dell'anulare e del mignolo.

Per il pollice, posizionare un marcatore ciascuno sulla punta delle dita e sull'articolazione metacarpale basale e un paio di marcatori ciascuno sulle articolazioni metacarpo-falangee e interfalangee. Infine, posizionare i marcatori al centro del polso e sull'articolazione scaphotrapeziotrapezoidale. Chiedi al partecipante di appoggiare la mano sul banco di lavoro con il palmo rivolto verso il basso e di chiudere gli occhi.

Posizionare l'oggetto stimolo sul banco di lavoro di fronte al partecipante. Mentre QTM è in esecuzione, eseguire lo script Python indicato nel repository del progetto. Chiedi al partecipante di aprire gli occhi e seguire le istruzioni fornite dallo script per catturare una singola prova del partecipante che afferra l'oggetto stimolo.

All'interno del QTM, trascinare e rilasciare le singole traiettorie dei marcatori dalle traiettorie non identificate alle traiettorie etichettate ed etichettarle in base alla convenzione di denominazione. Selezionare tutti i marcatori attaccati alla mano, fare clic con il pulsante destro del mouse e selezionare Genera modello AIM dalla selezione. Nella nuova finestra, selezionare Crea un nuovo modello basato sulle connessioni marker dal modello AIM esistente e premere il pulsante Avanti.

Selezionare la definizione del modello RH_FH e premere Apri. Premere Avanti, immettere un nome per il modello AIM e premere OK. Infine, premere Fine per creare un modello AIM per la mano del partecipante per identificare automaticamente i marcatori nelle prove successive dallo stesso partecipante.

All'interno di QTM, aprire le impostazioni del progetto premendo l'icona della ruota dentata. Nella barra laterale, vai a Risolutore scheletro e premi Carica per selezionare un file di definizione dell'ossatura. Regolare il fattore di scala su 100% e premere Applica.

Vai a TSV Export e seleziona le caselle 3D, 6D e Skeleton nelle impostazioni del tipo di dati. Seleziona tutte le caselle nelle impostazioni generali. Premere Applica e chiudere le impostazioni del progetto.

Premi l'icona Rielabora, quindi seleziona le caselle Risolvi scheletri ed Esporta in file TSV e premi OK. Aprire una finestra di comando nel repository del progetto e attivare l'ambiente conda eseguendo il comando indicato. Quindi eseguire il comando indicato e seguire le istruzioni fornite dallo script per generare per ogni fotogramma della prova una maglia a mano che ricostruisca la posa della mano corrente.

Per le stime della regione di contatto con l'oggetto mano, eseguire il comando indicato e seguire le istruzioni fornite dallo script per generare stime della regione di contatto con la mano e l'oggetto calcolando l'intersezione tra le mesh della mano e dell'oggetto. In questo studio, la dinamica della presa è stata registrata utilizzando 24 marcatori riflettenti sferici attaccati a diversi punti di riferimento della mano. Qui vengono mostrate le modifiche al decodificatore a maglia manuale profonda pre-addestrato.

In primo luogo, poiché la rete non viene addestrata su partecipanti specifici, viene utilizzato il correttivo generico della mesh dipendente dall'ID fornito con il modello pre-addestrato. Inoltre, il correttivo dello scheletro dipendente dall'ID viene derivato utilizzando il QTM Skeleton Solver. Si assume il ridimensionamento proporzionale della mano con la lunghezza dello scheletro e lo spessore della maglia viene uniformemente scalato da un fattore derivato dal ridimensionamento relativo dello scheletro.

Viene mostrata la ricostruzione finale della mesh a mano 3D della posa della mano corrente nella stessa cornice di coordinate della mesh di oggetti tracciata in 3D. Viene mostrato un video di una mano con punti tracciati e mesh co-registrate che si muovono fianco a fianco durante una singola presa su una figurina di gatto stampata in 3D. Un singolo fotogramma al momento del contatto mano-oggetto da una presa a un croissant stampato in 3D, insieme alle ricostruzioni della maglia dell'oggetto della mano e alle regioni di contatto stimate sulla superficie del croissant.

L'oggetto e i marcatori ad esso collegati devono essere correttamente co-registrati. Allinearli completamente è importante perché le deviazioni possono avere un grande impatto sulle stime della regione di contatto. Oltre alle superfici di contatto, la procedura fornisce angoli di Eulero articolati per ciascun giunto delle dita.

Questi possono essere usati per studiare come le pose delle mani durante le prese a più cifre si svolgono nel tempo.