Computer-Generated Stimuli modèle animal

Bonjour, je m'appelle Kevin w, du Centre d'étude intégrative du comportement animal de l'Université Macquarie à Sydney, en Australie. Dans cet article sous forme de vidéo, je vais parler de l'utilisation d'animations informatiques dans les expériences sur le comportement animal. En particulier, je vais expliquer comment nous fabriquons concrètement l'un de ces modèles.

Aujourd'hui, les animations gagnent en popularité dans notre culture contemporaine, mais on en rencontre encore peu dans le domaine scientifique ou dans la recherche scientifique. Toutefois, les premières tentatives de création d'animations à des fins scientifiques reposaient sur des processus très basiques, souvent fondés sur la découpe et la numérisation de parties spécifiques d'un objet ou d'un spécimen particulier. On utilisait également des techniques proches du mouvement biologique, comme les points lumineux, afin d'associer certaines parties précises d'un corps à une animation. Par ailleurs, la réalisation d'une animation nécessitait jusqu'alors qu'une personne la construise entièrement à partir de zéro.

À présent, l'utilisation de l'animation nous a permis d'étudier de nombreux aspects du comportement animal, tels que l'accouplement, la parade nuptiale, et ce que je vais examiner plus particulièrement ici, la communication ou la communication visuelle. L'utilisation de l'animation est bien plus sophistiquée que les méthodes traditionnelles, comme les interactions en direct ou les méthodes invasives telles que la chirurgie. Ainsi, dans cet article artistique particulier, je vais fournir un aperçu de la manière dont nous produisons ce modèle spécifique, et nous allons examiner comment ce modèle est numérisé.

Nous allons examiner comment ajouter une texture, les armatures de mise en correspondance UV, le lissage des poids, la manière dont nous capturons réellement le stimulus pour le rotoscopage, puis enfin, comment le processus est entièrement rendu jusqu'à l'obtention d'une séquence complète. Il existe huit grandes étapes permettant de créer l'animation entière. La première étape consiste à fournir effectivement une numérisation 3D de l'objet entier.

Cela fournit la forme de base de l'objet. Ensuite, nous devons ajouter la texture, qui lui confère évidemment un aspect plus réaliste, et cette texture est ensuite décomposée en une carte UV, ce qui permet de placer précisément certaines parties de la texture exactement sur l'objet. Puis nous devrons manipuler l'objet, après quoi nous ajouterons des squegans, qui seront ensuite transformés en os.

L'ombrage de poids est ensuite ajouté afin de donner également à l'objet une perspective d'équilibre global durant le mouvement. Nous devons ensuite capturer des stimuli particuliers à partir desquels nous pourrons modéliser le mouvement de l'objet. Nous effectuons ensuite le rotoscopage de ces mouvements par-dessus les images que nous avons capturées, puis, enfin, nous devons rendre les séquences dans un format lisible utilisable pour la lecture vidéo. Nous avons obtenu un spécimen empaillé à utiliser comme modèle.

Ici, nous utilisons le Konica Minolta vi dash nine I pour reproduire un objet 3D. Le Konica Minolta utilise la photographie numérique et fournit une mesure de haute précision en employant un algorithme 3D pour relier ensemble des segments photographiques. Il produit la forme et les dimensions du modèle et convertit les images en données numériques 3D.

La numérisation 3D prend des segments particuliers d'un objet réel et les place dans un objet simulé pour l'animation par ordinateur. Cet objet est ensuite construit en prenant ces segments et en les positionnant correctement. Cela crée alors un objet que nous pouvons manipuler dans un logiciel d'animation.

Ici, nous avons fourni un exemple de configuration illustrant comment nous photographions notre objet, puis comment nous le convertissons en un modèle animé en 3D. L'objet est d'abord photographié sous plusieurs angles, et ces images sont ensuite placées dans l'orientation correcte, ce qui permet de lisser les contours adjacents. Cette technique utilise des systèmes de photogrammétrie, permettant d'obtenir un haut niveau de détail et une grande précision de l'objet.

Ce système utilise à la fois des marqueurs revêtus et des barres d'échelle à dimensions contrôlées pour cartographier les coordonnées des marqueurs de référence. Ces coordonnées constituent une constellation tridimensionnelle utilisée pour mesurer avec précision les contours et les distances entre chaque section photographique. Les données ont été collectées à l'aide de Raindrop Geomagic, ce qui a permis d'obtenir un maillage polygonal unique de la forme morphologique des données.

Pour créer notre animation, nous avons choisi d'utiliser un programme appelé Light Wave 3D. Bien qu'il existe d'autres logiciels d'animation 3D disponibles, nous avons opté pour LightWave en raison de son interface conviviale et de sa capacité à lire des fichiers de sortie compatibles. En outre, LightWave se compose de deux programmes distincts : le modeleur et la mise en page.

Le programme de modélisation LightWave permet de manipuler l'objet en mettant en surbrillance des polygones spécifiques pour apporter des modifications, en créant des calques sur l'objet, en ajoutant des couleurs et des textures, et en générant des squegans. La mise en page LightWave crée des scènes utilisées pour finaliser la séquence d'animation. Modler est l'espace où sont construites les caractéristiques de l'objet.

C'est ici que nous pouvons ajouter la texture, le mappage UV, le squegan initial, qui se transformera en os, et prendre également en charge le poids. Le modeleur de rendu est une étape préalable à l'utilisation de Light Wave, où les scènes sont effectivement construites ; c'est donc ici que les caractéristiques des objets sont initialement intégrées à l'objet. Light Wave Layout est un programme dans lequel vous créez la scène réelle, à l'exception de la grille où l'objet sera placé. À l'intérieur de ce plan X, Y et Z, vous disposez de deux autres fonctionnalités particulières.

Vous disposez de la caméra, qui filme effectivement la scène, et la caméra elle-même peut être placée sous n'importe quel angle selon celui que vous choisissez pour la visualisation. Ensuite, il y a les sources lumineuses. Vous pouvez utiliser une ou plusieurs lumières, qui permettent d'éclairer la scène ainsi que l'objet, et vous offrent la possibilité de créer différents effets d'éclairage.

La disposition des ondes lumineuses nous offre plusieurs aspects différents selon lesquels nous pouvons examiner la scène. Le nombre maximal d'aspects observables correspond à quatre perspectives distinctes. Cette méthode constitue le meilleur moyen d'analyser autant d'angles différents de votre objet au sein de la scène avant la sortie finale.

Dans la configuration des ondes lumineuses, il existe trois axes de rotation distincts. Le premier est la coordonnée X, qui correspond au tangage. Ensuite, la coordonnée Y, qui correspond au cap, et enfin la coordonnée Z, qui correspond au roulis.

Ces trois coordonnées différentes concernent les déplacements grâce auxquels nous pouvons manipuler non seulement l'objet, mais aussi les caméras et les lumières dans notre scène. Nous avons d'abord sélectionné un lézard Jackie similaire en masse et en longueur à notre modèle empaillé. Ensuite, nous avons obtenu la texture de l'objet en photographiant les motifs et la texture de ce dragon Jackie vivant.

Cet lézard a ensuite été photographié sous différents angles, tels que de face et orthogonaux, depuis plusieurs positions comme de face, orthogonale, ventrale et dorsale, ainsi que des différentes parties du corps telles que l'animal entier, la tête, le corps, la queue et les membres, sur une feuille de papier blanc. Nous avons ensuite équilibré cela pour obtenir les valeurs RVB parfaitement blanches. Afin d'obtenir la texture appropriée, nous avons pris un lézard vivant et l'avons photographié sous plusieurs angles différents. Il a été pris sous trois angles et également depuis trois positions différentes.

Les trois angles étaient orthogonaux, dorsal et ventral, et les trois positions étaient antérieure, centrale et postérieure. Nous avions utilisé un appareil photo numérique Canon ES afin de photographier ces lézards. Les photographies ont ensuite été importées dans Adobe Photoshop, où les éléments plus grands ont été séparés du fond réel.

Ces morceaux ont ensuite été associés à des valeurs RVB, puis équilibrés en blanc afin qu'il n'y ait aucune différence de couleur. Nous avons créé une carte UV d'atlas afin de superposer la texture sur l'objet. Cette carte UV d'atlas a été créée dans LightWave Modeler.

Une carte UV Atlas sépare l'objet en fragments constitués de polygones connectés. Étant donné que l'objet n'avait pas une forme simple comme un cube ou un cylindre, la carte UV Atlas divise l'objet en plusieurs surfaces planes plus simples ne comportant pas d'angles à 90 degrés. Toutefois, une carte UV Atlas fragmente l'objet en plusieurs segments discontinus de polygones connectés.

Ainsi, la carte UV de l'Atlas a ensuite été capturée à l'aide d'un programme appelé Grab afin de créer une image JPEG distincte. Ensuite, nous avons intégré cette image de l'ATB comme calque d'arrière-plan dans Adobe Photoshop Elements. En capturant un JPEG sans redimensionner l'image, nous avons conservé les mêmes proportions, qui peuvent être utilisées pour mapper des zones sur le dragon Jackie à l'objet.

Les différentes photographies des Jackie Dragons ont ensuite été fusionnées dans Adobe Photoshop Elements afin de créer des Jackie Dragons entiers dans plusieurs positions, telles que frontales, orthogonales, ventrales et dorsales. Les polygones ont ensuite été ajustés à la zone locale sur le Jackie Dragon. Puis, dans Light Wave Modeler, nous avons de nouveau mis en évidence ces polygones sur la carte UV de l'atlas, ce qui nous a permis d'identifier la zone spécifique sur le Jackie Dragon.

Cette zone a ensuite été recadrée et superposée à la carte UV Atlas en format jpeg, sur des zones spécifiques du Jackie Dragon qui avaient été photographiées, puis recadrées et superposées sur ces polygones précis. Lorsque tous les fragments photographiques ont été superposés sur la carte UV Atlas au format jpeg, l'arrière-plan a été supprimé et un fichier TIF unique a été créé. Ce fichier TIF a ensuite été réimporté dans le modeleur Light Wave et attribué aux coordonnées UV.

Le mappage UV consiste à prendre des segments autrefois photographiés sur le lézard vivant, à les segmenter réellement et à les placer sur notre lézard animé. Cette opération s'effectue dans le programme Light Wave Modeler. À l'aide de ce programme, nous utilisons l'outil de carte UV Atlas, qui nous permet de diviser l'objet en plusieurs segments distincts.

En le divisant en plusieurs segments distincts, nous pouvons utiliser la texture obtenue à partir des photographies et l'appliquer par-dessus ces éléments particuliers. Contrairement à un objet qui pourrait être simple ou cylindrique, un objet n’ayant pas d’angles droits se divise en plusieurs segments différents. Voici un agrandissement de quelques petits segments polygonaux sur notre carte d’atlas UV.

Nous pouvons mettre en évidence ces segments particuliers afin de voir quels polygones correspondent à quel corps spécifique. Les parties de l'objet, issues des photographies prises sous un lézard éclairé, ont ensuite été divisées puis positionnées par-dessus nos éléments séparés. À l’aide de la carte d’atlas UV, ces segments ont ensuite été appariés et superposés afin d’appliquer la texture par-dessus notre objet.

Le squelette et les os sont intégrés à l'objet, ce qui permet les mouvements généraux et la manipulation de celui-ci. Tout d'abord, dans le modeleur Light Wave, le squelette a été intégré à l'objet, et le squelette sert d'espace réservé pour la création d'os virtuels dans la mise en page Light Wave. Dans notre objet en particulier, 61 os ont été créés au total.

D'abord, une couche a été ouverte dans le modeleur d'ondes lumineuses et l'objet peut être visualisé sous forme de structure filaire. Dans ce programme, le modeleur nous permet ensuite de visualiser plusieurs couches en structure filaire, ce qui nous évite de sélectionner ou de déplacer accidentellement certains polygones lors de la création du squegan. Dans notre modèle, nous avons créé une colonne vertébrale artificielle conçue pour représenter les vertèbres cervicales du cou jusqu’aux vertèbres sacrées à l’extrémité de la queue.

Skegan a ici recréé le squelette du véritable Dragon Jackie. Cependant, nous avons utilisé uniquement un grand pistolet à squelette pour la tête. Nous avons ensuite créé quatre membres, composés chacun de quatre skegan, puis les skegan ont été fusionnés en tant que vertèbres thoraciques, et finalement les membres postérieurs ont également été fusionnés au bassin.

Les squegans ont ensuite été fusionnés pour créer un système hiérarchique dans lequel la colonne vertébrale jouait le rôle de fondement central pour tous les mouvements des membres. Une fois tous les squegans créés, l'objet a ensuite été synchronisé avec la disposition des ondes lumineuses, et les squegans ont été convertis en os. Chaque os, tout comme l'objet lui-même en mode disposition, possède également trois plans de rotation.

Les squegans, qui sont les prédécesseurs de nos os. Les squegans sont initialement créés à l'aide du modeleur léger. C'est ici que nous installons ces squegans pour qu'ils soient ultérieurement convertis en os à l'aide de la disposition Light Wave.

Les armatures squelettiques constituent le processus initial qui nous donne la flexibilité et le contrôle nécessaires pour modifier l'objet en différentes formes et positions. Tout d'abord, dans Light Wave Modeler, nous pouvons ajouter des armatures squelettiques, qui permettent de manipuler notre objet. Ces armatures sont ensuite placées dans l'objet comme des repères destinés à être convertis en os.

Dans la disposition de Light Wave, nous convertissons ces squegans en os. Sur ce diagramme, il y a également un maillage polygonal, qui nous montre précisément les dimensions et le nombre de polygones au sein de notre objet particulier dans la disposition de Light Wave également. Dans la scène suivante, vous verrez comment ces os fonctionnent ensemble afin d'aider à manipuler l'objet. Le poids affecté confère aux objets un mouvement souple et restreint.

Les cartes de poids ont une valeur générale comprise entre -100 % et +100 % dans la répartition du mouvement. Par exemple, les cartes de poids indépendantes attribuées à des zones spécifiques de l'objet doivent agir de manière antagoniste afin de permettre un mouvement fluide et réaliste de l'objet. La valeur de poids indique qu'une déviation plus importante par rapport à 0 %, correspondant à l'absence d'effet, produira un effet plus marqué sur le mouvement de la partie corporelle concernée.

L’ombrage de poids d’une zone particulière affecte également le mouvement des os. Toutefois, un mauvais paramétrage du poids peut entraîner un mouvement retardé de l’objet par rapport au mouvement des os, par exemple les os pourraient dépasser de l’objet lorsque le déplacement de l’objet s’effectue dans la même direction générale, ou cela peut provoquer un mouvement excessif, tel que le mouvement de l’objet puisse dépasser la position des os dans la direction générale. Ici, dans LightWave Modeler, nous divisons notre perspective en une perspective quadrillée.

Cela nous permet de voir des paires antagonistes d'ombrage de poids. Pour vous montrer un exemple en gros plan de la manière dont l'ombrage de poids se produit ici, ce que nous avons fait, c'est d'abord appliquer un ombrage de poids sur la queue. En ajoutant des ombrages de poids à une partie particulière de l'objet, nous devons ajouter un ombrage de contre-poids afin d'équilibrer le mouvement de l'objet.

Ici, nous avons ajouté un contrepoids sur la tête pour équilibrer les mouvements exagérés qui pourraient être provoqués par la queue. Pour commencer le rotoscopage, nous devons d'abord recueillir des séquences à partir desquelles nous pourrons modéliser nos schémas moteurs. Nous avons d'abord simulé des interactions mâle-mâle à partir d'individus en captivité.

Les mâles ont été placés dans des terrariums en verre IPOing, puis filmés individuellement pendant leurs affichages sociaux. Ces séquences ont ensuite été archivées pour d'autres expériences et pour être utilisées en rotoscopie. Nous avons sélectionné des séquences de motifs moteurs tels qu'un mouvement rapide de la queue, une montée, un balancement du corps et un lent mouvement ondulatoire du bras à partir des séquences vidéo numériques capturées, puis exporté ces extraits en séquences d'images, c'est-à-dire en une série de fichiers jpeg consécutifs au format Apple QuickTime.

Nous avions initialement filmé des interactions entre animaux vivants, nécessaires et conservées sous forme d'archives vidéo afin de procéder à la capture de stimuli. Nous avons présenté ces séquences vidéo d'iguanes à un iguane vivant maintenu dans un enclos. Les réponses de cet iguane vivant ont ensuite été enregistrées à l'aide d'une caméra numérique, constituant ainsi les séquences que nous utilisons pour le rotoscopage.

Le rotoscopage est une technique dans laquelle le modèle est superposé à une image d'arrière-plan ou à une série d'images, l'objet devant imiter une séquence image par image. Le logiciel de mise en page lumineuse constitue le support dans lequel la scène est créée pour la séquence d'animation. Lors de la mise en page, nous pouvons contrôler l'environnement dans lequel notre animation sera représentée en définissant des paramètres relatifs à la lumière, à la caméra, aux objets et aux caractéristiques de l'arrière-plan.

Dans la mise en page. Le stimulus est également utilisé dans la scène finale, qui ne sera capturée que lorsque le matériau se trouvera dans le champ final de la caméra. Tout d'abord, la première image jpeg est importée en arrière-plan de la vue de la caméra.

L'objet est ensuite manipulé à l’aide des paramètres de mouvement des os, qui sont également superposés devant l’image d’arrière-plan. L’image est alors définie comme image clé, ce qui enregistre la position de l’objet et de tous les os pour cette image précise. L’image d’arrière-plan est ensuite supprimée et remplacée par l’image consécutive suivante.

Dans la séquence d'images, l'objet est de nouveau manipulé pour ajuster sa position et sa posture à celles de l'image d'arrière-plan, après quoi chaque image est traitée. Chaque image est ensuite définie comme image clé, et une fois la scène terminée, la séquence peut être exportée sous forme de séquence d'images ou rendue en une séquence complète. Afin de démontrer le rotoscopage, qui consiste à recréer des mouvements réalistes à partir de séquences vidéo enregistrées, nous allons commencer par vous montrer ce que nous utilisons habituellement comme arrière-plan d'origine.

Ici, dans cette première séquence, vous verrez le perchoir vide du lézard, sur lequel il se pose habituellement. Deuxièmement, je vais vous montrer la séquence du lézard vivant que nous utiliserons pour le rotoscopage. Troisièmement, vous verrez la séquence du lézard animé superposée à celle du lézard vivant.

Ici, je vous montre l'endroit où l'objet est importé dans la disposition de Light Wave. Comme vous pouvez le constater, vous pouvez diviser la disposition en plusieurs écrans distincts, ce qui offre une meilleure vue pour manipuler l'objet. La vue la plus importante, toutefois, est celle située en haut, qui correspond à la vue caméra ; vous pouvez y voir les zones de sécurité, indiquées par les rectangles entourant le lézard.

Tout ce qui est vu ou placé dans cette zone de sécurité sera enregistré par la caméra et finalement utilisé pour le rendu de la scène. Le rotoscopage consiste à manipuler image par image l'objet par-dessus les images d'arrière-plan.

Ce que nous avons fait ici, étape par étape, consiste à exporter la séquence d'images sous forme d'images individuelles. Nous utilisons ensuite ces images individuelles et les plaçons comme arrière-plan de notre séquence animée. Nous devons ensuite déplacer notre séquence animée afin de faire correspondre les positions observées dans l'arrière-plan.

Ainsi, en l’ajustant image par image, nous sommes en mesure de recréer le mouvement réellement effectué à partir d’une séquence d’images réelles. Comme mentionné précédemment, nous devons importer chaque séquence image par image afin de pouvoir effectuer le rotoscopage de notre image. Sur cette image, nous avons importé la première séquence en arrière-plan, ce qui nous permet de voir la position de notre objet par rapport à l’image d’arrière-plan.

Nous pouvons ensuite également fournir une vue radiographique de l'os et une disposition des ondes lumineuses, ce qui nous permet de voir les os à travers la texture de l'objet ici. En étant capable de voir les os à travers la texture de l'objet, nous pouvons manipuler l'objet pour qu'il corresponde à la séquence d'arrière-plan de chaque image particulière. Nous importerions alors la séquence consécutive suivante sur laquelle nous souhaiterions effectuer le rotoscopage de notre image.

Et cela est répété à nouveau sous forme de séquence image par image à travers toute la séquence consécutive. De courtes séquences peuvent être rendues directement à partir de la mise en page vers différents formats d'images ou directement vers des séquences vidéo. Toutes les longues séquences peuvent être rendues à l'aide du rendu.

Farm Commander de Bruce Rain Render. Farm Commander ou RFC permet à tous les ordinateurs d’un réseau local d’augmenter la vitesse de rendu en répartissant les tâches entre les ordinateurs connectés. Dans notre laboratoire, nous avons utilisé quatre Apple Mac G5 à double processeur, comprenant huit threads, pour distribuer le rendu.

Par exemple, le traitement d'une séquence de 9 000 images, ce qui équivaut à six minutes au format DV pal, peut être effectué en 12 heures à l'aide d'un seul processeur G5, et réduit à quatre heures lorsqu'il est réparti sur huit threads ou sur 4 processeurs doubles G5. L'utilisation de RFC pour le traitement par lots est efficace lorsqu'il n'y a pas plus de deux grandes séquences. Toutefois, RFC produit un nombre quelconque de fichiers graphiques individuels.

Cependant, nous avons choisi de convertir nos deux séquences, longue et courte, en fichiers JPEG individuels. Ainsi, pour illustrer à nouveau, nous disposons ici de notre séquence d'origine, qui comporte un affichage comportant un son de lézard, un « push-up » corporel standard, utilisé pour la communication sociale et les interactions agressives. Et voici maintenant notre séquence finale, notre lézard animé, qui va reproduire le « push-up » corporel observé dans les images initiales du lézard.