Une implémentation étape par étape de DeepBehavior, Deep Learning Toolbox pour l’analyse automatisée du comportement
6 février 2020
Le but de ce protocole est d’utiliser des filets neuronaux convolutionnels préconstruits pour automatiser le suivi du comportement et effectuer une analyse détaillée du comportement. Le suivi du comportement peut être appliqué à toutes les données vidéo ou séquences d’images et est généralisable pour suivre n’importe quel objet défini par l’utilisateur.
Effectuer une analyse détaillée du comportement est crucial pour comprendre la relation de comportement du cerveau. Une des meilleures façons d’évaluer le comportement est par des observations minutieuses. Cependant, quantifier le comportement observé prend beaucoup de temps et est difficile.
Les méthodes classiques d’analyse du comportement ne sont pas facilement quantifiables et sont intrinsèquement subjectives. Les récents développements dans le domaine de l’apprentissage profond, une branche des domaines de l’apprentissage automatique et de l’intelligence artificielle, offrent des possibilités de quantification automatisée et objective des images et des vidéos. Ici, nous présentons nos méthodes récemment développées en utilisant des réseaux neuronaux profonds pour effectuer une analyse détaillée du comportement chez les rongeurs et les humains.
Le principal avantage de cette technique sont sa flexibilité et son applicabilité à toutes les données d’imagerie pour l’analyse du comportement. La boîte à outils DeepBehavior prend en charge l’identification d’un seul objet, la détection multi-objets et le suivi des poses humaines. Nous fournissons également le code de post-traitement dans MATLAB pour des méthodes d’analyse cinématiques plus approfondies.
Commencez par mettre en place Tensor Box. Activez l’environnement, puis utilisez GitHub pour cloner Tensor Box et l’installer sur la machine et sur des dépendances supplémentaires. Ensuite, lancez l’interface utilisateur graphique d’étiquetage et étiquetez au moins 600 images à partir d’une large distribution d’images de comportement.
Pour étiqueter une image, cliquez sur le coin supérieur gauche de l’objet d’intérêt, puis sur le coin inférieur droit. Ensuite, assurez-vous que la boîte de divisation capture l’objet entier. Cliquez à côté pour passer au cadre suivant.
Pour relier les images de formation à un fichier de paramètres hyper réseau, ouvrez overfeat_rezoom. json dans un éditeur de texte et remplacer le chemin de fichier sous train_idl à labels.json. Ensuite, ajoutez le même chemin de fichiers sous test-idl et enregistrez les modifications.
Lancez le script de formation qui commencera la formation pour 600 000 itérations et générerez les poids formés résultants du réseau neuronal convolutionnel dans le dossier de sortie. Effectuez ensuite la prédiction sur de nouvelles images, et visualisez les sorties du réseau sous forme d’images étiquetées et de coordonnées de boîte de dingage. Installez YOLOv3.
Étiquetez ensuite les données de formation avec Yolo_mark en plaçant les images dans le dossier Yolo_mark-data-obga et en les étiquetant une par une dans l’interface utilisateur graphique. Étiquetez environ 200 images. Ensuite, configurer le fichier de configuration.
Pour modifier le fichier de configuration ouvrez le YOLO-obj. dossier cfg. Modifiez les lignes de lot, de subdivision et de classes.
Modifiez ensuite le filtre pour chaque couche de convolution avant une couche YOLO. Téléchargez les poids du réseau et placez-les dans la version darknet. dossier x64.
Exécutez l’algorithme de formation, et une fois qu’il est complet voir les itérations. Pour suivre plusieurs parties du corps dans un sujet humain, installez OpenPose puis utilisez-le pour traiter la vidéo désirée. Les capacités de la boîte à outils DeepBehavior ont été démontrées sur des vidéos de souris effectuant une tâche d’atteinte de granulés alimentaires.
Leurs pattes droites ont été étiquetées et le mouvement a été suivi avec des caméras de vue avant et latérale. Après le post-traitement avec étalonnage de la caméra, des trajectoires 3D de la portée ont été obtenues. Les sorties de YOLOv3 sont de multiples boîtes de dérodage car plusieurs objets peuvent être suivis.
Les boîtes bondissantes sont autour des objets d’intérêt qui peuvent être des parties du corps. Dans OpenPose, le réseau a détecté les positions communes et après le post-traitement avec étalonnage de la caméra, un modèle 3D du sujet a été créé. Une étape critique non couverte par ce protocole consiste à s’assurer que votre appareil dispose des versions python et des dépendances appropriées ainsi que d’un périphérique configuré GPU avant de commencer.
Après avoir obtenu avec succès le comportement de la piste à partir du réseau post-traitement supplémentaire peut être fait pour analyser davantage la cinématique et les modèles du comportement. Pourquoi la boîte à outils DeepBehavior est applicable pour les approches diagnostiques dans les modèles de maladies des rongeurs et des sujets humains n’est pas un avantage thérapeutique direct. L’utilisation de ces techniques comme outil diagnostique ou pronostique fait l’objet de recherches actives au sein de notre laboratoire.
Cette technique est utilisée pour étudier les mécanismes neuronaux du comportement moteur qualifié chez les rongeurs ainsi que d’être utilisé dans des études cliniques pour évaluer la récupération motrice chez les patients atteints de maladies neurologiques.
Consultez la transcription complète et accédez à des milliers de vidéos scientifiques
Aperçu
Ce protocole utilise des réseaux neuronaux convolutifs préexistants pour automatiser le suivi du comportement et effectuer une analyse comportementale détaillée. Il s'applique à toute donnée vidéo ou séquence d'images, permettant le suivi d'objets définis par l'utilisateur.
Composantes clés de l'étude
Domaine scientifique
- Neurosciences
- Analyse du comportement
- Apprentissage automatique
Contexte
- Comprendre les relations entre le cerveau et le comportement est essentiel.
- Les méthodes traditionnelles d'analyse du comportement sont subjectives et chronophages.
- Le deep learning offre des possibilités de quantification automatisée des comportements.
- Les récents progrès en intelligence artificielle peuvent améliorer le suivi comportemental chez divers sujets.
Objectif de l'étude
- Automatiser le suivi des comportements à l'aide de réseaux neuronaux profonds.
- Fournir une quantification objective des comportements dans les vidéos et les images.
- Améliorer l'efficacité de l'analyse comportementale en recherche.
Méthodes utilisées
- Utilisation de réseaux neuronaux convolutifs.
- Application à des données vidéo et à des séquences d'images.
- Suivi d'objets définis par l'utilisateur.
- Mise en œuvre dans des études sur les rongeurs et les humains.
Résultats principaux
- Automatisation réussie du suivi du comportement.
- Analyse objective des schémas comportementaux.
- Généralisation à différents types de données vidéo.
- Compréhension approfondie du comportement grâce à des mesures quantitatives.
Conclusions
- Les méthodes d'apprentissage profond peuvent améliorer considérablement l'analyse du comportement.
- L'automatisation réduit la subjectivité et le temps consacré à la recherche.
- Cette approche est applicable à divers contextes de recherche.
Questions fréquemment posées
Pertinence industrielle pour les cadres
L'analyse automatisée du comportement permet de surmonter l'obstacle que représente l'évaluation manuelle subjective et chronophage utilisée en neurosciences précliniques, en rendant possible la quantification objective des phénotypes moteurs dans les modèles de maladies. En transformant les données vidéo en métriques cinématiques précises, DeepBehavior soutient la validation de cibles thérapeutiques et la réduction des risques mécanistiques en phase précoce de découverte, notamment pour les troubles du système nerveux central où les critères d'évaluation comportementaux sont essentiels. Cela renforce la fiabilité prédictive dans l'identification de composés candidats et diminue l'abandon de projets dû à une faible validité translationnelle des tests comportementaux.
Applications stratégiques en recherche et développement en biopharmaceutique
Début de la découverte et validation de la cible
- Valeur scientifique : Permet l'interrogation d'hypothèses thérapeutiques en quantifiant les comportements moteurs spontanés et habiles chez les modèles rongeurs de maladies neurologiques.
- Valeur opérationnelle : Réduit la variabilité inter-observateur et augmente le débit pour le criblage comportemental riche en données.
- Valeur prédictive : Génère des lectures comportementales reproductibles et multidimensionnelles qui renforcent la confiance dans l'engagement de la cible et la modulation de la voie.
Développement de tests et criblage
- Valeur scientifique : Produit des coordonnées cartésiennes normalisées et quantitatives des parties du corps ou des articulations au fil des images, permettant une comparaison objective des effets de composés sur la fonction motrice.
- Valeur opérationnelle : Permet une montée en échelle des tests grâce à l'automatisation des flux de travail de suivi de pose en mode objet unique, objet multiple et en 3D.
- Préparation au test : Les résultats sont compatibles avec les analyses statistiques ultérieures et les pipelines d'apprentissage automatique pour la découverte de biomarqueurs.
Recherche translationnelle et préclinique
- Continuité translationnelle : Facilite la comparaison comportementale entre espèces en appliquant des cadres d'apprentissage profond identiques à des données vidéo de rongeurs et d'humains.
- Validation préclinique : Permet le suivi longitudinal de la récupération ou de la dégénérescence motrice dans les modèles de maladie, soutenant ainsi les décisions d'orientation fondées sur l'évaluation des risques.
- Réduction des incertitudes mécanistiques : Associe les modifications comportementales observées à la fonction des circuits neuronaux grâce à un suivi spatiotemporel précis des schémas de mouvement.
Intégration des pipelines et des flux de travail
DeepBehavior s'intègre au continuum de découverte, depuis la validation précoce de cibles jusqu'à l'optimisation des candidats, où la quantification automatisée du comportement informe les relations structure-activité et les résultats des criblages phénotypiques.
- Biologie de la découverte : Soutient l'analyse fondée sur des hypothèses du fonctionnement des circuits moteurs en fournissant des métriques comportementales objectives et résolues au niveau de chaque image.
- Tri : Permet une analyse reproductible et à haut débit de bibliothèques de composés à l’aide de sorties normalisées d’estimation de la posture et de suivi.
- Analyse : Fournit des données cinétiques quantitatives (par exemple, trajectoire, vitesse, angles articulaires) facilitant la modélisation dose-réponse et l’estimation de l’ampleur de l’effet.
- Recherche translationnelle : Corrèle le comportement moteur préclinique du rongeur avec les évaluations motrices humaines grâce à des architectures partagées d’apprentissage profond, améliorant ainsi la prévisibilité clinique.
- Réutilisation en entreprise : La boîte à outils est adaptable à divers domaines thérapeutiques et modèles, servant de plateforme réutilisable pour le phénotypage comportemental.
Impact opérationnel et organisationnel
- Valeur scientifique : Accroît la confiance prédictive en réduisant le bruit de mesure du comportement et en permettant la détection de changements phénotypiques subtils.
- Valeur opérationnelle : Standardise l'acquisition et l'analyse des données entre différents sites et opérateurs, améliorant ainsi la reproductibilité dans les études multicentriques.
- Valeur stratégique : Accélère les décisions d'aller/arrêt en fournissant dès les premiers stades des signaux objectifs d'efficacité comportementale.
- Impact sur le portefeuille : Facilite la priorisation des composés selon le risque en se basant sur des profils comportementaux favorables, réduisant ainsi le risque d'échec en phase avancée.
Considérations relatives à la mise en œuvre
- Nécessite une expertise dans les frameworks d'apprentissage profond, la gestion des données vidéo et les neurosciences du comportement.
- Requiert des stations de travail compatibles GPU et des environnements logiciels pour TensorBox, YOLOv3 et OpenPose.
- Exige une standardisation des protocoles d'acquisition vidéo (par exemple, éclairage, angles de caméra) afin d'assurer la précision du suivi entre les expériences.
- Nécessite des compétences en post-traitement pour la transformation de coordonnées, l'étalonnage des caméras et l'analyse cinématique sous MATLAB ou Python.
- Les performances dépendent de la disponibilité de données d'entraînement suffisantes (par exemple, 600 images annotées ou plus) et des hyperparamètres du réseau adaptés au comportement ciblé.
