Aller au contenu Aller au menu Aller à la recherche

Quand les robots font leur propre apprentissage

accès rapides, services personnalisés

Rechercher

Recherche détaillée

Contact

Direction de la communication

 

Marie Pinhas-Diena, responsable de la communication scientifique l T. 01 44 27 22 89 l M. marie.pinhas@upmc.fr

Quand les robots font leur propre apprentissage

Les robots sont-ils capables d’apprendre par eux-mêmes et d’extraire des informations leur permettant d'améliorer ou de modifier leur comportement selon le contexte, une panne, par exemple ? Stéphane Doncieux, professeur UPMC à l’institut des systèmes intelligents et de robotique (ISIR, CNRS/UPMC/Inserm) coordonne le projet européen DREAM dans le cadre du programme Horizon 2020. Il est possible, selon lui, de doter des robots d’une capacité d’apprentissage avec un minimum d'intervention humaine.

 

La robotique évolutionniste

La robotique évolutionniste utilise des algorithmes inspirés de la sélection naturelle des espèces. Elle sert à concevoir des robots et leur système de contrôle en interaction directe avec l'environnement, via une procédure d'exploration permettant de tirer parti au mieux des capacités réelles du robot (la marche, la nage, le vol, l’évitement d’obstacles, la survie…).

 

Un robot articulé en plein apprentissage. © ISIR

 

Le babillage sensori-moteur ou la robotique développementale

Les robots sont aujourd’hui très efficaces dès lors qu’il s’agit d’exhiber un comportement prédéfini dans un environnement fermé, comme la manipulation d’objets connus. La robotique, dite « développementale », vise à doter un robot de capacités de développement inspirées de celle des humains pour s’adapter à un environnement ouvert et être capable d’apprendre quoi faire de nouveaux objets et comment le faire. L’étape dite de « babillage » (premières interactions du robot avec l’environnement) consiste à exécuter des gestes pour recueillir le plus d’informations possible sur l’environnement tout en faisant peu d’hypothèses sur sa structure. Le babillage doit ainsi permettre d’apprendre dans tous les environnements immédiats auxquels le robot peut être confronté et de réaliser des apprentissages plus ciblés.

 

Le projet DREAM

Les robots construits aujourd'hui dans les usines sont très efficaces et très précis dans l’exécution de leurs gestes. Malgré des programmes informatiques qui leur permettent de résoudre des problèmes extrêmement complexes comme une partie d’échecs par exemple, ou plus récemment de Go, les robots sont encore incapables d'affronter leur environnement quotidien, si ce n'est pour effectuer des tâches très simples, comme aspirer la poussière. Pour aller plus loin, les robots doivent être dotés d’une capacité d’apprentissage et d’adaptation leur permettant de découvrir par eux-mêmes le comportement à adopter, face à un environnement ouvert et changeant ou face à des objets inconnus.

 

Le projet DREAM © ISIR

 

De tels apprentissages nécessitent des phases d’exploration, pour trouver de nouvelles alternatives, et d’exploitation afin de les améliorer. Les principes de variation et de sélection, qui sont à la base de l'évolution naturelle, combinent ces deux aspects et peuvent servir de base à l’apprentissage individuel d’un robot, hypothèse actuellement explorée chez l’humain également. Des travaux récents ont montré l’importance de la phase d’exploration et d’une recherche explicite de diversité des comportements générés. Une recherche de comportements nouveaux, sans prise en compte de leur efficacité, s’est même révélée à de multiples reprises plus efficace qu’une recherche purement élitiste. La créativité de tels algorithmes servent un processus développemental visant à laisser le robot acquérir progressivement de nouvelles compétences en capitalisant sur les apprentissages passés. Le principe exploré consiste à alterner des étapes de babillage et d’exploration basés sur les principes de variation et de sélection, avec des étapes de restructuration de connaissances s’appuyant sur l’expérience acquise, ceci afin que le robot puisse mieux l’expliquer et la reproduire. Cette étape correspond à une des fonctions attribuées au sommeil et au rêve chez l’humain.

 

Le cas du chant du Diamant Mandarin

Le Zebra Finch (Diamant Mandarin) mâle est un modèle animal du développement de l’acquisition du langage. L’oiseau apprend progressivement à reproduire le chant d’un tuteur (un mâle adulte) et qu’il appliquera pour le restant de sa vie. Cette acquisition a lieu durant une période bien spécifique, entre 30 et 90 jours après sa sortie de l’oeuf.

 

Cet apprentissage se fait par à-coups : si la qualité du chant s’améliore dans la journée, on note une détérioration au lever du jour par rapport à la performance de la veille au soir. L’absence de pratique pendant les heures de sommeil favorise le phénomène d’oubli, mais contre toute attente, ce sont les individus pour lesquels ces détériorations matinales sont les plus importantes qui reproduisent le mieux le chant de leur tuteur à la fin de la séquence développementale complète. Ce phénomène semble donc mettre en évidence un mécanisme fonctionnel de l’apprentissage durant les phases de sommeil.

 

Peu d’études ont enregistré l’activité neuronale des Zebra Finches durant le sommeil, en particulier pendant la phase d’apprentissage du chant. Il a cependant été montré chez l’adulte que l’activité dans les régions motrices, correspondant à la génération d’un chant durant l’éveil, est rejouée durant le sommeil. Ces données n’ont pas été expliquées. Il s’agit donc, dans le projet DREAM, de tester plusieurs hypothèses en lien avec la restructuration de connaissances étudiée dans un cadre robotique, sur le mécanisme nocturne à l’origine à la fois d’une dégradation immédiate du chant, ainsi que d’une amélioration de la performance à long terme et ce avec des modèles s’appuyant sur les algorithmes de développement robotique développés dans le projet.

Pour en savoir plus :

Institut des systèmes intelligents et robotiques (Isir, UPMC/CNRS/Inserm)Nouvelle fenêtre

Équipe AMAC (« Architectures et modèles pour l'adaptation et la cognition »)Nouvelle fenêtre

Projet DREAMNouvelle fenêtre, Deferred Restructuring of Experience in Autonomous Machines

 

Illustration, infographies et liens

Numéro spécial de pour la science présentant la robotique évolutionniste et incluant une interview sur DREAM : http://www.pourlascience.fr/ewb_pages/e/espace-numerique-detail.php?art_id=35142&num=87



24/05/16