PRESENTATION

Le projet JULIETTE a pour objectif d’améliorer l’interaction homme-robot en dotant le robot de la capacité d’interpréter les gestes de son utilisateur.

Exploitant les informations issues de ses caméras, le robot pourra comprendre les signes que lui fait son utilisateur pour lui donner un ordre (viens-ici, va-t’en…) mais il sera également capable de comprendre son activité pour lui proposer de l’aide ou détecter un comportement anormal pouvant révéler un problème de santé.

Juliette est un projet de recherche collaborative entre Aldebaran Robotics, l'Institut de la Vision, Telecom Paris Sud et BVS, financé par le FEDER (Fonds Européen de Développement Régional).

Les verrous que le projet se propose de lever sont l’interprétation robuste de ces indices visuels dans un environnement quotidien avec des caméras embarquées sur le robot et un traitement d’images en temps réel. Pour lever ces verrous, le projet s’appuiera sur les développements algorithmiques de Telecom SudParis et sur l’architecture de capteur intelligent développée par la société BVS. La définition des besoins et l’évaluation des résultats du projet sont confiées à l’Institut de la Vision.

Les développements menés dans ce projet sont destinés à être intégrés dans le robot Nao, produit actuel d’Aldebaran, mais aussi dans le prototype d'assistant personnel développé dans le cadre du projet ROMEO dont le Projet JULIETTE est un complément indispensable.

 

                       iledeffeder2                                                                     logoue                                        


 

OBJECTIFS

Le marché de la robotique domestique est appelé à se développer à une vitesse prodigieuse à l’image de ce qu’a connu l’informatique depuis une trentaine d’année. S’appuyant sur ce postulat etayé par de nombreuses études internationales, la société Aldebaran Robotics a mis sur le marché un robot humanoïde de 60 cm de haut, Nao, doté de 25 degrés de liberté et de nombreux capteurs. Ce robot, destiné aujourd’hui uniquement aux laboratoires de recherche doit devenir un produit grand public à court terme. Toutes les expérimentations menées par Aldebaran montrent que l’apparence humanoïde de Nao facilite grandement son acceptation par le grand public. Cette apparence entraîne, chez tous ceux qui rencontrent Nao, un besoin d’interagir avec lui d’une façon très naturelle : on lui parle, on le touche ou lui fait des signes de la main. Il est donc capital qu’un robot humanoïde soit capable d’interpréter tous ces vecteurs de communications utilisés par l’être humain et de réagir en conséquence.

Dans le cadre du projet FUI ROMEO, piloté par Aldebaran, qui regroupe 13 partenaires dans le but de développer un robot humanoïde de grande taille pour l’assistance aux personnes en perte d’autonomie, de nombreux développements concerneront l’interface tactile et l’interface sonore. Des contraintes budgétaires (le projet présente déjà un budget de 10 M€) n’ont pas permis lors de son montage, d’intégrer un volet partenarial sur le thème de la communication visuelle. Aldebaran avait donc prévu, dès le bouclage du projet ROMEO, de monter des projets pour compléter ce pan essentiel de la communication homme-machine : la perception visuelle.

Sur la base de ses travaux de recherche antérieurs, Télécom SudParis (TSP) développera les algorithmes de vision artificielle monoscopique qui pourront être embarqués sur le robot Nao, qui ne dispose pas, par défaut de système de vision stéréoscopique. Les objectifs sont de permettre au robot de :

percevoir les gestes de l'utilisateur et les interpréter en complément des commandes vocales

détecter la chute de l'utilisateur

comprendre l'activité courante de l'utilisateur

Sur le robot ROMEO, qui disposera d’une vision stéréoscopique, les algorithmes pourront être rendus encore plus robustes grâce à l’utilisation des deux caméras.

Pour la société BVS, la perception visuelle multi échelle va être mise en œuvre afin de concilier la vision globale et locale en même temps. Ces deux aspects sont fondamentaux dans l’étude proposée. Mieux percevoir, c’est déjà résoudre une partie du problème, le niveau de complexité algorithmique diminue et rend possible la réalisation de ces taches en temps réel.

L’utilisation de processeur de perception BIPS développé dans la société va aussi contribué au succès de l’opération. La collaboration entre les diverses sociétés et laboratoire va renforcer la structure d’innovation francilienne.

L’Institut de la Vision apportera son expertise pour évaluer avec des déficients visuels les briques technologiques développées dans le cadre de ce projet.