SCENARIO D'UTILISATION

Institut de la Vision:

Sabine Langevin - Ergonome
Anne de Tienda - Ergothérapeute
Emilie Bochin - Ergothérapeute
Emmanuel Gutman - Responsable du pôle Handicap

__

S’inscrivant dans le cadre du partenariat avec la société Aldebaran Robotics, l’équipe du pôle Handicap de l’Institut de la Vision  a spécifié un certain nombre d’activités de la vie quotidienne qui serviront de base pour les travaux de recherche fait par l’équipe de Telecom Paris Sud.

 Le projet Juliette utilisera les robots Nao et Romeo dont une des vocations sera l’assistance à la personne, les personnes âgées, les enfants autistes dans un premier temps. Pour cela les robots doivent non seulement interagir avec leur environnement mais aussi, et surtout, avec leur utilisateur. Pour Nao, il s’agira principalement d’une assistance cognitive compte-tenu de sa taille, mais pour Romeo, il sera possible d’envisager la manipulation d’objets ou l’assistance à la marche.

Au-delà de ses capacités physiques, les robots compagnons, que seront Nao et Romeo, doivent offrir une interface homme-machine accessible au plus grand nombre : la voix et les gestes seront les principaux moyens de communication avec eux car ce sont les plus intuitifs.

L’objet du projet Juliette est de réaliser une évaluation des fonctions d’interaction gestuelle auprès d’utilisateurs en situation de perte d’autonomie choisis parmi les patients de l’Institut de la Vision. A partir des conclusions de cette évaluation, Aldebaran intégrera ces fonctions sur ses prochaines générations de produits.

L’équipe de Telecom Paris Sud, en association avec l’Institut de la Vision, a réalisé des prises de vues en situation réelles de façon à composer un corpus d’apprentissage utilisé pour la mise au point des algorithmes de reconnaissance de geste et d’activité.


Le HomeLab

Tous les tests se sont déroulés dans le HomeLab situé à l’intérieur de l’Institut de la Vision. Véritable plateforme de recherche, cet appartement modulable a été conçu pour répondre aux besoins des déficients visuels. De part son ergonomie, l’aménagement des pièces, le contraste des couleurs, et le cheminement entre les pièces, il constitue un lieu privilégié pour des mises en situation réelles et tester des produits avec des industriels. Le seul but étant d’apporter des solutions innovantes et adaptées pour améliorer l’autonomie et le bien-être des personnes mal et non-voyantes.

        logo homelab    

appartement

Les prises de vue destionées à la constitution du corpus d'apprentissage se sont déroulées en deux sessions :

- La première a porté sur la réalisation d’un parcours en intérieur (au sein de l’habitat), ainsi que sur la réalisation de gestes courants.
- La seconde a porté sur la réalisation d’activités de vie quotidienne plus ou moins élaborées




DEPLACEMENTS ET GESTES COURANTS

Une première tâche consistait à marcher d'un point à une autre de la pièce pendant qu'une caméra filmait la marche:

La marche N°1 consistait à faire 3 aller-retour de la porte au milieu du salon.

La marche N°2 consistait à faire 3 aller-retour de la salle de bain jusqu’à la chaise.

La marche N°3 consistait à faire 3 aller-retour latéralement de la salle de bain jusqu’au four de la cuisine.

La marche N°4 consistait à faire 3 aller-retour de la salle de bain à la chambre.

appartement02

Une deuxième tâche consistait à demander à la personne d'effectuer une série de gestes spontanés, simples et courants, tels que:

« Approche »: mouvement de l'avant bras d'avant en arrière dans un plan sagittal.

« Va-t'en » : mouvement d'arrière en avant dans un plan horizontal.

« Bonjour » : mouvement de l'avant bras (main ouverte) de droite à gauche dans un plan frontal.

« Non » : mouvement de la main (bras tendu) de droite à gauche.

« Oui » : mouvement de la tête de bas en haut.

« Stop » : bras tendu avec la main fixe et ouverte.

Désignation : un bras tendu suivant huit directions de 0 à 360 degrés avec un pas de 45 degréS




ACTIVITES DE VIE QUOTIDIENNE

Les tâches ont été choisies de telle sorte qu’elles se déroulent dans des pièces différentes de l’appartement, qu’elles correspondent aux activités courantes de tous les participants, et qu’elles soient de complexité variable (très simples à très élaborées).

1. Entrée dans le HomeLab
 Entrez dans le HomeLab et allumez la lumière. (Le bouton se trouve sur votre droite. Appuyez une fois en haut pour allumer).
 Mettez-votre manteau sur un cintre et suspendez-le à la patère qui est à votre gauche
 Déposez les clés sur le bar qui se trouve sur votre gauche

2. Salon
 Allez-vous assoir sur le canapé
 Prenez le courrier sur la table, le trier (pub d’un coté et courrier personnel de l’autre) et ouvrir l’enveloppe personnelle.
 Signez le formulaire de consentement
 Remettez le formulaire dans l’enveloppe et vous la cachetez.
 Préparez la somme de xxx euro en monnaie sur la table.
 Composez un N° de téléphone
 Prenez la télécommande de la TV et allumez-la en changeant les chaînes

reconnaissance activite

3. Cuisine
 Allez vers le frigidaire
 Ouvrez le frigidaire, prenez une bouteille d’eau placée dans la porte
 Servez vous un verre d’eau et buvez-le si vous le souhaitez
 Rangez la bouteille dans le frigidaire

 Mettez-vous devant l’évier pour préparer du riz.
 Dans le placard au dessus de vous prenez du riz et du sel.
 Mettez 1 dose de riz + eau + sel et posez la casserole sur la plaque.
 Rangez les ingrédients et refermez le placard

L’équipe de recherche de Telecom Paris Sud utilisera les prises de vue enregistrées pour séquencer les actions et implémenter des algorithmes d’apprentissage.
Il s’agira ensuite de tester si la base de connaissances du robot est suffisamment riche pour qu’il soit capable de reconnaître toute nouvelle activité de vie quotidienne et ainsi repérer et signaler des actions incohérentes.