Les chercheurs de Microsoft Asia ont collaboré avec leurs collègues de l'Institute of Computing Technology à la Chinese Academy of Science dans le but de faire de Kinect, appareil de détection de mouvement pour Windows et Xbox, un traducteur de langue des signes. Le système reconnait déjà la plupart des gestes de la langue des signes américaine et peut les convertir en texte et vice versa. Les mots tapés dans le système peuvent donc être convertis instantanément en langage des signes par un avatar sur l'écran. S'il s'intéresse uniquement à la langue des signes américaine pour l'instant, il suffirait de quelques petits ajustements pour permettre au système de reconnaitre la langue des signes d'autres pays.
Mais ce n'est qu'un début : les chefs de projet espèrent que la technologie permettra un jour aux malentendants d'interagir avec des ordinateurs et d'autres appareils en utilisant leur propre langue, tout comme tout un chacun utilise déjà tout naturellement la reconnaissance vocale de Google Now et de Siri d'Apple.
"Nous considérons que les technologies de l'information devraient être utilisées pour améliorer la vie quotidienne de tous", explique Guobin Wu, responsable de programme de recherche chez Microsoft Research Asia. "Même s'il ne s'agit encore que d'un projet de recherche, nous espérons qu'il sera bientôt possible de mettre en place un outil interactif pour défier la frontière entre les sourds et malentendants".
Traduire la langue des signes avec la Kinect
1
Réaction
Microsoft Asia révèle un traducteur interactif de langue des signes exploitant le périphérique Kinect.
Newsletter LMI
Recevez notre newsletter comme plus de 50000 abonnés
Bonjour,
Signaler un abusIl faut, bien sur, saluer ce projet : non seulement il cherche à améliorer la communication entre sourds et entendants mais surtout il consacre la valeur des langues des signes, leur capacité à transmettre des messages, des idées, des concepts. Il les considère comme de vraies langues qu’on peut traiter et traduire comme d’autres langues orales telles que l’anglais, le chinois, l’espagnol…
[Je préfère d'ailleurs ce type de recherches à celles sur la "réparation" de l'oreille via les implants cochléaires qui à l'inverse nient tout intérêt aux langues des signes, se focalisant sur l'oreille cassée et le nécessaire passage par l'oralisme pour communiquer.]
Néanmoins l’efficacité de ces technologies est encore limitée et je doute que ce système puisse traduire fidèlement et agréablement un long discours.
En effet les langues des signes sont vivantes, complexes. Elles ne sont pas qu’une succession de signes. Elles possèdent leur propre syntaxe qui est intimement liée à la perception visuelle, puisque cette langue répond à une logique visuelle et non auditive. Ainsi la grammaire de la LSF n’est pas identique à celle du français (par exemple la place des mots dans la phrase n’est pas la même). Elle se construit comme un plan au cinéma. D’abord le temps (passé-présent-futur), ensuite le lieu (où cela se passe-t-il ? ), puis les acteurs (qui ? ) et enfin l’action (le verbe).
Les signes sont basés sur l’utilisation des mains mais aussi du regard et de l’espace, des expressions du visage (il est admis que les langues des signes sont composées de 5 paramètres) : les configurations des mains, leurs emplacements, leurs orientations et leurs mouvements forment des signes équivalents à des mots disposés devant soi comme sur une scène de théâtre. Les emplacements de ces signes, ainsi que la direction du regard, permettent de visualiser les relations (actif, passif ?), le temps (signes tournés vers l’arrière pour le passé, vers l’avant pour le futur). Le visage et le mouvement des épaules servent aussi à exprimer les nuances du discours par exemple l’ironie, le doute, la fermeté…
Les caméras ont-elles aujourd’hui la précision et la finesse nécessaires pour détecter tous ces paramètres ? Les algorithmes sont-ils assez élaborés pour déterminer avec exactitude l’intention du locuteur ? A voir…
Au mieux, aujourd’hui ce système pourrait sans doute traduire quelques signes simples en mots, quelques phrases basiques (sujet/verbe/complément).
Stéphan Barrère
Interprète F/LSF
http://interpretelsf.fr