En matière d’apprentissage machine, il est particulièrement difficile de bâtir des chatbots capables de converser avec un utilisateur sur des sujets ouverts, dans le cadre d’un dialogue nécessitant un échange de questions/réponses de part et d’autre pour aller plus loin. Sur ce terrain, Facebook vient de mettre en open source son chatbot Blender et de livrer quelques exemples éloquents de conversation. Dans un article publié sur arxiv.org, l’équipe de recherche en IA du réseau social livre quelques-unes de ces recettes.
Des travaux antérieurs ont montré qu’une mise à l’échelle des modèles neuronaux sur le nombre de paramètres et la taille des données sur lesquelles ils sont entraînés améliore les résultats obtenus. Mais d’autres ingrédients sont importants pour assurer la performance du chatbot, expliquent les chercheurs de Facebook AI Research (FAIR). Pour mener un échange intéressant, il faut mêler différentes aptitudes : pouvoir engager la conversation, écouter l’autre, être capable - au bon moment - de lui transmettre des connaissances, de faire preuve d’empathie et d’affirmer sa personnalité de façon cohérente. « Nous montrons que des modèles à grande échelle peuvent apprendre ces compétences lorsqu’on les entraîne de façon appropriée sur les données et qu’on donne le choix de la stratégie de génération », résume l’équipe du projet. Elle a bâti trois variantes avec des modèles contenant 90 millions, 2,7 et 9,4 milliards de paramètres. Les modèles et le code sont publiés publiquement. Les évaluations humaines montrent que les meilleurs modèles sont supérieurs aux approches existantes dans les dialogues de type « multi-turn », c’est-à-dire nécessitant des questions complémentaires entre les interlocuteurs pour faire avancer l’échange. Dans un billet sur Parl.ai, l'équipe explique comment interagir avec ses modèles.
Conversation avec un chatbot. Les interventions de l'interlocuteur humain, le chercheur de Facebook ayant écrit l'article sur Blender, se trouvent à gauche. Cet exemple s'appuie sur le modèle utilisant 9,4 milliards de paramètres.(Crédit : FAIR)
Un exemple où l'interlocuteur humain explique les ressorts d'un jeu de mots au chatbot. (Crédit : FAIR)
Sur le forum aidreams des utilisateurs ont fait un test réel du chatbot (au lieu de se limiter aux exemples bien choisis du service commercial). Le résultat est bien moins glorieux, voire pathétique. Incapable de répondre aux questions les plus basiques (questions pourtant classiques du Loebner Prize, la plupart des chatbots dignes de ce nom y répondent), incohérences (mon frère, ma sœur, mon chat et mes deux parents s'appellent Lucy !), et ainsi de suite. Ça ne mérite pas la tripotée d'articles qu'il y a sur ce chatbot, comme il y en avait eu sur Meena.
Signaler un abus