Il y a un an et demi, Anthropic annonçait que Claude 3.5 Sonnet était capable de lire sur un ordinateur via des captures d'écran, d'utiliser la souris et le clavier et d'effectuer des tâches de saisie de données de base. Le moment semble désormais venu pour aller plus loin, l'éditeur ayant cette fois indiqué que sa fonction prise de contrôle et d'utilisation d'un PC (computer use) était dorénavant en bêta pour ses abonnés Claude Pro et Max dans ses produits Cowork (collaboratif et gestion des tâches) ainsi que Code (assistant de codage). « Vous pouvez désormais demander à Claude d'utiliser votre ordinateur pour effectuer des tâches. Lorsqu'il n'a pas accès aux outils dont il a besoin, il pointe, clique et navigue sur votre écran pour accomplir la tâche lui-même. Il peut ouvrir des fichiers, se servir du navigateur et lancer des outils de développement automatiquement, sans aucune configuration requise », explique l'éditeur.

Anthropic indique avoir intégré cette fonction en minimisant les risques d'injection de prompt, donnant potentiellement les capacités à un attaquant de prendre le contrôle à distance d'un PC et/ou effectuer des commandes malveillantes. De même, il précise que l'assistant demandera toujours une autorisation de l'utilisateur avant d'interagir avec des applications (navigateur, outil bureautique,...) installées sur le poste de travail. Pour autant, l'entreprise prévient que « Claude peut commettre des erreurs », et que même si la société continue d'améliorer ses mesures de sécurité, les menaces évoluent sans cesse. « Nous vous recommandons de commencer par utiliser les applications auxquelles vous faites confiance et de ne pas manipuler de données sensibles », prévient l'éditeur. Une activation qui se fait donc aux seuls risques et périls de l'utilisateur...