Partitionner des calculs LLM entre le cloud et l'edge

Historiquement, les grands modèles de langage (LLM) ont nécessité des ressources informatiques substantielles. Cela signifie que le développement et le déploiement étaient principalement confinés à des systèmes centralisés puissants, tels que les fournisseurs de cloud public. Cependant, bien que beaucoup pensent que nous avons besoin de quantités massives de GPU liées à d'énormes capacités de stockage pour faire fonctionner l'IA générative, en réalité, il existe des méthodes pour utiliser une architecture à plusieurs niveaux ou partitionnée afin de générer de la valeur pour des cas d'utilisation métier spécifiques.

Il semblerait que dans le modèle GenAI, l'informatique local (edge computing) ne soit pas envisageable. Cela est dû aux exigences de traitement des modèles d'IA générative et à la nécessité d'obtenir des inférences performantes. On nous désavoue souvent lorsque nous suggérons une architecture « connaissance en mode edge » en raison de cette perception erronée. Nous manquons une énorme opportunité d'être innovants, alors examinons cela de plus près.

Cela a toujours été possible

Cette approche hybride maximise l'efficacité des deux types d'infrastructures. Exécuter certaines opérations en edge réduit considérablement la latence, ce qui est crucial pour les applications nécessitant un retour immédiat, telles que les services d'IA interactifs et le traitement de données en temps réel. Les tâches qui ne nécessitent pas de réponses en temps réel peuvent être reléguées aux serveurs cloud. La partition de ces modèles offre un moyen de répartir la charge informatique, d'améliorer la réactivité et d'augmenter l'efficacité des déploiements d'IA. La technique consiste à exécuter différentes parties ou versions des LLM sur des appareils edge, des serveurs cloud centralisés ou des serveurs sur site.

En partitionnant les LLM, nous obtenons une architecture évolutive où les serveurs edge gèrent des tâches légères et en temps réel tandis que les tâches lourdes sont déléguées au cloud. Par exemple, disons que nous utilisons des dispositifs d'imagerie médicale dans le monde entier. Le traitement et l'analyse d'images avec de l'IA sont courants avec ces équipements au lieu d’envoyer d'énormes images à une plateforme informatique centrale pour diagnostic ; ce qui est loin d’être optimal. La latence du réseau retardera une partie du traitement et, si le réseau est coupé, ce qui peut être le cas dans plusieurs régions rurales, alors vous êtes hors service. Environ 80 % des tests diagnostic peuvent fonctionner correctement sur un appareil de faible puissance placé à côté du scanner. Ainsi, les choses routinières que le scanner est conçu pour détecter pourraient être traitées localement, tandis que les tests nécessitant un traitement plus poussé ou complexe pourraient être envoyés au serveur centralisé pour des diagnostics supplémentaires. D'autres cas d'utilisation incluent le diagnostic des composants d'un jet en vol. Vous aimeriez avoir la puissance de l'IA pour surveiller et corriger les problèmes de fonctionnement des moteurs à réaction, et vous auriez besoin que ces problèmes soient corrigés en quasi-temps réel. Transmettre les diagnostics opérationnels à un système central de traitement de l'IA ne serait pas seulement non optimal, mais aussi dangereux.

Pourquoi l'architecture IA hybride n'est-elle pas répandue ?

Une architecture partitionnée réduit la latence et économise l'énergie et la puissance de calcul. Les données sensibles peuvent être traitées localement sur des appareils edge, ce qui atténue les préoccupations de confidentialité en minimisant la transmission de données sur Internet. Dans notre exemple de dispositif médical, cela signifie que les préoccupations concernant les informations personnellement identifiables sont réduites et la sécurité de ces données est un peu plus simple. Le cloud peut alors traiter les aspects généraux et non sensibles, garantissant une approche de sécurité en couches.

Alors, pourquoi tout le monde ne l'utilise-t-il pas ?

Premièrement, c'est complexe. Cette architecture nécessite réflexion et planification. L'IA générative est nouvelle et la plupart des architectures IA le sont aussi, et les hyperscalers se sont très rapidement positionnés sur ce marché. C'est pourquoi ce n'est pas une bonne idée de laisser des architectes travaillant pour un fournisseur de cloud spécifique concevoir votre système d'IA. Vous obtiendrez à chaque fois une solution cloud en mode silo.

Deuxièmement, les écosystèmes de l'IA générative ont besoin d’un meilleur support. Les systèmes d'IA centralisés, basés sur le cloud, sur site ou open source sont proposés par des fournisseurs qui assurent le support. Pour un modèle d'architecture hybride, il faut bricoler soi-même, bien qu'il existe quelques solutions précieuses sur le marché, y compris des ensembles d'outils de calcul edge qui prennent en charge l'IA.

Comment construire une architecture hybride

La première étape consiste à évaluer le LLM et les outils d'IA afin de déterminer quelles composantes peuvent être efficacement exécutées en périphérie. Cela inclut généralement des modèles légers ou des couches spécifiques d'un modèle plus grand qui effectuent des tâches d'inférence. Les opérations de formation et de fine-tuning complexes restent dans le cloud ou d'autres systèmes centralisés. Les systèmes edge peuvent prétraiter les données brutes pour réduire leur volume et leur complexité avant de les envoyer au cloud ou de les traiter en utilisant son propre LLM (ou un petit modèle de langage). L'étape de prétraitement comprend le nettoyage des données, l'anonymisation et l'extraction préliminaire des caractéristiques, simplifiant ainsi le traitement centralisé ultérieur.

Ainsi, le système edge peut jouer deux rôles : Il est un préprocesseur de données et d'appels d'API qui seront transmis au LLM centralisé, ou il effectue un traitement/inférence qui peut être mieux géré en utilisant le petit modèle sur l'appareil edge. Cela devrait fournir une efficacité optimale puisque les deux niveaux travaillent ensemble, et nous faisons également le plus avec le moins de ressources possibles en utilisant ce modèle hybride edge/centre. Pour que le modèle partitionné fonctionne de manière cohérente, les systèmes edge et cloud doivent se synchroniser efficacement. Cela nécessite des API et des protocoles de transfert de données robustes pour assurer une communication fluide du système. Une synchronisation continue permet également des mises à jour en temps réel et des améliorations du modèle.

Rater le coche

Enfin, des évaluations de performance sont effectuées pour affiner le modèle partitionné. Ce processus inclut l'équilibrage de charge, les tests de latence et l'optimisation de l'allocation des ressources pour garantir que l'architecture répond aux exigences spécifiques des applications. Partitionner les LLM d'IA générative entre les infrastructures edge et centrale/cloud incarne la prochaine frontière dans le déploiement de l'IA. Cette approche hybride améliore les performances et la réactivité, et optimise l'utilisation des ressources et la sécurité. Cependant, la plupart des entreprises et même les fournisseurs de technologies ont peur de cette architecture, la considérant trop complexe, trop coûteuse et trop lente à construire et à déployer.

Ce n'est pas le cas. Ne pas envisager cette option signifie que vous manquez probablement une bonne valeur business. De plus, vous risquez de voir des gens arriver dans quelques années et vous faire remarquer que vous avez manqué le coche en termes d'optimisation de l'IA.