Fondée en 2017 par Rodrigo Liang (ancien d’Oracle) avec l’appui de deux professeurs à Stanford, Kunle Olukotun (un des pionniers du processeur multicore) et Chris Ré (lauréat du prix MacArthur), SambaNova poursuit le développement de sa plateforme proposant d’accélérer les traitements IA. Nous vous avions déjà parlé de cette prometteuse jeune pousse et après deux ans de pandémie, nous avons enfin l’occasion de rencontrer l’équipe à l’origine de cette plateforme. Baptisée DataScale SN10-8R, cette dernière repose sur un serveur x86 (AMD Epyc avec 12 To de DDR4-3200), épaulé par huit accélérateurs maison Cardinal SN10 de type reliés entre eux via un switch dédié (comme un NVSwitch ou un NVLink chez Nvidia). Gravé en 7 nm chez TSMC, le circuit Cardinal SN10, que SambaNova appelle un RDU (Reconfigurable Dataflow Unit), repose sur un design propriétaire et accueille près de 40 milliards de transistors dans un imposant boitier (708 mm2). Le serveur exploite une distribution Linux associée au logiciel SambaNovaFlow. Des montées en puissance ont été livrées avec des nœuds de 16, 32 et même 64 RDU dans un rack.

Gravé en 7 nm chez TSMC, l'accélérateur Cardinal repose sur un design maison selon Marshall Choy, vice-président produit chez SambaNova. (Crédit S.L.)

Ce RDU n’est pas vraiment un ASIC, nous a indiqué Marshall Choy, puisque ce dernier n’est pas reprogrammable en temps réel. SambaNova dispose de son propre optimiseur et compilateur Graph, permettant aux clients utilisant actuellement PyTorch ou TensorFlow de recompiler leurs charges de travail pour la plateforme Cardinal. Le compilateur maison améliore en permanence le travail de la puce Cardinal en optimisant le flux de données afin d’assurer une bande passante optimale et accélérer les calculs. Si une charge de travail a besoin de plus de mémoire, le circuit s'adapte, presque comme un FPGA / ASIC structuré, mais avec beaucoup plus de performances et d'efficacité selon la start-up. « Nous rencontrons les développeurs où qu’ils soient pour les aider à bien utiliser notre plateforme, un nouveau moteur pour l’IA ». Si la puce RDU est automatiquement optimisée pour certains frameworks, il est possible de réajuster ou reconfigurer la réponse du circuit pour s’adapter à des besoins spécifiques. Le scale-out est désormais automatique. 

L'architecture du circuit RDU Cardinal de SambaNova, qui entend concurrencer les accélérateurs de Nvidia sur le marché de l'IA. (Crédit S.L.)

L’autre effort de SambaNova porte sur le développement de son offre Dataflow as a Service (DFaaS) afin d’aider les entreprises à se concentrer sur leur modèle d’IA sans se soucier de la partie technique. Pour l’aide au diagnostic et à la détection des cancers, par exemple, lors de l'analyse de clichés médicaux. Le potentiel du marché de la santé est d’ailleurs évalué à près de 306,9 milliards par le cabinet McKinsey avec notamment l’accélération de la recherche sur le Covid avec un séquençage moins cher des échantillons, et l’amélioration du partage et du traitement des données récoltées. Autre secteur prometteur, le secteur financier évalué à 683,7 milliards, toujours selon McKinsey, mais également l’industrie manufacturière (491 milliards de dollars) avec des usages dans la supply chain, la robotique et la gestion du travail à distance. Plus étonnant des scénarios d’usage comme la détection de talents pour le recrutement, la maintenance prédictive, et l’agritech ne sont pas écartés par McKinsey. De multiples scénarios sont aujourd’hui envisagés par les dirigeants de SambaNova pour étendre leurs champs d’activité.