Comment Sync Computing optimise les ressources de Databricks

Fondé en 2021 à Cambridge par Jeff Chou (CEO) et Suraj Bramhavar (CTO), deux ingénieurs issus du MIT, Sync Computing s’attaque à la croissance exponentielle des données et des charges de travail dans le cloud, ainsi qu'à la difficulté à optimiser ces processus à grande échelle qui pèsent sur les performances et le budget des entreprises. Leur expertise en calcul haute performance et en optimisation des infrastructures cloud les a conduits à créer cette start-up avec l'objectif de rendre le cloud plus efficace et moins coûteux. L'idée de Sync Computing est née de leurs recherches au MIT Lincoln Laboratory, où les fondateurs ont exploré des moyens de résoudre des problèmes complexes de manière plus rapide et plus économique. Forts de cette expérience, ils ont développé des solutions basées sur des algorithmes d'intelligence artificielle capables d'optimiser les ressources de calcul en temps réel, tout en offrant une flexibilité adaptée aux besoins des entreprises qui utilisent des data store comme Databricks ou Snowflake. La gestion des ressources dans ces infrastructures cloud nécessite une expertise technique approfondie, que ce soit pour ajuster les paramètres des clusters ou pour configurer les machines virtuelles. Dans un environnement où les entreprises peuvent gérer jusqu'à 10 000 pipelines de données par jour, l'optimisation manuelle n'est tout simplement pas une option viable. Selon Sync Computing, la majorité des entreprises n'exploitent pas pleinement les capacités de leur infrastructure cloud, ce qui se traduit par des coûts inutiles et des temps d'exécution prolongés.

La start-up s'est attaquée à ce problème en proposant un modèle d'optimisation basé sur l'intelligence artificielle. La plateforme de l'entreprise, Gradient, permet de régler automatiquement les clusters Databricks en fonction des besoins spécifiques des entreprises, sans nécessiter de modifications du code source. Cette approche, qualifiée d'optimisation déclarative, permet de réduire les coûts de fonctionnement tout en améliorant les performances. Par exemple, Gradient ajuste dynamiquement les ressources informatiques pour garantir que les délais de livraison des tâches sont respectés (SLA) tout en optimisant les coûts liés aux clusters Databricks. L'un des avantages majeurs de Gradient est sa capacité à s'adapter à la croissance des charges de travail. À mesure que le volume de données augmente, la complexité de la gestion des clusters devient un obstacle pour de nombreuses équipes techniques. Sync Computing propose une solution qui réduit cette complexité grâce à des algorithmes d'apprentissage automatique capables de s'améliorer en continu. Ces algorithmes intègrent des boucles de rétroaction qui ajustent les paramètres des clusters en temps réel, en fonction de l'évolution des charges de travail et des objectifs définis par l'entreprise.

Automatiser la gestion des clusters pour baisse les coûts

En matière de résultats, Sync Computing revendique une réduction significative des coûts pour ses clients utilisant Databricks. Par exemple, une entreprise ayant adopté Gradient a pu diminuer ses dépenses liées au cloud de 50 %, tout en doublant la vitesse d'exécution de ses tâches critiques. Ce type d'optimisation, difficile à obtenir manuellement, devient accessible grâce à l'automatisation proposée par Sync Computing. Si Databricks est aujourd'hui la plateforme privilégiée par Sync Computing, son côut d’utilisation est considéré comme élevé par les utilisateurs. Jeff Chou nous a indiqué que des demandes d’optimisation émanaient également des clients de Snowflake. Sync Computing, qui se positionne comme un acteur agnostique en matière de plateformes et de fournisseurs de cloud, a déjà rendu son outil compatible avec d'autres environnements comme Amazon Web Services (AWS) ou Google Cloud Platform (GCP). Cela permet aux entreprises d'adopter Sync Computing sans avoir à modifier radicalement leurs infrastructures existantes.

Sync Computing n'exclue pas d'étendre sa solution Gradient à d'autres data store, Snowflake est en ligne de mire.

L’approche de Sync Computing est également une réponse aux défis liés au manque de compétences spécialisés dans la gestion des infrastructures cloud. La start-up considère que les entreprises peinent à recruter des ingénieurs suffisamment qualifiés pour optimiser des infrastructures cloud aussi complexes que Databricks. En automatisant ce processus, Sync Computing permet aux équipes d'ingénieurs de se concentrer sur des tâches plus stratégiques, tout en assurant une gestion optimale des ressources cloud. Enfin, un autre aspect notable de la solution proposée par Sync Computing est son impact potentiel sur la réduction de l'empreinte carbone des opérations cloud. En optimisant les ressources de manière plus précise, la consommation énergétique des infrastructures peut être réduite, contribuant ainsi à une informatique plus durable. Parmi les clients de la start-up, citons Disney Streaming, Duolingo, Abnormal ou encore Handelsblatt.