Base de données SQL, CrateDB repose une architecture distribuée avec des containers

En direct de San Francisco - Fondée à l’origine à Dornbirn en Autriche, la start-up Crate.IO a franchi l’atlantique en décembre dernier pour s’installer à San Francisco afin de promouvoir sa base de données open source SQL reposant sur une architecture NoSQL. « L’idée était de fusionner le langage SQL avec la recherche en temps réel sur des données structurées et non structurées », nous a expliqué Christian Lutz, le CEO de Crate. A titre d’exemple, le dirigeant indique qu’un client a réussi à monter un cluster de containers avec 1 000 nœuds. « En réalité, un cluster avec centaine de nœuds, c’est déjà beaucoup. Il est capable de servir 30 millions d’utilisateurs. »

Avec plus d’un million de téléchargements (100 millions à ce jour pour Elastic Stack), CrateDB, qui se pose comme une alternative SQL à Splunk, Elastic ou Cassandra, CrateDB, cible le marché des big data et notamment l’IoT avec le smart home et les smart cities qui représentent des millions de données machine à stocker et analyser en temps réel. Contrairement aux bases de données SQL traditionnelles, CrateDB a été conçue pour fonctionner comme un groupe de conteneurs. Sa capacité à redistribuer les données au fur et à mesure en fonction de la taille cluster en fait une solution adaptée aux plates-formes comme Docker, Kubernetes et Mesos. Tous les nœuds sont égaux et sans maitre. Quand on ajoute un noeud sur le réseau, il rejoint automatiquement les autres et rééquilibrage les données et la charge de travail.

1,5 million d'opérations sur un cluster de 14 nœuds

Pour gérer le cluster, la répartition des données et la réplication, CrateDB exploite des briques open source comme Elasticsearch, Lucene, Netty et l'outil d’analyse Presto SQL. Avec des caches de champs en colonnes et un planificateur de requêtes distribué, CreateDB peut gérer des requêtes complexes en temps réel. Selon Christian Lutz, 75% des clients de la société utilisent CrateDB pour gérer les données de machines et IoT. La start-up indique que CrateDB peut gérer plusieurs millions d'opérations d'insertion par seconde (1,5 million sur un cluster de 14 nœuds).

Se présentant comme la nouvelle génération SQL, CrateDB repose sur de nombreuses briques open source.

Parmi les clients, le CEO met en avant Space Time Insight qui collecte des données géospatialisées avec une ligne de temps pour prédire les défaillances dans son parc photovoltaïques et Sky Network qui a utilisé la plate-forme pour sécuriser les connexions réseau d'un de ses clients français dans la distribution. Plusieurs versions sont proposées par la start-up : une téléchargeable sans support et une autre en abonnement avec accompagnement pour le déploiement.