Guide d'achat bases de données NoSQL : en route vers le serverless

Les bases de données NoSQL ont progressivement gagné en popularité au fur et à mesure que le volume de données (surtout semi-structurées et non structurées) à traiter explosait littéralement ainsi que la complexité de leur modalisation. En effet, contrairement aux classiques bases de données relationnelles (schéma prédéfini, évolutives verticalement et gourmandes en ressources matérielles notamment) qui n’ont pas été conçues à l’origine pour une manipulation massive de données, les bases de type NoSQL sont beaucoup plus rentables en distribuant efficacement les données et en ne suivant pas ce modèle traditionnel et rigide de normalisation de données ou de mapping relationnel. 

Ce sont surtout les grands acteurs du cloud (AWS, Google, Facebook, etc.) qui ont démocratisé ces bases de données NoSQL d’abord pour répondre à leurs propres besoins d’efficacité et de performances. « A partir de 2004, après une série de bugs, pendant la période des fêtes et des soldes, rencontrée sur l’architecture monolithique de notre plate-forme de commerce électronique Amazon.com, nous avons commencé à réfléchir à ce que nous pouvions améliorer. Nous avions donc fait le choix des microservices et des API, l’accès direct à la base de données n’étant plus une option. De plus, nos modèles d’utilisation, notamment pour la gestion des sessions ou des paniers des consommateurs, ne nécessitaient pas la complexité d’une base de données relationnelle d’où la création de notre base clé-valeur non relationnelle Dynamo », donne en exemple Sébastien Stormacq, développeur senior chez AWS.

À chaque besoin, sa base de données

Dans cette galaxie des bases de données NoSQL, il existe plusieurs types de bases qui peuvent, dans certains cas, correspondre à des besoins différents. Déjà les bases de données à clé-valeur comme DynamoDB ou Redis, lesquelles conviennent parfaitement pour les applications web dans la gestion de sessions ou des paniers ; ces bases, qui exploitent une méthode clé-valeur simple pour stocker des données, sont essentiellement sollicitées pour leurs performances.

Les bases de données de type documents comme MongoDB ou CouchBase stockent et interrogent les données sous forme de documents de type JSON ou XML, c’est-à-dire en utilisant le même format de modèle de document que celui utilisé dans leur code d’application. Chaque document est différent et peut comporter un nombre de champs variable, la taille et le contenu de chaque document varient également. Ce type de base de données est utilisé pour les applications qui gèrent du caching et du contenu (des données clients à la gestion de catalogue produits). Pour Hervé Oliny, Solutions Engineering Southern Europe chez Couchbase, une base de données documentaire répond à une très grande diversité d’usages due entre autres à sa flexibilité et son évolution. Un avis que partage Jérôme Delozière, senior vice-président - Continental Europe & Middle East chez MongoDB, qui parle même de bases de données généralistes répondant à tout type de cas d’usages. 

Citons ensuite les bases de données orientées colonnes comme Cassandra (projet lancé par Facebook en 2007), idéales pour faire de la visualisation de données. Ces dernières sont stockées sous forme de colonnes dynamiques alors que dans la majorité des bases de données relationnelles, elles le sont en lignes. Enfin, les bases de données orientées graphe (comme Neo4J, Oracle Graph ou AWS Neptune) reposent, quant à elles, sur des graphes à l’instar de l’architecture graphique des réseaux sociaux. Elles sont d’ailleurs parfaitement adaptées à la modélisation des données connectées complexes que l’on retrouve dans une multitude de cas d’usages, de la santé, à la finance en passant par la grande distribution et les réseaux sociaux.

De plus en plus de bases en mode serverless 

En outre, les bases de données NoSQL sont, de plus en plus, proposées en mode managé (DBaaS) sans gestion du serveur (serverless). L’objectif des éditeurs est bien d’aider les développeurs à créer des applications sans avoir à penser à l’infrastructure de la base de données ou la gestion des capacités. De leur côté, les entreprises recherchent d’ailleurs à adopter une architecture serverless, car cette dernière réduit les coûts de possession et de maintenance des serveurs. Dans une configuration serverless, les entreprises délèguent la gestion des serveurs ou VM et ne paient que les fonctions qu’elles utilisent, principalement le stockage et le calcul. Bref, avec le serverless, il n’y a pas de mise à l’échelle, toute l’évolutivité est opérée par le fournisseur.

Et d'autres bases de données NoSQL...

D’autres bases de données sont aussi à mettre dans la catégorie des « NoSQL » comme celles de type Time Series, à l’instar de celles d’InfluxDB, de Grafana ou d’AWS avec Timestream ou encore Oracle NoSQL Database For Time Series, pour des applications liées à l’IoT, la télémétrie, la surveillance et même le DevOps. « Ce type de base de données sert à stocker des flux d’événements, comme des données issues des capteurs permettant par la suite de réaliser des requêtes très précises », souligne Sébastien Stormacq. De même, il existe des bases de données dites immuables permettant notamment de tenir des journaux comptables ou d’ajouter des données de tel à tel compte, mais que l’on ne peut pas modifier. Proche d’une blockchain dans son approche, Amazon Quantum Ledger Database (QLDB) est par exemple une base de données de registre entièrement gérée qui fournit un journal des transactions transparent, immuable et vérifiable par chiffrement‎ appartenant à une autorité centrale de confiance.

Pour Sébastien Stormacq, développeur senior chez AWS, DynamoDB en mode managé libère les développeurs de la complexité de la gestion du matériel et des logiciels. « DynamoDB gère toute la complexité de la mise à l’échelle des partitions et repartitionne les données pour répondre aux exigences de débit. Cette solution évolue de manière transparente sans qu’il soit nécessaire de repartitionner manuellement les tables et offre un accès prévisible à faible latence aux données. »  Cette base de données n’est pas contrainte par une charge de travail qui ne peut tenir que sur une seule machine, mais plutôt pour les partitionner sur plusieurs nœuds de calcul. Le porte-parole met en avant bien d’autres avantages de DynamoDB comme sa flexibilité (en fonction des quantités de données à venir) et son extrême scalabilité. « Lors des soldes, nous avions des pics de performances records en termes de requêtes par seconde (89 millions de requêtes par seconde lors des dernières ventes Prime Day en juin 2021) sans rien à planifier préalablement. » Cette scalabilité est notamment mise en avant par la startup française Treezor qui fournit tous les outils (infrastructures, API, etc.) pour les fintechs permettant de créer une banque en ligne (Banking-as-a-Service ou BaaS) ou à d’autres entreprises souhaitant faire des transferts de fonds. Treezor associe d’ailleurs la base de données DynamoDB au service serverless AWS Lambda. À ce titre, le passage en serverless a permis à Treezor d’améliorer la gestion des erreurs et d’avoir un meilleur maintien en condition opérationnelle. Idem pour Zoom qui a pu répondre, grâce à l’usage de  DynamoDB, à sa forte montée en charge lors de la crise du Covid (de 10 à 300 millions de participants). Citons aussi Disney+, l’un des plus grands services de streaming vidéo en ligne au monde, qui exploite DynamoDB et le service de traitement de flux de données en temps réel Kinesis pour ingérer du contenu, des métadonnées et des milliards d’actions client chaque jour. Au cours des 10 dernières années, la base de données s’est continuellement enrichi, de la possibilité de capturer les modifications de données à grande échelle avec Amazon Kinesis Data Streams à la prise en charge des transactions ACID en passant par l’intégration avec AWS Backup et bien d’autres services du fournisseur comme le stockage S3.

« À la différence de notre concurrent direct (ndlr : MongoDB), nous sommes sur un schéma 100 % distribué avec une scalabilité multidimensionnelle. Nos clients nous demandent un besoin puis testent d’autres features comme l’analytique notamment », indique Hervé Oliny, Solutions Engineering Southern Europe chez Couchbase, qui donne l’exemple d’un grand groupe de distribution alimentaire. « Dans un premier temps, ce groupe a progressivement migré ses bases de données traditionnelles vers Couchbase puis, dans un second temps, il a mis en place l’analytique, ce qui a permis au service marketing d’obtenir de précieuses données leur permettant de mieux cibler les clients avec leurs promotions. » Si on résume, Couchbase, aujourd’hui c’est une plate-forme documentaire tout intégrée basée sur du cache en mémoire et sur un langage de requêtage SQL ++ qui regroupe donc Couchbase Server, Couchbase Capella (version DBaaS déjà disponible chez AWS et Google Cloud, bientôt chez Azure) et Couchbase Mobile. « 30 % de nos clients exploitent déjà Couchbase Mobile, c’est un vrai point différenciant. Prenons l’exemple d’un technicien sur le terrain qui agit en mode déconnecté. Il peut parfaitement sauvegarder un incident en local grâce à Couchbase Mobile. Et dès qu’il aura un accès au réseau, une synchronisation se fera avec la base de données centralisée », explique Hervé Oliny. 

Autre point fort mis en avant par le porte-parole de Couchbase, ce sont les performances et la résilience. « Nos clients apprécient notre architecture distribuée qui n’impacte pas par exemple le requêtage lorsque l’on fait en parallèle de l’indexing ou de l’analytique, nous pouvons facilement ajouter des nœuds. » De même, Couchbase facilite les sauvegardes dans de multiples endroits (on premise, dans le cloud, vers une autre zone géographique, etc.). Hervé Oliny tient aussi à préciser que Couchbase répond à de multiples besoins et n’est pas focalisé sur des usages spécifiques. « Une grande banque française exploite notre plate-forme pour la gestion des profils utilisateurs. De leur côté, le voyagiste Amadeus utilise Couchbase pour faire de la tokenisation et Inditex, la maison mère de la marque de vêtements Zara, l’utilise pour la gestion de son catalogue. Nous avons aussi quelques clients qui font du streaming entre leur base de données traditionnelle et notre base Couchbase. » Enfin une version DBaas en mode serverless sera lancée par l’éditeur d’ici à la fin de l’année.

Basée sur Apache Cassandra, la base cloud Astra DB de DataStax se veut, pour Thomas Been, CMO de DataStax, multimodèle et généraliste capable de répondre à des multiples cas d’usages. Par exemple, la startup Temporal, qui fournit aux développeurs une plate-forme d’orchestration de microservices, exploite Astra DB pour gérer facilement les workflows à grande échelle, le spécialiste de la sécurité Barracuda également utilise Astra DB pour analyser les fichiers des entreprises lui permettant d’avoir cette vue en temps réel de l’environnement des menaces. Bien qu’étant basé sur Cassandra, DataStax est aussi un contributeur au projet Cassandra en open source. Toutefois, à la différence de Cassandra qui reste parfois compliqué à gérer (dû à sa rapide évolution - en version 4.1 aujourd’hui avec toujours plus d’ouverture vers le machine learning et l’analytique), Astra DB de DataStax propose un environnement simplifié entièrement managé, ce que réclament aujourd’hui les entreprises comme le confirme Thomas Been.

 Parmi les points différenciants de Astra DB, citons ses performances à très faible latence en haute volumétrie, mais aussi son mode serverless lancé il y a un an et demi qui assure cette élasticité. « Astra DB offre ainsi une meilleure utilisation des ressources en proposant de la modulation aux entreprises, cette capacité rapide de montée et de descente en charge », précise-t-il. D’autre part, DataStax pratique une politique tarifaire très attrayante pour tout ce qui concerne les opérations d’écriture et de lecture, l’un des meilleurs rapports performances/prix du marché selon le porte-parole de l’éditeur. Ensuite, Astra DB, via CDC (Change Data Capture), peut se valoir d’une connectivité de plus en plus importante au paysage de la data. Avec CDC, les entreprises peuvent obtenir de la valeur en temps réel avec leur source de données Astra DB (moteur de streaming Apache Pulsar), que ce soit pour consolider les solutions de récupération des données ou pour créer facilement des pipelines de données en temps réel. À noter que DataStax commercialise aussi, aux côtés d’Astra DB, une version Entreprise en mode on premise même s’il existe une convergence entre les versions en termes d’outillage et de supervision. Concernant l’évolution d’Astra DB, l’amélioration en continu de la sécurité, le développement de nouvelles interfaces autour de l’expérience utilisateur, l’enrichissement du jeu d’API font aussi partie des priorités de l’éditeur.

Comme le mentionne Xavier Perret, directeur de l’entité Azure chez Microsoft, l’approche de l’éditeur est double, déjà avec l’implémentation en mode managé des offres de bases de données SQL et NoSQL de Microsoft et des autres éditeurs. Ensuite, le fournisseur instancie également sa propre base de données NoSQL avec Cosmos DB. Cette dernière fait donc office de base de données NoSQL multimodèle (documents, graphes, valeurs-clés et colonnes) dotée de possibilités relationnelles (requête au format SQL), le support des API (Cassandra, Mongo DB, Gremlin entre autres) avec un suivi rigoureux sur le versioning, d’un mode 100 % serverless et tout en assurant un large accès géographique. « Elle est ainsi accessible depuis n’importe quelle plaque géographique et continent, nous pouvons donc garantir des délais assez courts », précise à ce titre Fabien Medat, en charge du business développement chez Microsoft. En termes de SLA, Microsoft s’impose d’ailleurs comme un garant sur les temps d’accès et de disponibilités dans un cadre assez fort de requêtage, de réplication et de sauvegarde. De plus, Cosmos DB offre une grande ouverture vers la partie analytique (connexion native avec Azure Synapse Analytics) sans donc avoir à dupliquer ou répliquer toutes les problématiques de la chaîne des données. Microsoft a d’ailleurs lancé Azure Synapse Link qui permet de créer une intégration transparente entre Azure Cosmos DB et Azure Synapse Analytics, donc de diminuer toujours plus la complexité et d’alléger les ressources. Autre évolution notoire, c’est la possibilité d’instancier une base Cosmos DB en local en mode déconnecté pour les développeurs avant une mise en production. 

Parmi les multitudes de clients qui utilisent Cosmos DB, citons par exemple Metroscope, une startup du groupe EDF spécialisée dans la réduction des émissions grâce au jumeau numérique qui utilise plusieurs services de Microsoft dont Azure Database pour PostgreSQL (pour la couche de persistance des microservices pour les données structurées), et Azure Cosmos DB pour les données non structurées comme le code et les données expérimentales. Autre exemple, celui de Citeo proposant des solutions de réduction, de réemploi, de tri et de recyclage pour les entreprises du secteur de la grande consommation et de la distribution. Dans cet exemple, Citeo a migré l’ensemble de ses applications vers les solutions Microsoft Azure, en mode PaaS en exploitant Cosmos DB. Citeo a d’ailleurs rapidement constaté les premiers bénéfices de la migration de ses applications au sein d’Azure en matière de business intelligence (BI), grâce à l’utilisation de briques d’analyse de services disponibles via Azure Analyze Services, dont les données sont ensuite utilisées au sein de Power BI.

« Notre base de données s’adresse à tout type de cas d’usages, nous sommes un généraliste. Plus de 160 clients dépensent chez nous plus d’un million de dollars et plus de 100 000 dollars pour plus de 1300 clients », souligne Jérôme Delozière, senior vice-président - Continental Europe & Middle East chez MongoDB dont Atlas, la version managée représente désormais 60 % du CA avec une très forte progression (85 % de croissance). Par exemple, le groupe Adéo (maison mère de Leroy Merlin), exploite MongoDB Atlas pour la gestion de son catalogue tout comme Renault pour la gestion de ses pièces détachées auprès des garagistes entre autres, sans oublier le distributeur américain de pneus ATD ou le britannique Boots. Et ces retailers sont toujours plus nombreux à ajouter la technologie Search intégrée nativement depuis un an dans la plate-forme ainsi que l’analytique. Comme le mentionne Dominic Wellington, directeur de la stratégie produit, il n’est plus nécessaire d’exploiter un ETL pour extraire les données et de les répliquer, tout est désormais supporté en natif. 

De même, le secteur de la finance est un marché important pour MongoDB qui compte parmi ses clients le Crédit Agricole, LCL ou encore le groupe Santander. D’ailleurs, pour mieux répondre aux usages métiers, l’éditeur a créé des équipes d’experts qui interviennent sur ces marchés verticaux (IoT, finance, retail, santé, etc.). L’IoT est lui aussi considéré comme un secteur prometteur, MongoDB ayant, à ce titre, ajouté le Time Series il y a un an dans la version 5 ; l’éditeur continue d’ailleurs à lui apporter des améliorations dans la récente version 6.0 comme il le fait aussi pour les fonctions de Search et d’analytique. Cette mouture apporte aussi plus de sécurité notamment dans le chiffrement (gestion des requêtes sur des données cryptées entre autres suite au rachat d’un petit laboratoire aux États-Unis), ainsi que la synchronisation cluster to cluster dans divers environnements (cloud, sur site ou hybride), idéal pour faire du disaster recovery. MongoDB s’est aussi enrichi du mode serverless. Enfin, en plus des partenariats avec Azure, AWS et Google Cloud, Mongo DB est également accessible chez OVH pour des clients qui réclament plus de souveraineté.  

« Le groupe Adéo (maison mère de Leroy Merlin) utilise Neo4J pour son moteur de recommandation en ligne, l’entreprise connecte ainsi toutes les connaissances de leurs produits et trace des liens supplémentaires permettant de capturer le contexte d’achat des utilisateurs », donne en exemple Nicolas Rouyer, Senior Presales Consultant chez Neo4j. Concrètement, Adéo intègre progressivement des données supplémentaires pour proposer des produits correspondant aux besoins de l’utilisateur autour d’un écosystème complet, cela peut être celui de la salle de bains par exemple. Dans une base de données orientée graphe comme Neo4J, la valeur des données est bien dans les relations, tout ce qui est connecté, les composants sont associés les uns aux autres. Autre exemple mis en avant par Nicolas Rouyer, celui de la startup Dooloo, spécialisée dans l’e-santé qui s’appuie sur la plate-forme Neo4J pour aider les patients à comprendre leurs douleurs chroniques. Comment ? En créant des graphes de connaissances qui assemblent et organisent de grandes quantités de données provenant de plusieurs sources pour résoudre des problèmes complexes. « Neo4J correspond à de multiples cas d’usages, nous venons combler le datalake rempli de données brutes pour les connecter et les rendre intelligentes », précise Nicolas Rouyer. Et parmi les points différenciants de Neo4J, citons notamment la brique Graph Data Science permettant de proposer une analyse prédictive en s’aidant du machine learning et d’algorithmes de graphes. « Il faut relever les connexions entre les données pour arriver à une IA explicable si nous faisons du graphe machine learning », confirme à ce titre Nicolas Rouyer.

D’autres avantages sont mis en avant par le porte-parole comme la structure graphe de Neo4J qui capture aussi mieux la complexité : « Pour ce faire, nous avons des éléments en ligne qui permettent de dessiner les modèles graphes puis d’en générer automatiquement un squelette de base de données. » L’agilité aussi est un point différenciant, les moteurs de recommandation sont implantés avec des moteurs de graphes simples et composites (filtrage collaboratif, par contenu, etc.). Dans l’exemple du groupe Adèo, les équipes ont rajouté les tickets de caisse puis de la connaissance interne d’experts pour tracer des nouvelles relations et enrichir le cas d’usage à tout moment. À noter que Neo4J a mis en open source sa base de données graphe (langage graphique GQL - fortement inspiré de Cypher - considéré comme plus simple et expressif que SQL). « Notre communauté se compose de 200 à 300 000 utilisateurs, nous disposons d’une académie en ligne qui permet à nos développeurs de se certifier », confirme Nicolas Rouyer. Enfin, une fois les données stockées sous forme de graphe, la partie API est auto-générée (pas de code), on peut donc plus facilement se concentrer sur les interfaces des utilisateurs. 

L’offre Oracle NoSQL Database est à l’origine basée sur le moteur de Berkeley DB issue du rachat de Sleepycat Software en janvier 2006, Berkeley DB étant à l’époque une base de données embarquée de type clé-valeur. Et comme le mentionne Javier Dario Vega Baez, Product Manager chez Oracle, Oracle NoSQL Database est devenu au fil du temps et des évolutions une base multimodèle (clé-valeur, table, Time-Series ou encore document) prenant donc en charge plusieurs modèles de données. À cette offre, l’éditeur possède à son catalogue une base de données NoSQL de type Graph baptisée Oracle Graph fortement axée vers l’analytique qui peut être, elle-même, déployée sur une base de données SQL ou NoQSL. Parmi les points forts de NoSQL Database, Javier Dario Vega Baez en cite trois : des réponses à faible latence, des modèles de données flexibles et une mise à l’échelle élastique pour les charges de travail dynamiques. « En termes de prix, nous avons, à ce titre, une granularité flexible en fonction du type de transaction », précise le porte-parole du fournisseur. 

La flexibilité de la base de données Oracle se trouve aussi dans les API et les déploiements. En outre, l’éditeur propose trois versions : Community, Enterprise Edition et en mode cloud full managé serverless. De même, Oracle NoSQL Database s’interface avec les autres solutions et services de l’éditeur. Concernant les cas d’usages, étant donné son universalité, cette base de données répond à de multiples besoins, de la finance (pour la détection de fraude par exemple) au gaming en passant par le la grande distribution, les réseaux sociaux, l’industrie ou encore les télécommunications, la mobilité et l’IoT. D’ailleurs, Javier Dario Vega Baez nous confirme que le marché de l’IoT (qui reçoit une grande quantité de données à traiter) est une vraie tendance pour Oracle NoSQL Database.

Disponible en open source (sous licence BSD) et pouvant être déployée dans le cloud, sur site ou en mode hybride, la base de données Redis est utilisée par de nombreuses entreprises mondialement connues et qui traitent de gros volumes de données assez complexes comme Twitter, CoinBase, Pinterest, Shopify ou encore Snapchat. Elle se distingue surtout par ses performances (millions de requêtes par seconde pour des applications en temps réel, temps d’accès en moins d’une milliseconde), elle est d’ailleurs considérée par ses afficionados comme l’une des plus rapides du marché. Il n’est donc pas étonnant qu’elle trouve sa place dans divers usages comme les services financiers, le machine learning, les classements, l’analyse en temps réel, la géolocalisation, le chat/la messagerie ou encore le streaming multimédia. Et pour répondre encore plus facilement à tous ces usages, Redis prend en charge différents types de structure de données comme les chaînes aux plus complexes comme les hachages, listes, bitmaps, ensembles, mais aussi ensembles triés ; cette hétérogénéité constitue l’un des points forts de Redis, car elle réduit considérablement la complexité notamment dans les conversions d’un type de données à un autre.

Redis fonctionne sur le principe clé-valeur scalable en mémoire, c’est-à-dire qu’elle stocke tous les types de données cités précédemment en mémoire cache sous un format de valeur clé unique d’où le nom que l’on lui donne de magasin clé-valeur distribué. Rappelons que cette gestion en cache autorise un accès immédiat à des données momentanément stockées sur la mémoire vive et évite la répétition des process de calcul du service à chaque fois que les données sont sollicitées. Par l’exemple, ce procédé de clé-valeur permet d’augmenter significativement la vitesse de réponse de sites web comme Twitter ou Wikipédia créés à partir de bases de données. À noter que Microsoft avec Azure Cache pour Redis ou AWS avec ElastiCache pour Redis proposent un service de structures de données en mémoire compatible avec Redis. Enfin, Redis supporte aussi un grand nombre de langages de programmation (Java, Python, PHP, C, C++, C#, JavaScript, Node.js, Ruby, etc.), ce qui facilite aussi l’interopérabilité avec les nombreux systèmes et applications. De même, les développeurs semblent bénéficier avec Redis d’une écriture de code plus simple avec des lignes moins nombreuses. Signalons enfin que Redis offre une réplication sans disque, une détection instantanée des pannes et une disponibilité de 99,999 % pour garantir la haute disponibilité des données.