Hammerspace étend son orchestration des données à S3

Fondé en 2018 par David Flynn, précédemment chez Fusion-IO (CEO) et Primary Data (CTO), Hammerspace étoffe sa plateforme de stockage (système de fichiers parallèle avec GFS) avec un support plus complet de l’interface S3 pour accélérer l’accès aux données. La solution Global Data Platform de Hammerspace utilisait déjà une passerelle S3, mais uniquement pour stocker en mode objet des back-ups sur une baie de stockage ou une librairie à bande. En revanche, les applications travaillant en mode objet ne pouvaient pas écrire directement sur un groupe de stockage Hammerspace. Cet ajout améliore donc l'accessibilité aux ensembles de données existants dans le stockage objet et optimise le pipeline sur tout type de stockage.

« Bien que nous soyons un logiciel, un système de fichiers et une couche d'orchestration de données, les clients souhaitent souvent utiliser du matériel de base avec Hammerspace. Ils peuvent vouloir réutiliser leurs baies Isilon [PowerScale chez Dell] ou leurs instances cloud, mais, dans de nombreux cas, ils veulent utiliser des white box. Nous devons donc leur apporter la protection des données et l’erasure coding sur ces white box sans sacrifier les performances. Et maintenant, nous introduisons la prise en charge des applications S3 », nous a expliqué Molly Presley, EVP Global Marketing chez Hammersapce, lors d’un IT Press Tour dans la Silicon Valley en juin dernier. « Nous avons beaucoup de clients qui utilisent Hammerspace pour alimenter des GPU pour l’IA, et les problèmes qu'ils rencontrent sont bien sûr l'accès des GPU aux données. Comme dit Jensen Huang [le CEO de Nvidia] : laisser un GPU inactif est un péché ». Et, comme la quantité de données non structurées créées par les applications explosent - un trillion d'objets selon certaines estimations – Hammerspace ne voulait pas passer à côté de ce marché. L’idée de la start-up est donc d'accélérer l’accès aux des données non structurées pour le calcul, un peu comme le fait la plateforme Alluxio. « Il ne s'agit pas seulement d'ajouter une interface S3, mais de la capacité d'ingérer de grandes quantités de données à partir de plusieurs points. Certains d'entre eux peuvent se trouver à la périphérie, comme au sein du centre de données. Il est donc possible d'avoir trois environnements dédiés pour différents départements, différents utilisateurs, et la possibilité d'ingérer des données à partir de sites distants. Et tout cela dans notre système de fichiers global, une plateforme de données en tant qu'entité unique à laquelle tout le monde peut accéder et qu'il peut utiliser immédiatement », a poursuivi la responsable marketing.

En plus de pNFS (la version parallèle de NFS avec la version 4.2), Hammerspace a ajouté le support de l'interface S3 à son système de fichiers global. (Crédit S.L.)

Réconcilier S3 et NFS sur le même ensemble de données

« Nous n'ajoutons que maintenant l'interface du protocole S3, et nous l'avons ajouté de manière à ce qu'il s'agisse en fait des mêmes données avec le même nommage. L'une des principales différences entre S3 et le système de fichiers [NFS] est donc la structure d'imbrication des répertoires par rapport à un espace de noms composé uniquement d'objets nommés. Nous avons fait converger les deux : les barres obliques dans le nom sont des répertoires implicites et vous pouvez y naviguer de la même manière », nous a précisé David Flynn. « Nous avons également fait converger le fonctionnement des utilisateurs, car les systèmes [NFS] sont franchement beaucoup plus sophistiqués en ce qui concerne la granularité du contrôle d'accès, les utilisateurs, les permissions, etc. Ainsi, toute l'interaction est restreinte en fonction de l'accès de l'utilisateur et quand elle est créée, elle est basée sur cet utilisateur. Nous avons donc fait en sorte que ces deux interfaces [NFS et S3] puissent littéralement coïncider sur le même ensemble de données. Cela signifie que non seulement vous n'avez pas besoin de copier pour obtenir des données à travers différents points de conception dans le stockage, tout cela se déplace de manière transparente dans les coulisses. Ainsi, dans Azure et dans d'autres cloud, nous considérons S3 comme l'interface la plus standard. Et quiconque a écrit quelque chose pour utiliser Azure Blob comme interface, peut probablement utiliser S3, c'est pourquoi nous n'avons pas pris la peine de développer une interface Azure ».

Côté performances, il ne s'agit donc pas d'un seul serveur avec le protocole s3, mais d'autant de serveurs qu'il est nécessaire pour obtenir le débit souhaité avec des performances suffisantes, nous a précisé le CEO. « Nous avons donc déployé tous ces efforts pour créer une couche d'abstraction qui amplifie les performances au lieu de les réduire, et qui permet de placer n'importe quoi n'importe où sur n'importe quel point de stockage, dans n'importe quel emplacement physique, et de le faire à la granularité des fichiers individuels ». La plateforme de Hammerspace propose deux composants clefs nécessaires au pipeline et au stockage de données pour le calcul intensif, à savoir un système de fichiers parallèle et un orchestration capable d’alimenter en continu des accélérateurs GPU pour l’IA. En automatisant le placement des données (grâce aux metadata), Hammerspace élimine les complexités et les interventions manuelles généralement associées au traitement des données et à la gestion des copies.

Pour conclure, précisons que David Flynn prépare une IPO dans les 18 à 24 mois : les revenus progressent et des véhicules financiers permettent encore d’accueillir des investisseurs : ticket d’entrée 250 000$