Manipuler les données plus efficacement, le cas échéant en très grande quantités, constitue aujourd'hui l'un des plus grands challenges de l'informatique. Et il comporte de nombreuses facettes. Par exemple, les travaux de Google qui ont donné naissance à la technologie MapReduce pourraient profondément influencer la façon dont on manipule les données. Le framework MapReduce améliore les traitements portant sur de gros volumes de données, que ces dernières soient hébergées par une base de données ou par un système de fichiers.

MapReduce transforme les traitements séquentiels en processus parallèles, ce qui réduit drastiquement les temps d'exécution. MapReduce découpe un problème conséquent en sous-problèmes indépendants de taille plus réduite qui sont confiés à d'autres noeuds (des ordinateurs en cluster), qui, à leur tour, peuvent redécouper la tâche qui leur a été confiée. Ces processus de découpage, qui utilisent ce que Google appelle une fonction "Map" (qui « planifie » le travail), sont également indépendants, et peuvent ainsi être exécutés en parallèle.

Lorsqu'il a terminé de traiter une tâche donnée, chaque noeud fournit le résultat au noeud qui lui avait confié le travail. Ce noeud « parent » combine les réponses intermédiaires reçues pour générer des résultats partiels plus gros, qui, à leur tour, sont remontés dans la structure arborescente. Les séries de résultats partiels sont agrégées en parallèle jusqu'à ce que le noeud maître, au sommet de la structure, ait compilé l'intégralité du résultat. Toutes ces fonctions de recomposition, effectuées par l'intermédiaire d'une fonction « Reduce » sont également réalisées en parallèle.
Du coup, non seulement le travail à effectuer (c'est-à-dire la résolution du problème ou de sous-problèmes), mais aussi les tâches de distribution du travail (soit le découpage du problème et la recombinaison des résultats partiels) sont effectués en parallèle. MapReduce permet ainsi de paralléliser les programmes automatiquement, ce qui pourra aider les développeurs avec peu ou pas d'expérience en programmation parallèle à obtenir de meilleures performances.

Le projet Hadoop de la fondation Apache fait un usage intensif de MapReduce, ainsi que d'une autre technologie qui pourrait avoir un fort impact sur les bases de données. Hadoop a été l'un des premiers projets à tirer parti de la technologie VectorWise d'Ingres, qui étend la loi de Moore aux applications métier et accélère grandement les traitements. VectorWise utilise des techniques à base de vecteurs pour manipuler des ensembles de données. La taille de chaque vecteur est ajustée de façon à ce que tous les vecteurs d'une requête rentrent dans la mémoire cache de processeurs modernes. Roger Burkhardt, CEO de l'éditeur de bases de données Ingres, affirme qu'avec VectorWise, les puces Intel sont pour la première fois optimisées pour les applications métier. « De nombreux travaux réalisés sur les plateformes Intel ont visé les jeux. Les améliorations sont palpables dans ce domaine. Mais c'est la première fois que les améliorations visent les applications métier».

L'utilisation de VectorWise dans les systèmes d'entreprise a eu un impact majeur. On a constaté une réduction significative des coûts des traitements », indique Burkhardt. « La dernière fois que j'ai vu quelque chose de similaire, c'était lors de l'arrivée de Linux sur les matériels, qui avait réduit les coûts de 75% ».

Cela peut aller plus loin, estime Burkhardt, « cette approche sera de plus en plus rémunératrice. On saura placer des aptitudes plus complexes sur une puce ».
Mais qu'en est-il de la base de données elle-même ? Va-t-elle rester inchangée ? On voit poindre les signes de la transformation de la base de données relationnelle traditionnelle. Depuis quelques années, on a vu émerger la base de données XML, une technologie qui pourrait offrir aux entreprises une flexibilité bien supérieure.

Lyn Robison, directeur de recherche en charge de la stratégie de gestion des données au Burton Group, anticipe que les bases de données XML vont transformer certains métiers. « Elles seront particulièrement avantageuses pour les entreprises qui ont des besoins centrés autour de documents ou de contenu ». Certaines entreprises disposent de grandes quantités de contenus non structuré, qui n'est pour le moment pas géré. Lyn Robison pense que les bases de données XML sont bien placées pour changer cet état de fait : « les entreprises vont pouvoir charger très rapidement des données textuelles, par exemple l'intégralité des travaux de Shakespeare. Une base de données XML devrait pouvoir en comprendre la structure automatiquement ».
Lyn Robison considère que c'est le développement du langage d'interrogation de bases de données XQuery qui a conduit à cette nouvelle approche. « XQuery est un standard W3C qui s'appuie sur deux standards XML antérieurs, XPath et XLink, qui n'ont jamais décollé », explique-t-il. Mais XQuery semble maintenant monter en puissance.

L'émergence dans le secteur des entreprises de Mark Logic, l'un des défenseurs les plus fervents de XML, montre que les choses évoluent. Mark Logic a amélioré les performances dans de telles proportions que personne ne peut l'ignorer - pas même les CIO qui restent sceptiques face au concept des bases de données XML. « Pour que Mark Logic réussisse à pénétrer le marché des entreprises, il lui fallait être deux fois plus performant. Mais dans la plupart des cas, il est 50 fois plus rapide. Cela montre la puissance des bases de données XML », dit Lyn Robison. Il cite l'exemple de la société de construction Bechtel, qui a adopté la technologie, et affirme que d'autres suivront.