ArticleDonnées & IA
Le Web comporterait plus d'un milliard de pages
Selon une étude menée par le NEC Research Institute et Inktomi, la Toile mondiale serait composé de plus d'un milliard de pages. Pour arriver à ce résultat, Inktomi a constitué une base de données, WebMap, qui recense l'ensemble des documents disponibles sur la Toile. Cette base ne peut être consultée par les internautes.
Sur ce milliard de pages, il faut retirer un nombre important de doublons et de spam (des documents comportant des meta-tags sans aucun rapport avec la page recherchée). Ainsi, Fast, pour constituer sa base de données de 300 millions d'adresses Web, a passé en revue 700 millions de pages pour ne retenir que celles au contenu le plus pertinent.