Patchs Meltdown et Spectre : Les impacts de performances sur Surface Book

Comme il le reconnaît lui-même, Gordon Mah Ung est un inconditionnel de la performance, et les compromis imposés par les correctifs destinés à bloquer les vulnérabilités Spectre et Meltdown le préoccupent plus que les risques de sécurité. D’autant que, « après tout, aucun exploit connu n’a été mis en évidence à ce jour ». Pour en avoir le cœur net, il a mis à jour sa Microsoft Surface Book basé sur un processeur Intel « Skylake » Core i7-6700U, avec 16 Go de mémoire LPDDR3, un disque NVMe Samsung 950 Pro de 512 Go et tournant avec la mise à jour Windows 10 Pro Fall Creator 64 bits. C’est la machine qu’il a utilisée toute la semaine pendant le CES de Las Vegas. Ses résultats ont, semble-t-il, conforté ses inquiétudes.

Vendredi matin, de retour chez lui, il a constaté que Microsoft avait livré deux mises à jour de firmware pour corriger les vulnérabilités Spectre et Meltdown. S’il n’a pas suivi de près tout ce qui se passait avec Spectre et Meltdown, il s’est dit que des tests sur une machine de production lui permettraient de se faire une idée plus concrète de la situation. Avant lui, Steve Walton de TechSpot a déjà indiqué que les performances des jeux et de la plupart des applications gourmandes en CPU n’étaient pas affectées. Mais, celui-ci trouve que les performances du stockage en lecture/écriture posent problème. C‘est dans cette direction que Gordon Mah Ung va donc orienter ses tests.

Avant application des correctifs Spectre et Meltdown

Gordon Mah Ung commence par réaliser un test par défaut avec l’outil CrystalDiskMark 5.5.0. Comme il le fait remarquer, « cette version est légèrement plus ancienne, mais les résultats sont toujours pertinents pour deux mesures de performance : les tests 4K de lecture/écriture aléatoire pour une taille de bloc de 4 Ko et les tests 4K QD32 de lecture/écriture aléatoire pour NCQ&AHCI pour une taille de bloc de 4Ko, et Queue Depth 32. À gauche, le résultat avant installation des firmwares 91.1926.768.0 et 90.1837.256.0. Notre confrère précise qu’il a fait trois passes successives, avec deux à cinq minutes de pause entre chaque passe, pour permettre au disque SSD de revenir à une température normale. En effet, quand ils sont chauds, les disques SSD peuvent ralentir. Ce n’est qu’un résultat parmi d’autres, mais selon Gordon Mah Ung, il est représentatif des résultats qu’il a pu voir par ailleurs.

Tests de performance réalisés avec CrystalDiskMark 5.5.0 sur un Surface Book de Microsoft avant application des correctifs Meltdown et Spectre. (Crédit : IDG)

Après application des correctifs Spectre et Meltdown

Une fois ces tests terminés, il a redémarré le Surface Book et autorisé les mises à jour et l’application des correctifs de firmwares.

Tests de performance réalisés avec CrystalDiskMark 5.5.0 sur le Surface Book de Microsoft après application des correctifs Meltdown et Spectre. (Crédit : IDG)

Comme on peut le voir dans le graphique de droite, les performances séquentielles en lecture/écriture ne changent pas beaucoup (en fait, CrystalDiskMark n'utilise plus de test séquentiel à faible profondeur). Mais comme TechSpot l'a constaté, les performances en 4K ne sont pas très bonnes. Alors que les performances en lecture 4K étaient proches, les performances en écriture ont chuté de 26 %. Pire encore, les opérations de lecture/écriture 4K en Queue Depth 32 affichent une chute de performance de 42 et 39 %, respectivement. Comme pour les tests réalisés avant application des correctifs, notre confrère a fait trois passes successives, et il a obtenu trois fois les mêmes résultats.

Un scénario plus pertinent

Les performances du stockage mesurées par les tests de lecture/écriture sur les charges de travail synthétiques sont parfois difficiles à interpréter. Donc, pour avoir une meilleure idée de l’impact des correctifs sur la performance, notre confrère a également exécuté l’outil WebXPRT 2015 de Principled Technologies sur son Surface Book, en utilisant la dernière version de Microsoft Edge. WebXPRT 2015 est un benchmark basé sur le navigateur qui mesure la performance dans différentes situations, en HTML5 et JavaScript.

Test WebXPRT 2015 avant application des correctifs Spectre et Meltdown

Avant l’application des correctifs, le score global obtenu avec l’outil WebXPRT 2015 est de 450. Après application des correctifs, le score chute à 433 seulement. Soit environ 4 % plus lent. Les tests d'Intel réalisés avec le même outil donnent une baisse de performance de 10 %.

Test WebXPRT 2015 après application des correctifs Spectre et Meltdown

Cela signifie-t-il que la situation n'est pas aussi calamiteuse que ne le laissent penser les tests de stockage basés sur les charges de travail synthétiques ? Oui et non. Ce ne sont que les premiers tests, mais il est plus prudent de supposer que les baisses de performance dépendront de ce que l’on fait réellement avec sa machine. Comme l'a constaté TechSpot, la plupart des tests classiques (comme le rendu 3D pur) et la plupart des jeux ne sont pas affectés. Cependant, la baisse de performance du stockage, évaluée à plus de 20 % par TechSpot et par notre confrère de PCWorld, peut se manifester à un moment où à un autre.

Microsoft a livré deux séries de correctifs pour protéger le Surface Book des exploits Spectre et Meltdown. (Crédit : IDG)

Intel a présenté des tests réalisés avec le benchmark SYSMark 2014 SE de BAPCo. Réputé comme l’un des meilleurs benchmarks disponibles, SYSMark fait tourner des applications du monde réel comme Word et Photoshop et exécute des tâches qui reflètent l'activité réelle. Mieux encore, BAPCo a développé une méthode de test où seul le temps de réponse d'une action est mesuré. Certains anciens benchmarks émulaient des frappes dans Word bien au-delà de ce que la plus rapide des dactylos pouvait arriver à faire. SYSMark 2014 SE mesure des actions qui peuvent vraiment perturber l’usage, comme le temps qu'il faut pour démarrer une application, effectuer une recherche et remplacer ou importer des photos.

Comme on peut l'imaginer, les résultats de SYSMark dépendent davantage de la réactivité du stockage. Les tests réalisés par Intel avec SYSMark 2014 SE indiquent une baisse de performance globale de 8 % environ. Mais si, comme l’a fait notre confrère, on regarde le test de réactivité d’Intel (System Responsiveness) du système en détail (un test où l’impact des performances du stockage devrait compter davantage), la baisse est de 21 %. « Ça fait mal », comme le dit notre confrère, qui compte vérifier les résultats d'Intel sur ses propres systèmes. En attendant, celui-ci constate que l’impact sur les performances peut varier de « pas grand chose à quelque chose de vraiment gênant ». Il précise encore une fois que tout dépendra de ce que chaque utilisateur fera avec sa machine. « Si le lancement d’une application prend 2000 ms au lieu de 1500, ce n’est pas un problème. Par contre, s’il faut 34 secondes pour importer ou copier des photos au lieu de 27 secondes, cela peut vite devenir très pénible ».