1. Introduction

Contenu de cette section

"Ce dont on ne peut parler doit être passé sous silence."

Ludwig Wittgenstein (1889-1951), philosophe Autrichien

L'évaluation de performances (benchmarking) consiste à mesurer la vitesse à laquelle un ordinateur exécute une tâche calculatoire, et ce de façon à pouvoir comparer différentes configurations logicielles/matérielles. Ceci n'a aucun rapport avec la facilité d'utilisation, l'esthétique, les considérations d'ergonomie ou toute autre appréciation subjective.

L'évaluation de performances est une tâche fastidieuse et répétitive. Elle nécéssite que l'on prête une grande attention aux détails. Très souvent les résultats obtenus ne sont pas ceux auxquels on s'attendait et sont sujet à interprétation (ce qui peut très bien être le but d'une procédure d'évaluation de performances).

Enfin, l'évaluation de performances traîte de faits et de chiffres et non pas d'opinion ou d'approximation.

1.1 Pourquoi l'évaluation de performances est-elle si importante ?

Hormis les raisons mentionnées dans le BogoMips Mini-HOWTO (section 7, paragraphe 2), il arrive, lorsque l'on se constitue une machine Linux, que l'on soit confronté à un budget limité et/ou à des besoins en performances minimales garanties.

En d'autres termes, lorsque l'on se pose les questions suivantes :

il faudra examiner, comparer et/ou produire des benchmarks (ndt : un benchmark est un programme ou un ensemble de programmes - on parle alors de suite - servant à évaluer les performances d'un système informatique).

Minimiser les coûts sans contraintes de performance implique d'ordinaire la constitution d'une machine à partir de composants de récupération (ce vieux 386SX-16 qui traîne dans le garage sera parfait), et ne nécéssite pas de benchmarks. Maximiser la performance sans coût plafond n'est pas une situation réaliste (à moins que l'on souhaite mettre un Cray dans son salon - la banquette recouverte de cuir qui se trouve au dessus des alimentations électriques est du meilleur goût, n'est-t-il pas ?).

L'évaluation de performances sans contrainte de coût ni de performance minimale garantie n'a pas de sens: c'est une perte de temps et d'argent. L'évaluation de performances n'a de sens que dans le cadre d'une prise de décision, c'est à dire si l'on a le choix entre deux alternatives ou plus.

D'ordinaire des critères autres que le coût interviennent dans le processus décisionnel. Il peut s'agir de la disponibilité, du service, de la fiabilité, de considérations stratégiques ou de toute autre caractéristique rationnelle et mesurable d'un système informatique. Par exemple, lorsque l'on compare la performance de différentes versions du noyau Linux, la stabilité est toujours plus importante que la vitesse d'exécution.

1.2 Non-critères en matière d'évaluation de performances

Malheureusement et très souvent dans les newsgroups (forums) et les mailing lists (listes de diffusion par courrier électronique), sont cités :

  1. La réputation du fabriquant (non-mesurable et sans signification).
  2. Les parts de marché du fabriquant (sans signification et non-pertinent).
  3. Des paramètres irrationnels (superstition ou a-priori par exemple acheteriez-vous un processeur étiqueté 131313ZAP et peint en rose ?).
  4. La valeur perçue (non-significative, non-mesurable et irrationnelle).
  5. L'ampleur du tapage marketing (ndt : mercatique pour les intégristes :) est ce qu'il y a de pire, je crois. Personnellement, j'en ai marre des logos "XXX inside" ou "kkkkkws compatible" (maintenant "aaaaaPowered" est de la partie, et puis quoi encore ?). AMHA, les milliards de dollards dépensés durant de telles campagnes seraient bien mieux utilisés par de équipes de recherche pour la conception de nouveaux processeurs, plus rapides (moins chers :-) et moins buggés. Aucune campagne publicitaire, si ambitieuse soit-elle, n'est en mesure de supprimer une bug de la FPU en calcul flottant sur le tout nouveau processeur que vous venez tout juste d'enficher sur votre carte-mère, alors qu'un échange au profit d'un processeur re-conçu le fera.
  6. Les opinions du type "Vous avez ce pour quoi vous avez payé" ne sont précisément que ça : des opinions. Donnez-moi des faits, s'il vous plait.


Chapitre suivant

Table des matières de ce chapitre, Table des matières générale

Début du document, Début de ce chapitre