Pourquoi les statistiques peuvent mentir

Pourquoi les statistiques peuvent mentir

Ce n’est pas un secret que les statistiques sont souvent manipulées pour modifier les perceptions.

Il suffit de prendre l’exemple suivant : à la fin des années 1970, le gouvernement de la ville de Mexico a accru la capacité de trafic de son autoroute à quatre voies en repeignant les voies de circulation pour pouvoir en loger six, accroissant effectivement la capacité de 50 %. Malheureusement, cette décision a entraîné une augmentation du nombre d’accidents mortels. Donc, après un an, il est revenu à une route à quatre voies, ce qui a eu pour effet de réduire la capacité de 33 %. Pourtant, le gouvernement, afin de soutenir ses revendications en termes de progrès social, a soustrait cette baisse de 33 % de l’augmentation de 50 % pour déclarer une augmentation nette de la capacité de 17 %.

Indices : des vieux trucs sous un nouvel emballage

L’embrouillamini des chiffres a récemment, hélas, atteint un nouveau sommet : cette fois, comme le fait remarquer The Economist, ceux-ci se présentent sous forme d’indices et de classements qui incorporent les données relatives à de nombreuses mesures dans un seul classement facile à comprendre.

Au cours des deux dernières décennies, le nombre d’indices de performance a sensiblement augmenté (voir ci-dessus). Il existe de bonnes raisons pour lesquelles les indices – également appelés classements et composites – ont connu un engouement grandissant : ils simplifient une réalité complexe.

Nombre d’indices dans le monde

indices

*Depuis 2011

L’un des points forts des classements est qu’ils peuvent transformer des phénomènes complexes en représentations numériques. En conséquence, ils sont à même de présenter une image et de raconter une histoire en nombres d’activités humaines et sociales apparemment non quantifiables, qui vont des qualités d’un État (par ex. « la transparence ») aux politiques d’un État (par ex. « la liberté de la presse ») et aux pratiques sociales courantes (par ex. « la corruption ») (1). Cela donne quelque chose de facile à comprendre, pratique et simple à utiliser. Ils fournissent donc un aperçu immédiat de la réussite des pays et des politiques dans les domaines concernés.

N’oublions pas que les indices présentent souvent les informations statistiques sous un nouveau jour, mais n’ont pas nécessairement quelque chose à voir avec les statistiques. Cela veut dire que leurs utilisateurs n’ont besoin de rien d’autre que quelques rudiments d’arithmétique pour donner une signification aux résultats.

Remarque intéressante : le nom des indices compte également. Le nom d’un indice est souvent destiné à souligner ce qu’il affirme mesurer ou classer. Appeler un indicateur une mesure de « transparence » ou de « développement humain » prétend que ces phénomènes sont directement observables et que la représentation numérique qui les mesure existe.

Ils permettent d’établir des classements et des comparaisons. Le fait de transformer des questions vagues en scores précis, en plus de rendre les indices facilement lisibles, signifie que les aspects économiques, sociaux et politiques de notre vie peuvent désormais être évalués et c’est là la beauté de la chose : les indices sont devenus des « règles psychologiques empiriques », des symboles clairs et simples qui, eux aussi, aident l’examinateur à savoir si l’objet observé est « bon » ou « mauvais » en un clin d’œil. En effet, puisque la moyenne des notes peut être calculée, des « normes » et des « critères » peuvent être établis (2). Il est possible de faire une comparaison entre différentes unités concurrentes, telles que les pays et les villes ainsi que dans le temps, ce qui permet d’obtenir des indices fournissant encore plus d’informations.

Ils affirment un pouvoir social. Étant donné qu’il est facile de les traiter et de les comprendre et qu’ils donnent un sentiment de maîtrise, la plupart des indices de performance, notamment les plus importants, peuvent exercer une influence sur les candidats grâce à un contrôle systématique qui consiste à observer et vérifier en continu les progrès ou la qualité d’une politique, d’une pratique ou d’une situation. Le résultat est qu’ils peuvent mobiliser et informer les pays, réprimander des décideurs politiques spécifiques et faciliter la pression transnationale. Les comparaison explicites, une fois publiées, pourraient être difficiles à déplacer du débat public (5). Les classements peuvent donc constituer un levier particulièrement puissant pour créer des pressions sociales.

Les gouvernements qui se retrouvent en bas des classements ressentent souvent de la pression. Par exemple, la mauvaise performance de l’Allemagne eu égard au Programme international pour le suivi des acquis des élèves (PISA) de l’OCDE, qui compare la performance scolaire des élèves de 15 ans dans une douzaine de pays, a poussé le pays à dépenser 4 Md€ pour réformer ses programmes scolaires.

Mensonges, sacrés mensonges et indices

Étant donné les avantages que les indices peuvent présenter et la façon dont ils peuvent tromper les gens, The Economist a publié un article intitulé « Comment mentir avec des indices ? ».

Ils présentent de l’expertise quant au contenu. Tandis que certains indices sont fondés sur des méthodologies rigoureuses et des données solides, d’autres ne reposent guère plus que sur des « suppositions ». La quantification et les chiffres permettent sans aucun doute de jeter de la poudre aux yeux : en apparaissant précis et certains, les classements peuvent transmettre une certaine objectivité scientifique et être suffisamment persuasifs pour qu’on ne puisse les ignorer, ce qui vient par là consolider l’expertise (4).

Pour consolider cette « expertise », les créateurs d’indices de performance s’appuient souvent sur la crédibilité extérieure. Par exemple, un indice élaboré en Suisse aura probablement plus de poids que le même indice créé en Russie. Ce n’est pas nécessairement parce que la Suisse dispose d’un pouvoir coercitif plus important, mais parce qu’elle a une bien plus grande crédibilité vis-à-vis d’un tel classement (5).

Monter dans le classement n’est pas nécessairement synonyme de réelle performance. Confronté à une forte pression des classements, on choisit en général de redoubler d’efforts pour grimper les échelons. Toutefois, on peut également décider de concentrer ses efforts sur certains critères dans le but de gagner des places.

Seuls les premiers et les derniers comptent. Il se peut également que le pouvoir « d’attirer l’attention » des indices ait été surestimé. L’une des principales faiblesses, surtout en ce qui concerne les classements dans lesquels figure un grand nombre de pays, est que les médias seront probablement seulement intéressés par les premiers et les derniers de la liste – on néglige souvent les résultats des pays se trouvant au milieu. Ainsi, il est possible que les indices n’aient pas autant de pouvoir social que bon nombre de gens le pensent.

Le classement est peut-être trop important. Ceux qui figurent dans le classement peuvent réagir de manière excessive par rapport à la place qu’ils reçoivent. Chaque année, lorsqu’un classement est publié, l’attention du public se focalise en grande partie sur le rang d’un pays par rapport aux années précédentes et à la position des pays concurrents. Tandis que les pays peuvent devenir obsédés par leur position relative, cela ne veut pas forcément dire qu’ils ont moins bien réussi en termes absolus. Pourtant, l’ordre des choses peut facilement créer une mauvaise perception (6).

Distorsion des résultats provenant de la pondération. Si les classements représentent la somme des scores concernant différents critères, le poids de chaque critère peut facilement influencer, voire fausser, le résultat. Par exemple, le « Good Country Index » (l’indice des bons pays) évalue dans quelle mesure chaque pays sur la planète contribue au bien commun de l’humanité, et ce qu’il prélève. Il indique en un clin d’œil si un pays est un créancier net de l’humanité, un fardeau sur la planète ou quelque chose entre les deux. Cependant, il ne quantifie pas ce que font les pays chez eux. En ce sens, un « bon » pays renvoie à la mesure dans laquelle un pays a contribué au bien commun, même si l’indice est appelé le « Good Country Index ». Le « plus bon » – et non le « meilleur » – pays en 2014 est l’Irlande car « elle a obtenu très peu de scores faibles dans l’ensemble : elle n’a pas envoyé de troupes en Afghanistan en 2010, lorsque l’indice a été calculé, et n’a donc compté aucun décès. Elle donne beaucoup à des organismes caritatifs, enregistre une faible croissance démographique et ne produit presque aucun réfugié » (7).

On aurait pu imaginer que les États-Unis se classeraient assez haut puisqu’ils ont accompli beaucoup plus que les autres pays en matière de lutte contre le terrorisme à l’échelle mondiale. Pourtant, même s’ils réussissent bien en ce qui concerne presque tous les indicateurs, les États-Unis n’ont obtenu que la 21ème place du classement général car, pour ce qui est du critère de « la paix et la sécurité internationales », ils ne sont classés que 114ème sur 125. La raison en est les armes qu’ils ont exportées et le nombre de personnes que leurs forces militaires ont tuées.

Prenons un autre exemple : le « Happy Planet Index » (HPI – l’indice du bonheur de la planète) mesure le bien-être humain conjointement avec l’impact environnemental. Ce qu’il faut bien comprendre, c’est que les pays qui « sont le mieux classés par le HPI ne sont pas nécessairement ceux où les gens sont le plus heureux dans l’ensemble, mais ceux qui permettent à leurs citoyens de vivre longtemps et de manière pleinement satisfaisante, sans nuire aux générations futures ou aux citoyens des autres pays ». En fait, même s’il donne l’impression qu’il mesure le « bonheur », l’indice examine quelque chose de totalement différent.

Les 10 premiers pays pour cet indice sont le Costa Rica, le Vietnam, la Colombie, le Belize, le Salvador, la Jamaïque, le Panama, le Nicaragua, le Venezuela et le Guatemala. Beaucoup pourront trouver ces résultats curieux puisque, par exemple, la Colombie est l’un des plus grands exportateurs de drogue au monde et le Nicaragua le deuxième pays le plus pauvre de l’hémisphère occidental. La réponse est la pondération par rapport à l’empreinte écologique, tant et si bien que, plus l’empreinte écologique est faible, et plus le pays obtiendra un bon classement.

Pourtant, il ne faut pas ignorer le fait que les pays ayant une faible empreinte écologique ont tendance à être largement sous-développés, et donc pauvres. Bien qu’il soit vrai que la richesse n’est pas la seule source de bonheur, il est difficile d’imaginer qu’elle ne contribue pas du tout au bonheur et au bien-être. En outre, une récente étude montre que l’augmentation des inégalités va de pair avec une montée dans le classement HPI (8)]. L’inégalité des revenus constitue rarement une recette pour améliorer le bien-être des pays.

Comme le feu, les indices peuvent être utiles et dévastateurs. Ceux qui les utilisent doivent être prudents lorsqu’ils les manipulent. On espère que les mauvais indices vont disparaître, et que seuls resteront ceux qui peuvent nous apporter des avantages permettant d’améliorer notre vie et le monde. Sinon, les indices pourraient rapidement devenir les nouvelles statistiques.

Bibliographie :

(1) Kelly, Judith G. and Simmons, Beth A. (2014) “Politics by Number: Indicators as Social Pressure in International Relations”, American Journal of Political Science.

(2) Weisband, Edward (2000) “Discursive Multilateralism: Global Benchmarks, Shame, and Learning in the ILO Labor Standards Monitoring Regime”, International Studies Quarterly, 44, 643-666

(3) Andreas, Peter and Greenhill, Kelly M. (2010) Sex, Drugs, and Body Counts: The Politics of Number in Global Crime and Conflict, Cornell University Press

(4) Høylanda, Bjørn, Moeneb, Karl and Willumsenb, Fredrik (2012) “The tyranny of international index rankings”, Journal of Development Economics, 97(1), 1-14

(5) Kelly, Judith G. and Simmons, Beth A. (2014) “Politics by Number: Indicators as Social Pressure in International Relations”, American Journal of Political Science (sortie prochaine)

(6) Wolff, Hendrik, Chong, Howard and Auffhammer, Maximilian (2010) Classification, Detection and Consequences of Data Error: Evidence from the Human Development Index, NBER, Working Paper 16572

(7) Wired Magazine (2014), édition britannique, 25

(8) Taush, Arno (2011) “In praise of inequality? ‘Happy Planet’ performance and its determinants”, Australian and New Zealand Journal of Public Health, 35(6), 572-3

Mark Esposito, Terence Tse

Source : HBR

Voir aussi

Laisser un commentaire

Votre adresse électronique ne sera pas publiée. Les champs Exigés sont marqués avec *

Cancel reply