3 La deuxième controverse : Neyman préconise l'usage exclusif de la randomisation
Ken Brewer
Dans les années 1920, la situation était claire, mais loin d'être idéale. L'échantillonnage n'était plus considéré comme une approche à écarter, mais il n'existait que peu de directives, voire aucune, pour décider si l'échantillon devait être sélectionné aléatoirement ou par choix raisonné. Au cours des deux décennies suivantes, on a constaté une tendance lente, mais régulière, à rendre obligatoire l'approche fondée sur la randomisation. Et il y avait une bonne raison à cela : il n'existait pas d'autres modèles intéressants susceptibles de donner envie aux statisticiens pratiquant l'échantillonnage de les utiliser.
Un article particulièrement influant préconisant l'usage exclusif de la randomisation a été l'attaque de 69 pages de Jerzy Neyman (1934) contre le sondage réalisé par Gini et Galvani (1929). Ces deux auteurs avaient sélectionné un échantillon « par choix raisonné » de 29 districts (circondari) sur 214 à partir du Recensement de la population de l'Italie de 1921. Ils avaient tiré leur échantillon de façon qu'il reflète presque exactement les valeurs moyennes pour l'ensemble de l'Italie, pour sept variables choisies en raison de leur importance. Mais Neyman a montré que leur échantillon présentait des différences considérables pour d'autres variables importantes. Il a ensuite monté contre l'étude une attaque s'appuyant sur un triple argument.
- Comme ils n'avaient pas utilisé la randomisation, les chercheurs n'avaient pas pu faire appel au théorème central limite. Par conséquent, ils avaient été incapables de se fonder sur la normalité des estimations pour construire les « intervalles de confiance » que Neyman lui-même avait inventés récemment. Cette idée a été présentée en anglais pour la première fois dans cet article.
- Comme l'avaient admis Gini et Galvani, la difficulté qu'ils avaient eue à satisfaire à leurs exigences de « choix raisonné » (voulant que l'échantillon concorde étroitement avec la population pour sept variables) les avait obligés à limiter leur étude à 214 districts plutôt que les 8 354 communes en lesquelles l'Italie avait également été divisée. Par conséquent, leur échantillon de 15 % ne comprenait que 29 districts (au lieu, peut-être, de 1 200 ou 1 300 communes). Neyman a également montré qu'ils auraient pu s'attendre à un ensemble considérablement plus précis d'estimations si l'échantillon avait été constitué d'un nombre beaucoup plus grand de ces communes (d'ordre de grandeur plus petit).
- Crucialement, le modèle de population utilisé par les chercheurs était irréaliste et inapproprié. (Neyman était convaincu que les modèles, de par leur nature même, risquaient systématiquement de représenter inadéquatement la situation réelle.) De surcroît, la randomisation éliminait la nécessité de ce genre de modélisation de la population. En utilisant l'inférence fondée sur la randomisation, les propriétés statistiques d'un estimateur pourraient être établies en utilisant la distribution de ses estimations à partir de tous les échantillons pouvant être sélectionnés. En outre, en utilisant la randomisation, ce même estimateur sous différents plans de sondage pouvait avoir des propriétés statistiques différentes. (Un bon exemple, quoique pas l'un de ceux de Neyman, est qu'un estimateur qui est biaisé sous un plan d'échantillonnage avec probabilités égales pourrait fort bien être sans biais sous un échantillonnage avec probabilités inégales.)
Ces trois arguments n'étaient pas tous aussi valables et convaincants les uns que les autres, mais Gini et Galvani étaient prêts à admettre que quelque chose clochait sérieusement dans leur approche. De plus, Neyman pouvait défendre facilement le deuxième argument (voulant que la taille d'échantillon de 29 soit trop petite). Il était irréfutable. Les concepteurs du sondage étaient également prêts à admettre le troisième argument, selon lequel la modélisation de la population n'était pas adéquate. Le premier argument (au sujet des intervalles de confiance) semble avoir été accepté tout simplement parce que c'était Neyman qui l'affirmait, et que, puisqu'il avait certainement raison au sujet des deux autres points, il avait probablement raison pour celui-là aussi.
3.1 Opposition de Bowley au premier argument de Neyman et les résultats
Un statisticien qui n'était pas prêt à accepter la façon de penser de Neyman était Bowley, qui avait proposé la motion de remerciement à Neyman pour son exposé de 1934. Nous pouvons donc citer les mots utilisés par les deux opposants. En fait, Bowley a commencé son argumentation en se demandant à haute voix si les intervalles de confiance n'étaient pas simplement une « illusion de confiance » (en anglais, « confiance trick »).
Il a demandé : [traduction] « Est-ce que [un intervalle de confiance] nous mène vraiment à ce dont nous avons besoin la chance que, à l'intérieur de l'univers que nous échantillonnons, la proportion soit comprise entre certaines limites ? Je ne pense pas. Je pense que nous nous trouvons dans la situation où nous savons que soit un événement improbable a eu lieu ou que la proportion de la population est comprise entre ces limites… L'affirmation de la théorie n'est pas convaincante, et tant que je ne serai pas convaincu, je douterai de sa validité. »
Dans sa réponse, Neyman a soutenu que la question de Bowley (selon laquelle l'intervalle de confiance était une illusion de confiance) [traduction] « conten[ait] l'énoncé du problème sous forme bayésienne » et que par conséquent sa solution [traduction] « doit dépendre de la loi de probabilité a priori ». Il a ajouté : [traduction] « Dans la mesure où nous nous en tenons à l'ancienne forme du problème, tout progrès supplémentaire est impossible. » Il a donc conclu qu'il était nécessaire d'arrêter de poser la question « bayésienne » de Bowley et d'adopter plutôt la position que son propre énoncé « soit… ou » [c'est-à-dire soit qu'un événement improbable a eu lieu ou que la proportion de la population était comprise entre les limites énoncées] [traduction] « form[ait] un fondement pour le travail pratique d'un statisticien se penchant sur des problèmes d'estimation… »
Cependant, il n'en demeure pas moins que les intervalles de confiance ne sont pas faciles à comprendre. Un intervalle de confiance est, en fait, un intervalle propre à l'échantillon de valeurs réelles possibles du paramètre à estimer, qui a été construit de manière à posséder une propriété particulière. Cette propriété est que, sur un grand nombre d'observations d'échantillon, la proportion de fois que la vraie valeur du paramètre tombe à l'intérieur de cet intervalle (construit séparément pour chaque échantillon) est égale à une valeur prédéterminée appelée niveau de confiance. Ce niveau de confiance s'écrit conventionnellement sous la forme où est petit comparativement à l'unité. Les valeurs conventionnelles de sont 0,05, 0,01 et, parfois, 0,001. Donc, si de nombreux échantillons de taille sont tirés indépendamment d'une loi normale, la proportion de fois que la vraie valeur du paramètre se trouvera à l'intérieur de l'intervalle de confiance d'un échantillon donné, avant que cet échantillon soit sélectionné, est
[Traduction] « Toutefois, la probabilité que cette valeur vraie du paramètre se trouve à l'intérieur de l'intervalle de confiance tel qu'il est calculé pour tout échantillon individuel de taille ne sera pas L'intervalle de confiance calculé pour tout échantillon individuel de taille sera, en général, plus large ou plus étroit que la moyenne et son centre pourrait s'écarter de la valeur vraie du paramètre, surtout si est petit. Il est également parfois possible de reconnaître quand un échantillon est atypique et, donc, d'émettre l'hypothèse fondée sur la connaissance de ce fait que, dans ce cas particulier, la probabilité que la valeur vraie soit comprise dans un intervalle de confiance à 95 % particulier diffère considérablement de 0,95. »
Considérons alors, en particulier, l'intervalle de confiance à 95 % le plus fréquemment utilisé, à savoir celui compris entre et (Fisher (1925) a en fait proposé d'utiliser l'intervalle compris entre et ) Les rédacteurs en chef de publications portant sur une grande variété de domaines (la plupart d'entre eux n'étant pas eux-mêmes des statisticiens) estiment que cette définition de la « signification » est celle qui leur donne de manière fort commode la liberté de publier des valeurs qui tombent en dehors de cet intervalle et de rejeter celles qui ne le sont pas. Je pense, personnellement, qu'il est grand temps d'examiner très attentivement la suggestion de Fisher.
Ce qu'affirmait Fisher (en utilisant plutôt que ) était « qu'en utilisant ce critère, nous ne devrions être conduits à suivre une fausse indication qu'une fois sur 22 essais ». Mais qu'entendait-il (et qu'entendons-nous aujourd'hui) par « suivre une fausse indication » ? Ce que nous devrions entendre est ceci : que si l'hypothèse nulle (H0) est vraie, une « indication fausse », c'est-à-dire « une observation significative de façon trompeuse », sera observée, en moyenne, une fois sur 22 (ou 20). Mais ce n'est pas ce que de nombreux utilisateurs non statisticiens de la statistique imaginent qu'elle signifie. Ces utilisateurs semblent penser qu'elle signifie que seulement une de leurs « observations significatives » sur 20 (c'est-à-dire seulement une observation sur 20 parmi toutes celles dont la valeur est inférieure à 0,05) sera significative de façon trompeuse.
Il s'agit là de l'idée fausse bien connue au sujet de la statistique ! (Voir Berger et Sellke (1987) pour des détails.) Dire « Si H0 est vraie, les observations ne seront décrites incorrectement comme étant « significatives » qu'une seule fois sur 20 (ou 22) » est correct mais inutile, car si H0 est vraie, il s'ensuit que chaque observation décrite comme étant « significative », quelle qu'en soit la raison, doit aussi avoir été décrite de cette façon erronément. Mais dire simplement « Que H0 soit vraie ou non, » est également erroné. Dans ces circonstances, un taux de fausses découvertes (FDR pour False Discovery Rate) significatif est (en fait) quelque chose qui s'approche de ou
Il s'agit d'un sujet auquel j'ai réfléchi quelque peu ces derniers temps. En particulier, j'ai corédigé un article en quatre parties portant sur ce sujet.
La partie 1 (Brewer et Hayes 2011a) expose comment remédier à la parcimonie notoire du critère d'information bayésien (BIC) en ajoutant certains termes de pénalité manifestement nécessaires. Le critère d'information bayésien augmenté (ABIC) est presque toujours compris entre le BIC original et le critère d'information d'Akaike (AIC) (tout aussi notoirement dépourvu de parcimonie). Une autre caractéristique utile de l'ABIC est que, dans son cas univarié, il s'agit d'une simple fonction de (le cas limite de grand échantillon du de Student).
La partie 2 (Brewer et Hayes 2011b) comprend la dérivation d'un test d'hypothèse bayésien de référence qui est entièrement compatible avec l'ABIC de la partie 1. Une généralisation évidente de la loi des nombres (purement empirique) de Benford joue un rôle important dans l'obtention d'une loi a priori bayésienne objective (bien que non uniforme) sur l'intervalle entier allant de zéro (ou moins l'infini) à plus l'infini pour le test d'hypothèse pertinent. (Le problème qui se pose habituellement avec les probabilités a priori nulles est évité ici en utilisant à la place des mesures de type Lebesgue.) Fait important, quand le test d'hypothèse bayésien pertinent donne une mesure a posteriori qui ne penche pas plus vers l'hypothèse nulle que vers l'hypothèse alternative. En outre, quand le critère ABIC est généralisé aux petits échantillons, sous forme d'une fonction de la statistique la statistique de Fisher fixe une borne supérieure du taux de fausse découverte (FDR) quel que soit le nombre de degrés de liberté.
Dans la partie 3 (Brewer, Hayes et Gillison 2012), un jeu de quelque 1 300 pentes de régression, provenant d'un sondage sur la biodiversité de la mosaïque des paysages tropicaux, est utilisé pour établir un support empirique pour le critère ABIC, confirmant de cette façon les constatations théoriques antérieures.
À la partie 4 (Hayes et Brewer 2012), les résultats approximatifs dérivés aux parties 1 à 3 sont complétés par des résultats exacts qui peuvent être obtenus en utilisant une approche similaire, mais ne nécessitant pas d'hypothèse nulle explicite. Enfin, nous énonçons certaines conséquences probables de la reconnaissance du fait que, si l'hypothèse nulle implicite est précise, des valeurs beaucoup plus petites de (habituellement de l'ordre de 0,0025 plutôt que 0,05) sont nécessaires pour fournir un FDR utile.
3.2 L'acceptation des deuxième et troisième arguments de Neyman
Même s'ils étaient pertinents à l'époque et bien présentés, les deuxième et troisième arguments qu'avançait Neyman dans son article (à savoir l'inefficacité de la procédure de sélection de Gini et Galvani (1929) et la nécessité d'utiliser uniquement l'échantillonnage aléatoire) n'ont été adoptés que progressivement au cours de la décennie suivante. W. Edwards Deming a entendu Neyman à Londres en 1936. Impressionné, il a pris des dispositions pour que Neyman donne des cours et que son approche soit enseignée aux statisticiens du gouvernement américain. Un événement qui a marqué un tournant dans l'acceptation de cette approche a été l'utilisation, dans le Recensement de la population et du logement des États-Unis de 1940, d'un échantillon conçu par Deming ainsi que Morris Hansen et d'autres, pour obtenir des réponses à des questions supplémentaires. Cependant, une fois pleinement acceptés, les deuxième et troisième arguments de Neyman ont écarté toutes les autres considérations pendant au moins deux décennies.
Ces quelque 20 années ont été une période de grand progrès. Dans les termes introduits par Kuhn (1962), l'échantillonnage en population finie a trouvé dans l'inférence fondée sur la randomisation « un paradigme » universellement accepté, et il s'en est suivi une période inhabituellement longue de « science normale » fondée sur l'« échantillonnage probabiliste ». (L'« échantillonnage probabiliste » requiert que tous les éléments de la population possèdent une probabilité connue et positive d'inclusion dans l'échantillon.)
3.3 L'apparition d'ouvrages pertinents
Ce consensus a rendu possible la publication de plusieurs traités d'échantillonnage influents. L'article historique de Kish (1995) en mentionne cinq parus dans des délais rapprochés : Yates (1949), Deming (1950), Cochran (1953), Hansen, Hurwitz et Madow (« HH et M ») (1953) et Sukhatme (1954).
Selon moi, les deux plus importants de ces ouvrages ont été ceux de Cochran et de HH et M, mais pour des raisons assez opposées. HH et M semblaient ne vouloir rien entendre de la modélisation de la population. (Je doute que le mot « model » soit même mentionné dans l'un de leurs deux volumes. Il ne figure pas dans l'index.) Cochran (1953), au contraire, avait découvert plusieurs usages de ce genre de modèles, même déjà en 1953.
En relisant Cochran (1953) récemment, j'ai eu la nette impression que plus il écrivait, plus il utilisait avec aise les modèles de population. Donc, j'ai commencé à compter les occurrences du mot. La première édition comprenait 316 pages de texte. Les mots « model » et « models » y étaient utilisés à 23 occasions. Dans la première moitié du livre, le mot « model » n'apparaissait qu'une seule fois (à la page 123) et le mot « models » n'y figurait pas du tout. Mais Cochran a utilisé ces mots de nouveau trois fois dans le troisième quart de l'ouvrage et 19 fois, dans le dernier quart. (Parfois, les chiffres parlent plus que les mots !)
Un autre fait étrange était que même si l'ouvrage en deux volumes de HH et M intitulé Sample Survey Methods and Theory semblait ne pas contenir du tout le mot « model », chacun de ces deux volumes contenait un chapitre sur l'«estimation par la régression ». Je ne vois pas comment on peut avoir un estimateur par la régression sans avoir un modèle de régression, du moins en tête.
HH et M ont également défini quatre « estimations » dans le chapitre 11 de leur volume 1 : l'estimation par différence, l'estimation par la régression, l'estimation par le ratio et l'estimation sans biais simple. Au chapitre 11 du volume 2, seules l'estimation par différence et l'estimation par la régression sont définies, mais naturellement les deux autres auraient déjà été bien connues de toute personne déjà familiarisée avec le volume 1.
La question de savoir si HH et M auraient considéré l'estimation par la régression comme impliquant un modèle persiste. Je parie qu'ils auraient hésité à le faire !
3.4 Mes quinze mois aux États-Unis
En 1966-1967, j'ai eu le privilège de passer plus d'un an aux États-Unis et de visiter (par ordre) le U.S. Bureau of the Census à Washington DC, puis les universités Harvard et Princeton. Au Bureau of the Census, j'avais espéré pouvoir passer du temps avec Morris Hansen et j'attendais avec hâte l'occasion de lui dire que certaines choses utiles pouvaient vraiment être faites avec des modèles de population, mais lorsque celle-ci s'est présentée, il m'a interrompu en disant « Nous n'avons pas besoin de modèles », et il a immédiatement changé de sujet !
Au contraire, quand je suis allé à Harvard, où j'ai passé beaucoup de temps avec Cochran, nous avons pu examiner le sujet rationnellement tous les deux et convenir que les modèles avaient un rôle utile, bien que limité, à jouer. À Princeton, j'ai essayé de susciter l'intérêt pour le sujet chez plusieurs statisticiens bien connus à l'université, mais sans grand succès.
Une contestation d'un tout autre ordre de l'orthodoxie de l'approche dépourvue de modèle de Hansen avait été exprimée par Godambe (1955), lorsqu'il avait donné sa preuve de la non-existence d'un estimateur de la moyenne de population fondé sur la randomisation qui soit uniformément le meilleur. Une nouvelle notation et une nouvelle classe d'estimateurs étaient nécessaires pour appuyer l'argument, et, sous sa forme première, ce cadre a suscité une certaine résistance. À la Section 5 de son article, citant le traité de Yates (1949) et l'article de Cochran (1939) comme antécédents, Godambe proposait un critère d'optimalité de rechange, la minimisation de la variance d'échantillonnage attendue sous ce que l'on a appelé plus tard un modèle de superpopulation.
À l'époque, peu d'autres statisticiens travaillant dans ce domaine incroyablement novateur de l'échantillonnage semblaient être concernés par ce résultat. Je dois confesser que je n'étais moi-même pas concerné à l'époque, mais aujourd'hui, je pense que j'aurais peut-être dû l'être !
- Date de modification :