Comparaison des méthodes de biais conditionnel et de Kokic et Bell pour les sondages poissonniens et stratifiés
Section 1. Introduction
En statistique d’enquête, une unité de la population est influente si les estimateurs obtenus sur un échantillon tiré dans cette population changent beaucoup suivant que cette unité est échantillonnée ou pas. La notion d’unité influente est donc dépendante de plusieurs facteurs, qui déterminent ce que Beaumont, Haziza et Ruiz-Gazen (2013) ont appelé une configuration :
- un plan de sondage sur une population;
- une ou plusieurs variables d’intérêt et un paramètre d’intérêt sur la distribution de cette variable;
- un estimateur calculé sur l’échantillon pour ce paramètre d’intérêt.
Une unité peut être influente dans une configuration donnée, et pas dans une autre. Par exemple, elle peut avoir un effet important sur l’estimateur du total d’une variable dans un domaine particulier, mais n’avoir qu’une influence négligeable sur l’estimateur du total de cette même variable dans la population totale.
Chambers (1986) distingue deux types d’unités influentes : les valeurs atypiques non-représentatives sont des unités ayant fourni des informations erronées, ou se trouvant dans ces situations exceptionnelles. Les informations recueillies sur ces unités ne peuvent être extrapolées au reste de la population; ces unités sont classiquement identifiées lors de la collecte ou à l’occasion du contrôle des données collectées et traitées via des procédures spécifiques (pour les réponses considérées comme erronées, l’information recueillie est par exemple remplacée par une valeur manquante et imputée. Elle peut également être corrigée en recontactant l’unité en question. Pour les unités se trouvant dans une situation exceptionnelle et dont on est sûr que leur cas est unique, alors il est courant de mettre leur poids à 1).
Les unités influentes représentatives ont, quant à elles, fourni des réponses correctes et ne sont a priori pas uniques dans la population. Elles sont fréquentes dans les enquêtes auprès des entreprises, qui constituent une population dont de nombreuses variables ont une distribution très asymétrique. En particulier, les variables reflétant des volumes ou des montants (de chiffre d’affaires, de valeur ajoutée, de masse salariale, d’investissement, de consommation d’énergie, de dépense en recherche et développement, de dépense anti-pollution pour citer quelques variables d’intérêt centrales des enquêtes réalisées par l’Insee auprès des entreprises) sont caractérisées par une forte concentration de valeurs faibles, correspondant à la grande masse des petites entreprises, et quelques valeurs très élevées, associées aux grandes ou très grandes entreprises.
Pour limiter les effets de cette grande dispersion des variables d’intérêt dans la population des entreprises, le plan de sondage classique qui leur est appliqué est un plan de sondage stratifié, dans lequel la taille, mesurée par le nombre de salariés, est utilisée comme variable de stratification. Cela permet, dans la plupart des cas, d’attribuer aux entreprises des probabilités d’inclusion corrélées à leurs montants déclarés à l’enquête. Dans ces plans, les grandes entreprises sont interrogées exhaustivement, de même que les entreprises qui, selon les informations auxiliaires disponibles dans les bases de sondages sont susceptibles, indépendamment de leur seule taille, de déclarer des montants très élevés à l’enquête.
Il est cependant impossible en pratique de se protéger complètement des observations influentes à l’étape du plan de sondage. En effet, les informations disponibles dans les bases de sondages peuvent être affectées d’erreurs de mesure. Le nombre de salariés des bases de sondages est par exemple une variable issue des déclarations aux organismes de sécurité sociale qui nécessite beaucoup de contrôles et redressements et met deux ans pour atteindre une valeur définitive sur une année donnée. Il est alors possible, lors du tirage d’un échantillon, d’utiliser la dernière valeur définitive connue, mais qui porte sur une situation ancienne de l’entreprise, ou d’utiliser la valeur provisoire la plus proche, qui sera affectée d’erreurs de mesure plus nombreuses. Dans les deux cas, la variable utilisée pour la stratification peut ne pas correspondre à la situation réelle de l’entreprise au moment de l’enquête, créant des entreprises, appelées « sauteurs de strate » (ou strata jumpers en anglais), échantillonnées dans la mauvaise strate, dont le poids de sondage est beaucoup trop élevé par rapport à leurs réponses à l’enquête.
Les variables auxiliaires disponibles pour la définition des plans de sondage peuvent aussi n’être que faiblement corrélées aux thèmes de l’enquête. Il est ainsi complexe d’identifier, sur la seule base de leur secteur d’activité, de leur taille, de leur région d’implantation, de leur durée d’existence ou de leur catégorie juridique, des entreprises innovantes ou impliquées dans des activités de recherche et développement. Il en est de même pour les montants d’investissement réalisés dans le développement durable (mesurés en France par l’Enquête Antipol, réalisée par l’Insee).
Les enquêtes peuvent également collecter plusieurs variables d’intérêt, faiblement corrélées. Le plan de sondage, défini pour aboutir à la meilleure précision possible pour la ou les variables d’intérêt centrales de l’enquête, peut ne pas convenir pour les autres variables moins importantes. On peut citer par exemple, la part de chiffre d’affaires réalisé par des ventes en ligne. En particulier, il est possible que certaines entreprises déclarant des valeurs atypiques pour des variables d’intérêt secondaire de l’enquête n’aient pas été identifiées et placées dans une strate exhaustive.
Enfin, beaucoup d’enquêtes auprès des entreprises sont réalisées à intervalles réguliers, le plus souvent tous les ans, et ont pour objectif d’estimer à la fois les niveaux annuels des principales variables d’intérêt et leur évolution. Pour satisfaire ces deux objectifs, l’échantillon interrogé dans les strates non exhaustives n’est pas renouvelé intégralement chaque année, mais une partie est conservée. Par exemple, l’échantillon des enquêtes auprès des entreprises sur les Technologies de l’Information et des Communications (TIC-E) est renouvelé par moitié chaque année : les entreprises échantillonnées une année donnée sont interrogées deux années de suite (voir Demoly, Fizzala et Gros, 2014). Dans ce cas, les entreprises conservent le poids de sondage avec lequel elles ont été initialement échantillonnées, qui peut ne plus correspondre à leurs caractéristiques au moment de l’enquête, ce qui se traduit par l’apparition de « sauteurs de strate » et d’unités potentiellement influentes.
Les estimateurs classiques en présence de données d’enquête (par exemple, l’estimateur par dilatation ou l’estimateur ajusté pour la non-réponse totale) ne présentent (pratiquement) pas de biais mais peuvent être très instables en présence de valeurs influentes. Des méthodes d’estimation robuste doivent alors être mises en œuvre afin de limiter leur impact; le principe de ces méthodes est de modifier les poids d’estimation ou les valeurs déclarées par les unités influentes, de façon à rendre les estimateurs plus stables, au risque de les biaiser. Plus précisément, les estimateurs auxquels conduisent ces méthodes doivent avoir une erreur quadratique moyenne significativement plus faible que celle des estimateurs par expansion classiques en présence de données influentes, sans perdre trop en efficacité en l’absence de valeurs atypiques dans l’échantillon. Le traitement des valeurs influentes réside donc dans un compromis entre le biais et la variance.
La méthode la plus souvent employée en pratique pour traiter le problème des valeurs influentes est la winsorisation, qui s’applique à l’estimation de totaux de variables d’intérêt. Pour une variable d’intérêt donnée, elle consiste à partitionner l’échantillon et à associer à chaque partie de l’échantillon un seuil; par exemple, dans le cas d’un échantillon sélectionné par sondage aléatoire simple stratifié, l’échantillon est découpé suivant les strates de tirage, et un seuil différent est associé à chaque strate. Les unités de l’échantillon dont les valeurs de la variable sont supérieures au seuil associé à leur partie de l’échantillon voient leur réponse ou leur poids diminué, tandis que les réponses et les poids des autres unités ne sont pas modifiés. Il existe dans la littérature deux formes de winsorisation, qui diffèrent suivant la manière dont sont modifiés la variable ou le poids quand la variable d’intérêt dépasse le seuil. Dans le cadre de la winsorisation standard, aussi appelée winsorisation de type I, les valeurs dépassant le seuil sont tronquées au niveau de celui-ci. Nous utiliserons dans cet article la forme proposée par Dalén (1987) et Tambay (1988), appelée aussi winsorisation de type II, car elle assure l’obtention de poids winsorisés supérieurs à 1. Cette méthode sera rappelée brièvement dans la section 2.
Dans l’application de la winsorisation, le choix des seuils est crucial, un mauvais choix pouvant conduire à des estimateurs winsorisés ayant une erreur quadratique moyenne supérieure à celle des estimateurs classiques via l’introduction d’un biais très élevé difficilement corrigeable par la suite. Le choix de ces seuils a fait l’objet de nombreuses études, entre autres par Kokic et Bell (1994), Rivest et Hurtubise (1995) et Favre-Martinoz, Haziza et Beaumont (2015). Dans le cas d’un plan stratifié aléatoire simple sans remise, Kokic et Bell (1994) ont déterminé les formules théoriques et des algorithmes de calcul des seuils qui conduisent à l’estimateur winsorisé ayant la plus faible erreur quadratique moyenne possible, sous l’hypothèse que les réalisations de la variable d’intérêt sont identiquement distribuées dans chaque strate, l’erreur quadratique moyenne étant calculée sous le plan de sondage et la loi de la variable d’intérêt. Dans le cas d’enquêtes répétées, ils suggèrent d’utiliser les données historiques collectées lors des précédentes éditions des enquêtes pour calculer ces seuils. Clark (1995) a généralisé les résultats de Kokic et Bell (1994) au cas d’un estimateur par le ratio et en calculant l’erreur quadratique moyenne par rapport au modèle seulement.
D’autres méthodes ont été proposées pour identifier et traiter les unités influentes en statistique d’enquêtes. L’une d’entre elles, introduite par Beaumont et coll. (2013), s’appuie sur la notion de biais conditionnel, une mesure d’influence proposée par Moreno-Rebollo, Muñoz-Reyez et Muñoz-Pichardo (1999) et Moreno-Rebollo, Muñoz-Reyez, Jimenez-Gamero et Muñoz-Pichardo (2002). Contrairement aux méthodes de winsorisation évoquées supra, qui ne sont adaptées qu’à certains plans de sondage et nécessitent une information extérieure à l’échantillon assez riche, la méthode proposée par Beaumont et coll. (2013) peut s’appliquer a priori à n’importe quel plan de sondage et ne mobilise que les réponses à l’enquête. Elle ne conduit cependant pas nécessairement à l’estimateur traité des unités influentes dont l’erreur quadratique moyenne est la plus faible, mais à l’estimateur sur lequel l’influence de l’unité la plus influente est la plus faible en valeur absolue. Favre-Martinoz et coll. (2015) et Favre-Martinoz, Haziza et Beaumont (2016) ont proposé des adaptations de la méthode du biais conditionnel permettant le calcul de seuils de winsorisation et prenant en compte une phase supplémentaire d’échantillonnage et l’estimation dans des domaines.
L’objectif de cet article est de comparer l’efficacité des méthodes de winsorisation et de biais conditionnel pour le traitement des valeurs influentes. Pour ce faire, nous rappelons dans la section 2 la méthode de winsorisation et le calcul des seuils de winsorisation proposé par Kokic et Bell dans le sondage aléatoire simple stratifié. Nous proposons dans cette même section, une extension de la méthode de Kokic et Bell dans le cas d’un plan de sondage poissonnien. Après avoir rappelé brièvement dans la section 3 les principes de l’estimation robuste reposant sur le biais conditionnel, nous présentons dans la section 4 des simulations afin de comparer l’extension dans le cas poissonnien de la méthode de Kokic et Bell avec les méthodes de biais conditionnels. Enfin, un exemple d’application pratique de la méthode de Kokic et Bell et de son extension au cas poissonnien est présenté dans la section 4 en les comparant à une méthode basée sur les biais conditionnels dans le cadre de l’Enquête sur le Coût de la Main d’Oeuvre et la structure des salaires réalisée par l’INSEE.
- Date de modification :