Techniques d’enquête

En tant qu’instrument d’élaboration et d’évaluation des politiques et de recherche scientifique, sociale et économique, les enquêtes par sondage sont employées depuis plus d’un siècle. Au cours de cette période, elles ont surtout servi à recueillir des données à des fins de dénombrement. L’estimation de leurs caractéristiques a normalement reposé sur la pondération et l’échantillonnage répété ou sur une inférence fondée sur le plan de sondage. Les données-échantillons ont toutefois aussi permis de modéliser les processus inobservables qui sont source de données de population finie. Ce genre d’utilisation qualifié d’analytique consiste souvent à intégrer les données-échantillons à des données de sources secondaires.

Dans ce cas, des solutions de rechange à l’inférence, tirant leur inspiration du grand courant de la modélisation statistique, ont largement été mises de l’avant. Le but principal était alors de permettre un échantillonnage informatif. Les enquêtes modernes par sondage visent cependant davantage les situations où les données-échantillons font en réalité partie d’un ensemble plus complexe de sources de données, toutes contenant des informations pertinentes sur le processus d’intérêt. Lorsqu’on privilégie une méthode efficace de modélisation comme celle du maximum de vraisemblance, la question consiste alors à déterminer les modifications qui devraient être apportées en fonction tant de plans de sondage complexes que de sources multiples de données. C’est là que l’emploi du principe de l’information manquante trace nettement la voie à suivre.

Le présent document permettra de faire le point sur la façon dont ce principe a servi à résoudre les problèmes d’analyse de données « désordonnées » liés à l’échantillonnage. Il sera aussi question d’un scénario qui est une conséquence de la croissance rapide des sources de données auxiliaires aux fins de l’analyse des données d’enquête. C’est le cas où les enregistrements échantillonnés d’une source ou d’un registre accessible sont couplés aux enregistrements d’une autre source moins accessible, avec des valeurs de la variable réponse d’intérêt tirées de cette seconde source et où un résultat clé obtenu consiste en estimations sur petits domaines de cette variable de réponse pour des domaines définis sur la première source.

Jean-Claude Deville, décédé en octobre 2021, fut l’un des chercheurs les plus influents dans le domaine la statistique d’enquête au cours des quarante dernières années. Cet article retrace certaines de ses contributions qui ont eu un profond impact, tant sur la théorie que sur la pratique des enquêtes. Cet article abordera les sujets suivants : l’échantillonnage équilibré au moyen de la méthode du cube, le calage, la méthode du partage des poids, le développement des expressions de la variance d’estimateurs complexes au moyen de la fonction d’influence et l’échantillonnage par quotas.

Dans cette discussion, je présenterai quelques aspects complémentaires de trois grands domaines de la théorie des sondages développés ou étudiés par Jean‑Claude Deville : le calage, l’échantillonnage équilibré et la méthode généralisée de partage des poids.

Cet article discute et commente l’article de Ardilly, Haziza, Lavallée et Tillé consacré à une présentation synoptique de l’œuvre de Jean-Claude Deville en théorie des sondages. Il apporte quelques éclairages sur le contexte, les applications et les utilisations des résultats de ses travaux et il montre comment ceux-ci se sont inscrits dans le métier de statisticien dans lequel Jean-Claude a eu une démarche d’« éclaireur ». Il évoque aussi d’autres aspects de sa carrière et de ses inventions créatrices.

Beaucoup de choses ont été écrites à propos de Jean‑Claude Deville par la communauté statistique dans les hommages qui lui ont été rendus (voir Tillé, 2022a; Tillé, 2022b; Christine, 2022; Ardilly, 2022; et Matei, 2022) mais aussi par l’École nationale de la statistique et de l’administration économique (Ensae) et la Société française de statistique. Pascal Ardilly, David Haziza, Pierre Lavallée et Yves Tillé détaillent de façon très approfondie les apports de Jean‑Claude Deville à la théorie des sondages. Pour lui rendre hommage, j’avais envie de mon côté d’évoquer l’apport de Jean-Claude Deville à la pratique plus quotidienne de la méthodologie pour tous les statisticiens de l’Institut national de la statistique et des études économiques (Insee) et du service de la statistique publique. Je m’appuie pour cela sur mon expérience professionnelle et tout particulièrement sur les quatre années (1992-1996) que j’ai passées à ses côtés au sein de l’Unité Méthodes Statistiques et des échanges que nous avons eus ensuite, en particulier dans les années 2000 sur le recensement en continu.

Jean‑Claude Deville compte parmi les plus éminents chercheurs dans la théorie et la pratique des sondages. Ses travaux sur l’échantillonnage équilibré, l’échantillonnage indirect et le calage en particulier sont reconnus au niveau international et largement utilisés en statistique officielle. Il est également pionnier dans le domaine de l’analyse statistique des données fonctionnelles. Le présent article nous donne l’occasion de reconnaître l’immense travail qu’il a accompli, et de lui rendre hommage. Dans la première partie, nous évoquons brièvement la contribution de Jean-Claude à l’analyse statistique en composantes principales fonctionnelles. Nous détaillons également certaines extensions récentes de ses travaux au croisement des domaines de l’analyse statistique des données fonctionnelles et de la théorie des sondages. Dans la seconde partie, nous présentons une extension de son travail dans le domaine de l’échantillonnage indirect. Ces résultats de recherche sont motivés par des applications concrètes et illustrent l’influence de Jean‑Claude sur notre travail de chercheuses.

Au cours des dernières décennies, de nombreuses façons différentes d’utiliser l’information auxiliaire ont enrichi la théorie et la pratique de l’échantillonnage. Jean-Claude Deville a contribué de manière importante à ces progrès. Mes commentaires permettent de retracer certaines des étapes qui ont conduit à une théorie importante pour l’utilisation de l’information auxiliaire : l’estimation par calage.

Le présent article permet d’examiner des plans d’échantillonnage pour les populations qui peuvent être représentées sous forme de matrice $N\times M.$ Par exemple, pour l’étude des activités touristiques, les lignes peuvent représenter les endroits visités par les touristes et les colonnes, les jours pendant la saison touristique. L’objectif est d’échantillonner les cellules $\mathrm{<mo\; stretchy="false">(</mo>}i\mathrm{,}j\mathrm{<mo\; stretchy="false">)</mo>}$ de la matrice lorsque le nombre de sélections dans chaque ligne et chaque colonne est a priori fixe. La taille d’échantillon de la $i^{\text{e}}$ ligne représente le nombre de cellules sélectionnées dans la ligne $i,$ tandis que la taille d’échantillon de la $j^{\text{e}}$ colonne correspond au nombre de cellules sélectionnées dans la colonne $j.$ Un plan d’échantillonnage matriciel donne une matrice d’indicateurs d’échantillon $N\times M,$ avec l’entrée 1 à la position $\mathrm{<mo\; stretchy="false">(</mo>}i\mathrm{,}j\mathrm{<mo\; stretchy="false">)</mo>}$ si la cellule $\mathrm{<mo\; stretchy="false">(</mo>}i\mathrm{,}j\mathrm{<mo\; stretchy="false">)</mo>}$ est échantillonnée, et 0 autrement. Le premier plan d’échantillonnage matriciel étudié comporte un niveau d’échantillonnage et les tailles d’échantillon des lignes et des colonnes sont établies à l’avance : les tailles d’échantillon des lignes peuvent varier, tandis que les tailles d’échantillon des colonnes sont toutes identiques. Nous pouvons considérer les marges fixes comme des contraintes d’équilibrage et nous examinons les algorithmes possibles pour la sélection de ces échantillons. Nous abordons ensuite un nouvel estimateur de variance de l’estimateur de Horvitz-Thompson pour la moyenne de la variable d’enquête $y.$ Plusieurs niveaux d’échantillonnage peuvent être requis pour tenir compte de toutes les contraintes, ce qui nécessite des plans d’échantillonnage matriciel à plusieurs niveaux, que nous étudions également.

Les méthodes de coordination d’échantillons visent à augmenter (dans une coordination positive) ou à diminuer (dans une coordination négative) la taille du chevauchement entre les échantillons. Les échantillons pris en compte peuvent être tirés à différentes périodes d’une enquête répétée ou de différentes enquêtes portant sur une population commune. La coordination négative est utilisée pour contrôler le fardeau de réponse au cours d’une période donnée, car certaines unités ne répondent pas aux questionnaires d’enquête si elles sont sélectionnées dans de nombreux échantillons. Habituellement, les méthodes de coordination d’échantillons ne tiennent pas compte des mesures du fardeau de réponse qu’une unité a déjà supporté pour répondre à des enquêtes précédentes. Nous ajoutons une telle mesure dans une nouvelle méthode en adaptant un schéma d’échantillonnage spatialement équilibré basé sur une généralisation de l’échantillonnage de Poisson, de concert avec une méthode de coordination négative. Le but est de créer un double contrôle du fardeau pour ces unités : en utilisant une mesure du fardeau pendant le processus d’échantillonnage et en utilisant une méthode de coordination négative. Nous évaluons l’approche au moyen d’une simulation de Monte Carlo et examinons son utilisation aux fins de contrôle pour la sélection de « points chauds » dans les enquêtes-entreprises à Statistique Pays-Bas.

Dans le présent article, nous examinons la façon dont une grande base de données non probabiliste peut servir à améliorer des estimations de totaux de population finie d’un petit échantillon probabiliste grâce aux techniques d’intégration de données. Dans le cas où la variable d’intérêt est observée dans les deux sources de données, Kim et Tam (2021) ont proposé deux estimateurs convergents par rapport au plan de sondage qui peuvent être justifiés par la théorie des enquêtes à double base de sondage. D’abord, nous posons des conditions garantissant que les estimateurs en question seront plus efficaces que l’estimateur de Horvitz-Thompson lorsque l’échantillon probabiliste est sélectionné par échantillonnage de Poisson ou par échantillonnage aléatoire simple sans remise. Ensuite, nous étudions la famille des prédicteurs QR proposée par Särndal et Wright (1984) pour le cas moins courant où la base de données non probabiliste ne contient pas la variable d’intérêt, mais des variables auxiliaires. Une autre exigence est que la base non probabiliste soit vaste et puisse être couplée avec l’échantillon probabiliste. Les conditions que nous posons font que le prédicteur QR est asymptotiquement sans biais par rapport au plan de sondage. Nous calculons sa variance asymptotique sous le plan de sondage et présentons un estimateur de variance convergent par rapport au plan de sondage. Nous comparons les propriétés par rapport au plan de sondage de différents prédicteurs de la famille des prédicteurs QR dans une étude par simulation. La famille comprend un prédicteur fondé sur un modèle, un estimateur assisté par un modèle et un estimateur cosmétique. Dans nos scénarios de simulation, l’estimateur cosmétique a donné des résultats légèrement supérieurs à ceux de l’estimateur assisté par un modèle. Nos constatations sont confirmées par une application aux données de La Poste, laquelle illustre par ailleurs que les propriétés de l’estimateur cosmétique sont conservées indépendamment de l’échantillon non probabiliste observé.

Dans cet article, nous utilisons une version légèrement simplifiée de la méthode de Fickus, Mixon et Poteet (2013) pour définir une paramétrisation maniable des noyaux des plans de sondages déterminantaux à probabilités d’inclusion simple fixées. Pour des valeurs spécifiques du paramètre multidimensionnel, nous retrouvons une matrice de la famille $P^{\Pi }$ de Loonis et Mary (2019). Nous conjecturons que, parmi les plans déterminantaux à probabilités d’inclusion fixées la variance minimale de l’estimateur d’Horvitz et Thompson (1952) d’une variable d’intérêt, s’exprime en fonction de $P^{\Pi }.$ Nous mettons à disposition des programmes R expérimentaux facilitant l’appropriation de différentes notions présentées dans l’article, et dont certaines sont qualifiées de non-triviales par Fickus et coll. (2013). Une version longue de cet article, contenant les démonstrations et une présentation plus détaillée des plans déterminantaux, est également mise à disposition.

La prédiction conforme est une méthode allégée en hypothèses servant à générer des intervalles ou des ensembles de prédiction sans distribution, pour des modèles prédictifs presque arbitraires, avec une couverture d’échantillon fini garantie. Les méthodes conformes sont un sujet de recherche dynamique en statistique et en apprentissage automatique, mais ce n’est que récemment qu’elles ont été étendues aux données non échangeables. Dans le présent article, nous invitons les méthodologistes d’enquête à commencer à utiliser des méthodes conformes et à y contribuer. Nous introduisons la façon dont la prédiction conforme peut être appliquée à des données provenant de plusieurs plans de sondage complexes courants dans un cadre d’inférence fondée sur le plan pour une population finie, et nous faisons ressortir des lacunes où les méthodologistes d’enquête pourraient appliquer leur expertise de façon fructueuse. Nos simulations confirment empiriquement les garanties théoriques de la couverture d’échantillon fini, et notre exemple de données réelles démontre la façon dont la prédiction conforme peut être appliquée aux données d’enquêtes-échantillons complexes.

Les spécialistes de la recherche sur les enquêtes se tournent de plus en plus vers la collecte multimodale de données pour composer avec la baisse des taux de réponse aux enquêtes et l’augmentation des coûts. Une approche efficace propose des modes de collecte moins coûteux (par exemple sur le Web) suivis d’un mode plus coûteux pour un sous-échantillon des unités (par exemple les ménages) dans chaque unité primaire d’échantillonnage (UPE). Nous présentons deux solutions de rechange à cette conception classique. La première consiste à sous-échantillonner les UPE plutôt que les unités pour limiter les coûts. La seconde est un plan hybride qui comprend un échantillon (à deux degrés) par grappes et un échantillon indépendant sans mise en grappes. À l’aide d’une simulation, nous démontrons que le plan hybride comporte des avantages considérables.

Le sous-dénombrement de la population est un des principaux obstacles avec lesquels il faut composer lors de l’analyse statistique d’échantillons d’enquête non probabilistes. Nous considérons dans le présent article deux scénarios types de sous-dénombrement, à savoir le sous-dénombrement stochastique et le sous-dénombrement déterministe. Nous soutenons que l’on peut appliquer directement les méthodes d’estimation existantes selon l’hypothèse de positivité sur les scores de propension (c’est‑à‑dire les probabilités de participation) pour traiter le scénario de sous-dénombrement stochastique. Nous étudions des stratégies visant à atténuer les biais lors de l’estimation de la moyenne de la population cible selon le sous-dénombrement déterministe. Plus précisément, nous examinons une méthode de population fractionnée (split-population method) fondée sur une formulation d’enveloppe convexe et nous construisons des estimateurs menant à des biais réduits. Un estimateur doublement robuste peut être construit si un sous-échantillon de suivi de l’enquête probabiliste de référence comportant des mesures sur la variable étudiée devient réalisable. Le rendement de six estimateurs concurrents est examiné au moyen d’une étude par simulations, et des questions nécessitant un examen plus approfondi sont brièvement abordées.

Nous présentons une nouvelle méthodologie pour réconcilier des estimations des totaux des superficies cultivées au niveau du comté à un total prédéfini au niveau de l’État soumis à des contraintes d’inégalité et à des variances aléatoires dans le modèle de Fay-Herriot. Pour la superficie ensemencée du National Agricultural Statistics Service (NASS), un organisme du ministère de l’Agriculture des États-Unis (USDA), il est nécessaire d’intégrer la contrainte selon laquelle les totaux estimés, dérivés de données d’enquête et d’autres données auxiliaires, ne sont pas inférieurs aux totaux administratifs de la superficie ensemencée préenregistrés par d’autres organismes du USDA, à l’exception de NASS. Ces totaux administratifs sont considérés comme fixes et connus, et cette exigence de cohérence supplémentaire ajoute à la complexité de la réconciliation des estimations au niveau du comté. Une analyse entièrement bayésienne du modèle de Fay-Herriot offre un moyen intéressant d’intégrer les contraintes d’inégalité et de réconciliation et de quantifier les incertitudes qui en résultent, mais l’échantillonnage à partir des densités a posteriori comprend une intégration difficile; des approximations raisonnables doivent être faites. Tout d’abord, nous décrivons un modèle à rétrécissement unique, qui rétrécit les moyennes lorsque l’on suppose que les variances sont connues. Ensuite, nous élargissons ce modèle pour tenir compte du rétrécissement double par l’emprunt d’information dans les moyennes et les variances. Ce modèle élargi comporte deux sources de variation supplémentaire; toutefois, comme nous rétrécissons à la fois les moyennes et les variances, ce second modèle devrait avoir un meilleur rendement sur le plan de la qualité de l’ajustement (fiabilité) et, possiblement, sur le plan de la précision. Les calculs sont difficiles pour les deux modèles, qui sont appliqués à des ensembles de données simulées dont les propriétés ressemblent à celles des cultures de maïs de l’Illinois.

Nous étudions la prédiction sur petits domaines des paramètres généraux à partir de deux modèles pour les dénombrements au niveau de l’unité. Nous construisons des prédicteurs de paramètres, comme les quartiles, qui peuvent être des fonctions non linéaires de la variable réponse du modèle. Nous élaborons d’abord une procédure pour construire les meilleurs prédicteurs empiriques et les estimateurs de l’erreur quadratique moyenne des paramètres généraux dans un modèle Gamma-Poisson au niveau de l’unité. Nous utilisons ensuite un algorithme de rééchantillonnage préférentiel pour élaborer des prédicteurs pour un modèle linéaire mixte généralisé (MLMG) avec une distribution de la réponse de Poisson. Nous comparons les deux modèles au moyen d’une simulation et d’une analyse des données de l’Iowa Seat-Belt Use Survey (une enquête sur l’utilisation de la ceinture de sécurité dans l’État de l’Iowa).

Il est essentiel de pouvoir quantifier l’exactitude (biais, variance) des résultats publiés dans les statistiques officielles. Dans ces dernières, les résultats sont presque toujours divisés en sous-populations selon une variable de classification, comme le revenu moyen par catégorie de niveau de scolarité. Ces résultats sont également appelés « statistiques de domaine ». Dans le présent article, nous nous limitons aux variables de classification binaire. En pratique, des erreurs de classification se produisent et contribuent au biais et à la variance des statistiques de domaine. Les méthodes analytiques et numériques servant actuellement à estimer cet effet présentent deux inconvénients. Le premier inconvénient est qu’elles exigent que les probabilités de classification erronée soient connues au préalable et le deuxième est que les estimations du biais et de la variance sont elles-mêmes biaisées. Dans le présent article, nous présentons une nouvelle méthode, un modèle de mélange gaussien estimé par un algorithme espérance-maximisation (EM) combiné à un bootstrap, appelé « méthode bootstrap EM ». Cette nouvelle méthode n’exige pas que les probabilités de classification erronée soient connues au préalable, bien qu’elle soit plus efficace quand on utilise un petit échantillon de vérification qui donne une valeur de départ pour les probabilités de classification erronée dans l’algorithme EM. Nous avons comparé le rendement de la nouvelle méthode et celui des méthodes numériques actuellement disponibles, à savoir la méthode bootstrap et la méthode SIMEX. Des études antérieures ont démontré que pour les paramètres non linéaires, le bootstrap donne de meilleurs résultats que les expressions analytiques. Pour presque toutes les conditions mises à l’essai, les estimations du biais et de la variance obtenues par la méthode bootstrap EM sont plus proches de leurs vraies valeurs que celles obtenues par les méthodes bootstrap et SIMEX. Nous terminons l’article par une discussion sur les résultats et d’éventuels prolongements de la méthode.

Lorsqu’un fournisseur de soins de santé de Medicare est soupçonné de fraude liée à la facturation, on isole une population de paiements $X$ versés à ce fournisseur sur une certaine période. Un examinateur médical agréé peut, dans un long processus, établir le trop-payé $Y\mathrm{<mo>=</mo>}X-$ (montant justifié par la preuve) pour chaque paiement. En temps normal, il y aura trop de paiements dans une population pour que chacun soit examiné avec soin, aussi prélève-t-on un échantillon probabiliste. Les trop-payés de cet échantillon servent alors à calculer une borne inférieure de l’intervalle de confiance de 90 % pour le trop-payé total de cette population. La borne correspond au montant exigé en recouvrement auprès du fournisseur. Malheureusement, les méthodes classiques de calcul de cette borne ne permettent parfois pas de dégager le niveau de confiance de 90 %, plus particulièrement lorsqu’on utilise un échantillon stratifié.

Dans le présent document, nous présentons et décrivons 166 échantillons épurés tirés des enquêtes au sujet de l’intégrité de Medicare qui comportent 156 populations de paiements correspondantes. Les 7 588 paires échantillonnées $\left(Y\mathrm{,}X\right)$ indiquent 1) que les vérifications réalisées au sein de Medicare affichent des taux d’erreur élevés : plus de 76 % des paiements en question sont considérés comme étant des erreurs. Elles indiquent aussi 2) que les configurations de ces échantillons vont dans le sens d’un modèle de mélange « tout ou rien » pour $\left(Y\mathrm{,}X\right)$ qui est déjà défini dans les études spécialisées. Nous analysons des procédures de test de Monte Carlo fondées sur un modèle pour les plans de sondage de Medicare, ainsi que des méthodes de stratification fondées sur les moments anticipés du modèle. Pour la viabilité (atteinte d’un niveau de confiance de 90 %), nous définissons dans le présent article une nouvelle méthode de stratification qui rivalise avec les meilleures parmi de nombreuses méthodes existantes et qui semble moins sensible au choix de paramètres d’exploitation. Pour ce qui est du recouvrement des trop-payés (ce qui équivaut à une mesure de la précision), la nouvelle méthode se compare aussi aux meilleures parmi les nombreuses méthodes expérimentées. Malheureusement, aucun algorithme de stratification mis à l’essai ne s’est révélé viable pour plus de la moitié environ des 104 populations visées par l’essai.