Techniques d’enquête

Cet article est une introduction au numéro spécial sur l’utilisation d’échantillons non probabilistes comprenant trois articles présentés lors de la 29^e conférence Morris Hansen par Courtney Kennedy, Yan Li et Jean-François Beaumont.

Les méthodes statistiques élaborées pour les échantillons non probabilistes sont généralement axées sur la sélection non aléatoire comme principale raison pour laquelle les répondants à l’enquête peuvent différer systématiquement de la population cible. Selon une théorie bien établie, dans ces cas, si elle est conditionnée sur des variables auxiliaires nécessaires, la sélection peut devenir ignorable et les estimations d’enquête sont alors sans biais. Toutefois, cette logique repose sur l’hypothèse selon laquelle l’erreur de mesure est inexistante ou faible. Dans la présente étude, nous testons cette hypothèse de deux façons. Premièrement, nous utilisons une vaste étude d’étalonnage qui permet de déterminer les sous-groupes pour lesquels les erreurs dans les échantillons d’enquêtes non probabilistes menées en ligne à des fins commerciales sont particulièrement grandes d’une manière improbable en raison des effets de sélection. Nous présentons ensuite une étude de suivi qui porte sur une des causes des grandes erreurs : les fausses réponses (c’est‑à‑dire les réponses d’enquête qui sont frauduleuses, malveillantes ou non sincères d’une autre manière). Nous constatons que les fausses réponses, en particulier chez les répondants qui déclarent être jeunes ou d’origine hispanique, constituent un problème important et répandu dans les échantillons d’enquêtes non probabilistes menées en ligne à des fins commerciales, du moins aux États-Unis. La présente étude met en évidence la nécessité pour les statisticiens utilisant des échantillons non probabilistes établis à des fins commerciales de traiter les fausses réponses et les questions de représentativité, et pas uniquement ces dernières.

Devenue populaire pour certains types de projets de recherche par enquête, l’utilisation d’échantillons non probabilistes est rapide et peu coûteuse. Kennedy, Mercer et Lau examinent certains problèmes de qualité des données associés aux échantillons non probabilistes des panels volontaires, un type d’échantillon fréquemment utilisé aux États-Unis. Les auteurs montrent que les estimations obtenues à partir de ces échantillons posent de graves problèmes qui vont au-delà de la représentativité. Afin de bien évaluer tous les types d’enquêtes qui existent, il est important d’adopter le point de vue de l’erreur d’enquête totale.

Kennedy, Mercer et Lau étudient la question des erreurs de déclaration faites par les répondants dans les échantillons non probabilistes et, ce faisant, mettent au jour un nouvel aspect, à savoir les erreurs volontaires de déclaration en ce qui concerne des caractéristiques démographiques. Ce constat laisse à penser que le bras de fer auquel on assiste entre les chercheurs et les personnes déterminées à nuire à la pratique des sciences sociales se poursuit. Les chercheurs doivent donc tenir compte de ces personnes lorsqu’ils utilisent des enquêtes probabilistes de grande qualité pour réduire les erreurs dans les échantillons non probabilistes.

La présente analyse résume les nouvelles constatations intéressantes de Kennedy, Mercer et Lau (KML) sur les erreurs de mesure dans les enquêtes à participation volontaire. Alors que KML éclairent les lecteurs au sujet des « fausses réponses » et des tendances qui peuvent s’y rattacher, cette analyse propose de combiner ces nouveaux résultats avec d’autres pistes de recherche sur l’échantillonnage non probabiliste, comme l’amélioration de la représentativité.

Nos commentaires répondent aux points de discussion soulevés par Sen, Brick et Elliott. Nous évaluons les avantages et les inconvénients potentiels de la suggestion de Sen de recourir à l’apprentissage automatique pour repérer les faux répondants au moyen d’interactions et de combinaisons improbables de variables. Nous rejoignons la réflexion de Brick sur l’incidence des faux répondants sur les enquêtes non probabilistes menées à des fins commerciales. Enfin, nous examinons les solutions proposées par Elliott pour relever le défi exposé dans notre étude.

Des échantillons non probabilistes émergent rapidement pour aborder des sujets prioritaires urgents dans différents domaines. Ces données sont actuelles, mais sujettes à un biais de sélection. Afin de réduire le biais de sélection, une littérature abondante portant sur la recherche sur les enquêtes a étudié l’utilisation de méthodes d’ajustement par le score de propension (SP) pour améliorer la représentativité de la population des échantillons non probabilistes, au moyen d’échantillons d’enquête probabilistes utilisés comme références externes. L’hypothèse d’échangeabilité conditionnelle (EC) est l’une des principales hypothèses requises par les méthodes d’ajustement fondées sur le SP. Dans le présent article, j’examine d’abord la validité de l’hypothèse de l’EC conditionnellement à plusieurs estimations de scores d’équilibrage qui sont utilisées dans les méthodes d’ajustement fondées sur le SP existantes. Un score d’équilibrage adaptatif est proposé aux fins d’estimation sans biais des moyennes de population. Les estimateurs de la moyenne de population selon les trois hypothèses de l’EC sont évalués au moyen d’études de simulation de Monte Carlo et illustrés au moyen de l’étude sur la séroprévalence du SRAS-CoV-2 des National Institutes of Health pour estimer la proportion d’adultes aux États-Unis qui présentaient des anticorps de la COVID-19 du 1^er avril au 4 août 2020.

La construction de pseudo-poids pour l’intégration des données peut être comprise dans le cadre de l’échantillonnage à deux phases. Au moyen du cadre d’échantillonnage à deux phases, nous abordons deux approches de l’estimation des scores de propension et mettons au point une nouvelle façon de construire la fonction de score de propension pour l’intégration des données en utilisant la méthode de maximum de vraisemblance conditionnelle. Les résultats d’une étude de simulation limitée sont aussi présentés.

Dans certains articles sur les échantillons non probabilistes, l’hypothèse de l’échangeabilité conditionnelle est jugée nécessaire pour une inférence statistique valide. Cette hypothèse repose sur une inférence causale, bien que son cadre de résultat potentiel diffère grandement de celui des échantillons non probabilistes. Nous décrivons les similitudes et les différences entre deux cadres et abordons les enjeux à prendre en considération lors de l’adoption de l’hypothèse d’échangeabilité conditionnelle dans les configurations d’échantillons non probabilistes. Nous examinons aussi le rôle de l’inférence de la population finie dans différentes approches de scores de propension et de modélisation de régression des résultats à l’égard des échantillons non probabilistes.

Dans cette réplique, je réponds aux commentaires des participants à l’analyse, M. Takumi Saegusa, M. Jae-Kwang Kim et Mme Yonghyun Kwon. Les commentaires de M. Saegusa, qui portent sur les différences entre l’hypothèse d’échangeabilité conditionnelle (EC) pour les inférences causales et l’hypothèse d’EC pour les inférences de population finie au moyen d’échantillons non probabilistes ainsi que sur la distinction entre les méthodes fondées sur le plan et celles fondées sur un modèle pour l’inférence de population finie au moyen d’échantillons non probabilistes, sont examinés et clarifiés dans le contexte de mon article. Je réponds ensuite au cadre exhaustif de M. Kim et de Mme Kwon pour classer les méthodes actuelles d’estimation des scores de propension (SP) en méthodes conditionnelles et inconditionnelles. J’étends leurs études par simulations pour varier les poids de sondage, permettre des modèles de SP incorrectement précisés, et inclure un estimateur supplémentaire, à savoir l’estimateur par la propension logistique ajustée mis à l’échelle (Wang, Valliant et Li (2021), noté sWBS). Dans mes simulations, on observe que l’estimateur sWBS dépasse de façon constante les autres estimateurs ou leur est comparable dans le modèle de SP incorrectement précisé. L’estimateur sWBS, ainsi que les estimateurs WBS ou ABS décrits dans mon article, ne supposent pas que les unités superposées dans les échantillons de référence probabiliste et non probabiliste sont négligeables, et ils n’exigent pas non plus l’identification des unités superposées, comme le nécessitent les estimateurs proposés par M. Kim et Mme Kwon.

Les organismes nationaux de statistique étudient de plus en plus la possibilité d’utiliser des échantillons non probabilistes comme solution de rechange aux échantillons probabilistes. Toutefois, il est bien connu que l’utilisation d’un échantillon non probabiliste seul peut produire des estimations présentant un biais important en raison de la nature inconnue du mécanisme de sélection sous-jacent. Il est possible de réduire le biais en intégrant les données de l’échantillon non probabiliste aux données d’un échantillon probabiliste, à condition que les deux échantillons contiennent des variables auxiliaires communes. Nous nous concentrons sur les méthodes de pondération par l’inverse de la probabilité, lesquelles consistent à modéliser la probabilité de participation à l’échantillon non probabiliste. Premièrement, nous examinons le modèle logistique ainsi que l’estimation par la méthode du pseudo maximum de vraisemblance. Nous proposons une procédure de sélection de variables en fonction d’un critère d’information d’Akaike (AIC) modifié qui tient compte de la structure des données et du plan d’échantillonnage probabiliste. Nous proposons également une méthode simple fondée sur le rang pour former des strates a posteriori homogènes. Ensuite, nous adaptons l’algorithme des arbres de classification et de régression (CART) à ce scénario d’intégration de données, tout en tenant compte, encore une fois, du plan d’échantillonnage probabiliste. Nous proposons un estimateur de la variance bootstrap qui tient compte de deux sources de variabilité : le plan d’échantillonnage probabiliste et le modèle de participation. Nos méthodes sont illustrées au moyen de données recueillies par approche participative et de données d’enquête de Statistique Canada.

Beaumont, Bosa, Brennan, Charlebois et Chu (2024) proposent des méthodes novatrices de sélection de modèles aux fins d’estimation des probabilités de participation pour des unités d’échantillonnage non probabiliste. Notre examen portera principalement sur le choix de la vraisemblance et du paramétrage du modèle, qui sont essentiels à l’efficacité des techniques proposées dans l’article. Nous examinons d’autres méthodes fondées sur la vraisemblance et la pseudo-vraisemblance pour estimer les probabilités de participation et nous présentons des simulations mettant en œuvre et comparant la sélection de variables fondée sur le critère d’information d’Akaike (AIC). Nous démontrons que, dans des scénarios pratiques importants, la méthode fondée sur une vraisemblance formulée sur les échantillons non probabiliste et probabiliste groupés qui sont observés offre un meilleur rendement que les autres solutions fondées sur la pseudo-vraisemblance. La différence de sensibilité du AIC est particulièrement grande en cas de petites tailles de l’échantillon probabiliste et de petit chevauchement dans les domaines de covariables.

Nous proposons des comparaisons entre trois méthodes paramétriques d’estimation des probabilités de participation ainsi que de brefs commentaires à propos des groupes homogènes et de la poststratification.

Inspirés par les deux excellentes discussions de notre article, nous offrons un regard nouveau et présentons de nouvelles avancées sur le problème de l’estimation des probabilités de participation pour des échantillons non probabilistes. Tout d’abord, nous proposons une amélioration de la méthode de Chen, Li et Wu (2020), fondée sur la théorie de la meilleure estimation linéaire sans biais, qui tire plus efficacement parti des données disponibles des échantillons probabiliste et non probabiliste. De plus, nous élaborons une méthode de vraisemblance de l’échantillon, dont l’idée est semblable à la méthode d’Elliott (2009), qui tient adéquatement compte du chevauchement entre les deux échantillons quand il est possible de l’identifier dans au moins un des échantillons. Nous utilisons la théorie de la meilleure prédiction linéaire sans biais pour traiter le scénario où le chevauchement est inconnu. Il est intéressant de constater que les deux méthodes que nous proposons coïncident quand le chevauchement est inconnu. Ensuite, nous montrons que de nombreuses méthodes existantes peuvent être obtenues comme cas particulier d’une fonction d’estimation sans biais générale. Enfin, nous concluons en formulant quelques commentaires sur l’estimation non paramétrique des probabilités de participation.