Techniques d’enquête

À l’ère des mégadonnées, les enquêtes non probabilistes sont de plus en plus nombreuses. Les techniques d’intégration de données faisant appel à la fois à des enquêtes probabilistes et non probabilistes sont largement utilisées afin d’obtenir de meilleures estimations pour des populations finies. Alors que la majorité des travaux de recherche existants ont porté sur la réduction du biais de sélection dans les enquêtes non probabilistes, la question de l’erreur de mesure dans ces enquêtes demeure relativement peu étudiée. Les méthodes statistiques visant à atténuer le biais de sélection ne permettent une estimation fiable que si l’on part du principe que les réponses aux enquêtes sont exactes. Motivée par une étude de cas récente de Kennedy, Mercer et Lau (2024), notre étude aborde le biais découlant à la fois des erreurs de mesure et des erreurs d’échantillonnage dans les enquêtes non probabilistes. Dans le présent article, nous proposons une nouvelle méthode d’intégration de données qui fait appel à plusieurs enquêtes probabilistes et non probabilistes et s’appuie sur des modèles d’apprentissage automatique pour construire un estimateur composite. L’estimateur composite proposé intègre les enquêtes probabilistes et non probabilistes lorsque les deux types d’enquêtes contiennent des variables réponses d’intérêt. Nous analysons le rendement de cet estimateur, par rapport à un estimateur composite existant dans la littérature, tant sur le plan analytique qu’empirique, à l’aide de données provenant de plusieurs enquêtes de Kennedy et coll. (2024). Enfin, nous déterminons les conditions dans lesquelles l’estimateur proposé donne de meilleurs résultats que les estimateurs fondés uniquement sur des enquêtes probabilistes.

Nous proposons des estimateurs sur petits domaines d’indicateurs généraux pour les années intercensitaires, qui permettent d’éviter l’utilisation de microdonnées de recensement désuètes, tout en étant presque optimaux lors des années de recensement. La procédure consiste à remplacer le fichier de recensement désuet par une enquête au niveau des unités, à plus grande échelle, qui couvre adéquatement les domaines d’intérêt et contient les valeurs des variables auxiliaires pertinentes. Toutefois, l’exigence minimale en matière de données de la méthode proposée se limite à une seule enquête contenant des microdonnées sur la variable cible et les variables auxiliaires appropriées pour la période visée. Nous élaborons également un estimateur de l’erreur quadratique moyenne (EQM) qui tient compte de l’incertitude attribuable à l’enquête à grande échelle utilisée pour remplacer le recensement d’information auxiliaire. Nos résultats empiriques indiquent que les prédicteurs proposés ont nettement un meilleur rendement que les prédicteurs de substitution lorsque les données du recensement sont désuètes et qu’ils sont très proches des prédicteurs optimaux lorsque les données du recensement sont corrects. Par ailleurs, ils montrent que l’estimateur proposé de l’EQM totale corrige le biais des estimateurs de l’EQM purement fondés sur des modèles, qui ne tiennent pas compte de l’incertitude associée à l’enquête à grande échelle.

Nous construisons une méthode bayésienne hybride, comprenant un mécanisme de confidentialité différentielle, pour masquer les totaux de comtés du recensement pour un État des États-Unis concernant la superficie d’un produit agricole. Nous utilisons des substituts aux données recueillies au niveau des exploitations agricoles dans le cadre d’un précédent recensement de l’agriculture aux États-Unis pour illustrer notre procédure. Nous utilisons deux modèles bayésiens pour petits domaines (modèle paramétrique et modèle de mélange) afin de tenir compte des comtés de petite taille comportant peu d’exploitations ainsi que de certains comtés de grande superficie. Dans ces modèles, la distribution de Laplace fournit un mécanisme de confidentialité différentielle. Au stade du prétraitement, nous incorporons également les poids du recensement pour former la superficie totale observée, un facteur d’échelle du mécanisme de Laplace pour chaque comté, une transformation par la racine carrée de la superficie totale observée pour éviter des estimations masquées négatives, en particulier pour les petits comtés, ainsi que la règle du pourcentage p et la règle du maximum de trois pour répartir les comtés en comtés supprimés, en comtés non sensibles et en comtés sensibles. En raison des difficultés liées à la spécification et à l’ajustement du budget de confidentialité (un paramètre inconnu), afin d’assurer un équilibre entre la sécurité et l’utilité, nous précisons une distribution a priori pour le budget de confidentialité, où les valeurs ne sont pas précisées, et utilisons l’échantillonneur de Gibbs pour ajuster les modèles hiérarchiques bayésiens. Au stade du post-traitement, nous recourons à l’inférence prédictive bayésienne pour obtenir la superficie masquée des comtés, ce qui comprend un étalonnage afin que le total masqué de l’État corresponde au total observé de l’État. Comme mesure de fiabilité de la procédure bayésienne, nous utilisons les coefficients de variation a posteriori pour les moyennes a posteriori masquées des comtés. Comme mesure d’utilité, nous utilisons les erreurs relatives absolues pour chaque comté, ainsi que d’autres mesures globales. Pour les comtés sensibles, on observe certaines différences entre les deux modèles pour petits domaines, mais les deux sont nettement supérieurs à un modèle pour domaine individuel; le modèle de mélange constitue le meilleur compromis entre la sécurité et l’utilité.

Sauf dans le cas d’un échantillonnage à deux phases, l’approximation classique de la variance de l’estimateur par la régression généralisée (estimateur GREG) part de l’hypothèse selon laquelle les totaux de population utilisés dans le système de pondération sont observés sans erreur. Si le modèle de pondération de l’estimateur GREG contient des totaux de population observés soumis à des sources d’erreur de mesure autres que l’erreur d’échantillonnage des estimations de première phase, cette incertitude sera alors ignorée par l’approximation de la variance de l’estimateur GREG. Le présent article propose, pour l’estimateur GREG, une approximation de la variance qui tient compte de l’incertitude supplémentaire résultant de l’erreur de mesure dans un ou plusieurs des totaux de population utilisés dans le système de pondération. Cette approche a été mise au point pour l’Enquête sur la population active aux Pays-Bas (EPAP) et y est appliquée. Les publications mensuelles de l’EPAP sont obtenues à l’aide d’un modèle de séries chronologiques qui corrige le biais de groupe de renouvellement ainsi que les discontinuités causées par d’importants remaniements et l’impossibilité d’effectuer des interviews sur place pendant la COVID-19. Les estimations par la régression généralisée des chiffres trimestriels sont étalonnées par rapport à la moyenne des publications mensuelles afin d’assurer une uniformité numérique entre les tableaux des publications mensuelles et trimestrielles. L’approximation classique de la variance de l’estimateur GREG part de l’hypothèse selon laquelle ces totaux de population sont observés sans erreur. Il en découle une sous-estimation de la variance de l’estimateur GREG. L’approximation de la variance proposée dans l’article aboutit à des erreurs-types plus réalistes pour les estimations trimestrielles par la régression généralisée.

La combinaison d’estimations provenant d’enquêtes indépendantes au moyen de poids fondés sur l’inverse de la variance peut entraîner un biais négatif lorsque des variances inconnues sont estimées et que la variable cible est non négative et positivement asymétrique. Dans de tels cas, de fortes corrélations positives apparaissent généralement entre les estimateurs et leurs estimateurs de variance correspondants, ce qui fait en sorte que les combinaisons linéaires standard comptant des poids fondés sur l’inverse de la variance présentent un biais négatif. Nous proposons une méthode remarquablement simple pour réduire ce biais : remplacer le poids standard par le ratio entre l’estimateur et l’estimateur de variance. Selon un modèle linéaire reliant les deux, nous montrons que le nouvel estimateur pondéré par le ratio est approximativement sans biais, alors que la combinaison classique fondée sur l’inverse de la variance présente un biais vers le bas. Au moyen de simulations, nous démontrons que la nouvelle méthode rapproche le biais et l’erreur quadratique moyenne de ce qui est optimal pour un large éventail de variables cibles différentes. Comme notre méthode repose uniquement sur des statistiques sommaires couramment publiées, elle peut être adoptée immédiatement pour réduire ce biais largement répandu et améliorer la fiabilité des résultats scientifiques dans divers domaines.

La présente étude propose une méthode novatrice et intuitive d’échantillonnage de population finie, élaborée à partir d’un cadre graphique original. Dans cette approche, les probabilités d’inclusion de premier ordre sont représentées sous forme de barres sur un graphique bidimensionnel. En changeant la position de ces barres, les chercheurs peuvent générer un large éventail de plans d’échantillonnage différents. Cette visualisation graphique des plans d’échantillonnage facilite l’exploration d’autres plans et peut simplifier certains aspects de la mise en œuvre par rapport aux algorithmes mathématiques traditionnels. Cette approche novatrice présente un potentiel important pour relever des défis complexes en matière d’échantillonnage, comme l’atteinte d’un plan optimal. L’application d’une version de l’algorithme de recherche glouton du meilleur à prime abord à cette approche graphique illustre le potentiel d’intégration d’algorithmes intelligents à l’échantillonnage de population finie.

Les instituts nationaux de statistique exploitent des systèmes de coordination d’échantillons pour répartir le fardeau de réponse dans les enquêtes-entreprises. Malgré la coordination d’échantillons appliquée et la surveillance du fardeau de réponse, certaines entreprises pourraient tout de même être grandement échantillonnées dans une courte période. Cela pourrait entraîner une pointe du fardeau de réponse pour certaines entreprises, ce qui influerait sur les taux de réponse et la qualité des réponses. Dans le présent article, on propose une nouvelle méthode de coordination d’échantillons fondée sur l’échantillonnage de Poisson spatialement corrélé adapté et visant les entreprises ayant un lourd fardeau de réponse. Les effets sur le fardeau de réponse sont évalués dans deux études par simulation et sont comparés à ceux d’une approche stratifiée, d’une méthode pragmatique dans laquelle les fractions d’échantillonnage sont ajustées manuellement et d’une méthode de référence qui ignore le fardeau de réponse. Les simulations sont réalisées à partir de scénarios concrets et de données de Statistique Pays-Bas. La première étude par simulation se rapporte à une situation pratique dans laquelle un échantillon donné est ajusté dans le but d’éviter l’échantillonnage des entreprises dont le fardeau de réponse est à son point culminant. La seconde étude par simulation vise à analyser les effets à plus long terme des différentes méthodes de coordination d’échantillons et est axée sur la réduction et la répartition du fardeau de réponse. Les avantages et les inconvénients des différentes méthodes sont expliqués et exposés en détail, puis des recommandations sur l’application de ces méthodes par les instituts nationaux de statistique et d’autres organismes d’enquête sont formulées.

Nous présentons un cadre général pour la construction d’échantillons maîtres qui préservent les propriétés de plan de sondage souhaitables pour tous les panels. La procédure de base consiste à ordonner un échantillon probabiliste initial. La séquence finale devant être robuste à un renouvellement aléatoire uniforme, nous définissons et minimisons une fonction objectif qui agrège le rendement au niveau des panels pour tous les panels circulaires possibles. Un renouvellement aléatoire final est appliqué pour assurer la validité du plan de sondage. Le cadre est souple quant au choix des critères de plan, comme l’équilibre spatial ou marginal, et peut être mis en œuvre efficacement à l’aide de la méthode du recuit simulé pour obtenir des solutions approximatives de grande qualité. Par sa conception, l’approche permet une coordination d’échantillons à la fois positive et négative pour des échantillons spatialement équilibrés, marginalement équilibrés et doublement équilibrés. La polyvalence de la méthode est démontrée par trois applications : la construction d’un échantillon maître comportant des panels spatialement équilibrés, des panels marginalement équilibrés et des panels doublement équilibrés.

La construction d’intervalles de confiance s’appuie très souvent sur une loi de probabilité qui utilise un certain nombre de degrés de liberté comme paramètre. C’est le cas des intervalles de confiance de Student et de Wilson modifié, dont il sera question dans cet article, qui font appel aux quantiles de la distribution de Student dont le nombre de degrés de liberté est généralement inconnu. Pour que la longueur d’un intervalle de confiance soit représentative de la fiabilité d’une estimation, il est essentiel que le taux de couverture réel corresponde au taux nominal. À cette fin, le nombre de degrés de liberté de la distribution de probabilité utilisé en pratique pour calculer l’intervalle de confiance doit être estimé avec la plus grande précision possible. Une règle approximative est souvent employée, bien qu’elle tende à surestimer le nombre réel de degrés de liberté. Dans cet article, une version plus précise des degrés de liberté, issue de l’approximation de Satterthwaite, est obtenue dans le contexte du recensement canadien de la population. Le plan de sondage est équivalent à un plan aléatoire simple sans remise, stratifié en grappes, et la méthode d’estimation de la variance est une adaptation de la méthode des demi-échantillons équilibrés. Une expression explicite des degrés de liberté est obtenue dans ces conditions, permettant d’identifier les facteurs qui les influencent. À titre de comparaison, la formule des degrés de liberté est également établie pour l’estimateur classique de la variance. Une étude par simulations montre que l’utilisation de cette version des degrés de liberté permet de corriger le problème de sous-couverture observé avec la règle approximative, soulignant l’importance de l’évaluation précise de ce nombre.

Nous mettons à l’essai la notion selon laquelle une méthode quasi probabiliste de sélection des personnes au sein des ménages (méthode du dernier anniversaire) produit un échantillon différent par rapport à une méthode non probabiliste qui consiste à sélectionner les répondants en fonction de paramètres connus d’âge et de genre (méthode d’appariement fréquentiste). À partir des données d’une expérience sur le terrain initiale, nous évaluons l’efficacité du travail sur le terrain (temps requis et cas terminés), le coût, la capacité à recruter un échantillon représentatif, ainsi que les différences observées pour un ensemble de mesures attitudinales et comportementales. Nous constatons que l’approche d’appariement fréquentiste donne de meilleurs résultats en matière d’efficacité et de coût et fournit un échantillon comparable; surtout, cette comparabilité s’étend à l’ensemble des mesures des traits de personnalité et de l’opinion publique. Sous certaines réserves appropriées, nous concluons que le choix des méthodes de sélection par les chercheurs devrait être orienté à la fois par des avantages théoriques et des compromis pratiques.

L’échantillonnage avec probabilité proportionnelle à la taille est largement utilisé par les organismes nationaux de statistique. Dans leur cas, les unités de la population sont sélectionnées avec des probabilités proportionnelles à une variable auxiliaire. Les formules de variance dans ce genre de plan requièrent à la fois des probabilités d’inclusion de premier et de deuxième ordre. Le calcul des probabilités d’inclusion de deuxième ordre est particulièrement difficile pour les grandes populations et a fait l’objet de nombreuses études. Le présent article expose de nouvelles formules exactes et d’approximation pour les probabilités d’inclusion de deuxième ordre dans l’échantillonnage systématique randomisé avec probabilités inégales et sans remise.

Habituellement, il manque des valeurs dans les données d’enquête en raison de la non-réponse totale et partielle. Parfois, les organismes d’enquête connaissent les distributions marginales de certaines variables catégoriques dans la population visée. Comme l’ont démontré des travaux antérieurs, les organismes d’enquête peuvent tirer profit de ces distributions dans une imputation multiple pour la non-réponse totale non ignorable, en générant des imputations qui donnent lieu à des estimations plausibles à partir de données complètes pour les variables dont les marges sont connues. Cependant, ces travaux antérieurs ne font pas appel aux poids de sondage pour les unités non répondantes. Nous prolongeons ces travaux antérieurs pour utiliser les poids de sondage pour toutes les unités échantillonnées. Nous illustrons l’approche à l’aide d’études par simulation.

Wayne A. Fuller est une figure importante de la statistique qui a commencé sa carrière à l’Iowa State University (ISU) en 1959; il est désormais professeur émérite distingué en statistique et en économie. Le présent article relate brièvement le début de sa vie et sa formation en économie agricole à l’ISU, et souligne ses contributions influentes dans les domaines de l’analyse de séries chronologiques, des modèles d’erreurs de mesure et de l’échantillonnage. On y aborde son influence, découlant de manuels de référence, d’avancées méthodologiques, comme le test de Dickey-Fuller et l’estimation par régression, de travaux soutenus dans le cadre d’enquêtes opérationnelles d’envergure (par exemple le National Resources Inventory) et du mentorat de nombreux étudiants au cycle supérieur. L’article comprend une entrevue réalisée le 20 mai 2025 à la résidence du professeur Fuller.