Programme de recherche et développement en méthodologie : réalisations, 2023-2024
3. Problèmes d’estimation dans les enquêtes
PROJET : Un estimateur en cas d’utilisation concomitante d’un effort de collecte complet et réduit sur des sous-échantillons aléatoires
Cette recherche est motivée par deux tendances importantes des dernières années, constatées à Statistique Canada et dans d’autres organismes statistiques. Premièrement, les taux de réponse aux enquêtes sociales continuent de diminuer. Deuxièmement, l’utilisation de l’autodéclaration en ligne comme mode de collecte est en hausse, en raison de sa facilité et de son coût relativement bas. Pour s’adapter à ces défis, ce projet construit un estimateur (appelé estimateur multimodal concomitant) destiné aux activités de collecte qui utilisent un suivi des cas de non-réponse moins coûteux (par exemple par la poste et par courriel) pour l’ensemble de l’échantillon en même temps qu’un suivi des cas de non-réponse plus coûteux par intervieweurs pour un sous-ensemble de non-répondants. L’utilisation concomitante de méthodes de contact moins coûteuses et de méthodes par intervieweurs rend ce projet différent des travaux antérieurs dans le cadre desquels le suivi des cas de non-réponse était effectué après une première étape d’autodéclaration (par exemple Hansen et Hurwitz, 1946 et Neusy, Beaumont, Yung, Hidiroglou et Haziza, 2022) et de l’expérience de l’Enquête nationale auprès des ménages, dans laquelle la fraction d’échantillonnage initiale était de grande taille (Beaumont, Bocci et Hidiroglou, 2014).
Progrès :
Les travaux réalisés en 2023-2024 comprenaient l’élaboration de la théorie, une étude par simulations et une application expérimentale de la méthode à l’Enquête sociale canadienne. Les travaux théoriques ont démontré que l’estimateur multimodal concomitant est sans biais avec spécification correcte du modèle pour les propensions à répondre incluses dans l’estimateur et que l’estimateur multimodal concomitant peut tirer parti des variables d’enquête des répondants pour une certaine modélisation, ce qui permet des modèles plus riches que ceux disponibles pour de nombreux ajustements pour la non-réponse aux enquêtes auprès des ménages. De plus, les simulations ont montré que, pour certaines variables semblables à celles des enquêtes auprès des ménages de Statistique Canada, la variance est plus petite et la taille effective de l’échantillon plus élevée pour l’estimateur multimodal concomitant que pour d’autres estimateurs ayant un biais comparativement faible. Les résultats donnent à penser que ces méthodes pourraient servir à réaliser des économies substantielles sans compromettre indûment la qualité des estimations.
Les résultats du projet ont été présentés au Comité consultatif sur les méthodes statistiques en mai 2024 (Mather, Boulet et Brennan, 2024) et au Congrès annuel de la Société statistique du Canada en juin 2024.
Pour obtenir plus de renseignements, veuillez communiquer avec :
Anne Mather (anne.mather@statcan.gc.ca) ou
Cilanne Boulet (cilanne.boulet@statcan.gc.ca).
Bibliographie
Beaumont, J.-F., Bocci, C. et Hidiroglou, M. (2014). On weighting late respondents when a follow-up subsample of nonrespondents is taken. Document présenté au Comité consultative sur les méthodes statistiques, 58, Statistique Canada.
Hansen, M.H., et Hurwitz, W.N. (1946). The problem of non-response in sample surveys. Journal of the American Statistical Association, 41, 517-529.
Mather, A., Boulet, C. et Brennan, A. (2024). An Estimator for Concurrent Use of Full and Reduced Collection Effort on Random Subsamples. Document présenté au Comité consultative sur les méthodes statistiques, 78, Statistique Canada.
Neusy, E., Beaumont, J.-F., Yung, W., Hidiroglou, M. et Haziza, D. (2022). Suivi de la non-réponse aux enquêtes auprès des entreprises. Techniques d’enquête, 48, 1, 103-128. Article accessible à l’adresse https://www150.statcan.gc.ca/n1/fr/pub/12-001-x/2022001/article/00006-fra.pdf.
PROJET : Méthodes d’élagage des poids pour les données d’enquête
Habituellement, le processus de pondération des données d’enquête comporte trois grandes étapes : 1) attribuer un poids de base; 2) corriger les poids pour la non-réponse totale; 3) modifier les poids pour assurer la cohérence entre les estimations de l’enquête et des totaux de population connus, opération souvent appelée calage. Dans certains cas, une dernière modification est apportée aux poids : on les élague afin d’améliorer l’efficacité des estimations d’enquête en limitant la variabilité des poids et en garantissant ainsi une plus grande stabilité des estimations.
Les procédures d’élagage exigent la spécification d’une constante de réglage, où les poids supérieurs à la constante sont réduits à la valeur de la constante et le poids excédentaire est redistribué entre les unités restantes. Souvent, les procédures utilisées en pratique sont ad hoc; il manque en effet à l’heure actuelle une méthode formelle et théorique pour traiter l’élagage de poids. Ce projet a les objectifs suivants : 1) pour les procédures propres aux variables, élaborer certains résultats théoriques semblables à ceux de Ma et Wang (2020) sur le choix de seuil optimal; 2) élaborer certaines procédures d’élagage des poids pour traiter plusieurs variables d’enquête; 3) effectuer une vaste étude par simulations pour comparer les performances de plusieurs procédures d’élagage des poids (voir Potter [1988, 1990], Potter et Zheng [2015], Haziza et Beaumont [2017]) pour ce qui est du biais et de l’efficacité et pour évaluer les performances des estimateurs de l’erreur quadratique moyenne pour ce qui est du biais; puis 4) appliquer et démontrer la méthodologie proposée sur un ensemble de données existant.
Progrès :
On a élaboré un grand programme de simulation en utilisant un mélange de R et de SAS, exploitant le système généralisé de calage de Statistique Canada, G-EST. La simulation comprend plus de dix procédures d’élagage et les compare en termes de biais et d’efficacité quand elles sont appliquées à plusieurs variables d’enquête présentant des niveaux variables de corrélation avec les poids. Les résultats préliminaires montrent que l’élagage, quand il est appliqué à des poids ayant peu ou pas de corrélation avec les variables de l’enquête, améliore l’efficacité sans compromettre le biais, comme on s’y attendait. À mesure que la corrélation entre les poids et les variables de l’enquête augmente, les estimateurs obtenus ont tendance à présenter un biais appréciable qui, à son tour, peut mener à une erreur quadratique moyenne plus grande que celle de l’estimateur sans élagage.
Les prochaines étapes immédiates du projet consistent à poursuivre l’étude par simulations en ajoutant des méthodes d’élagage et en intégrant des variables d’enquête catégoriques. Il nous reste également à traiter les autres objectifs.
Pour obtenir plus de renseignements, veuillez communiquer avec :
Jody Krahn (jody.krahn@statcan.gc.ca) ou
David Haziza (dhaziza@uottawa.ca).
Bibliographie
Haziza, D., et Beaumont, J.-F. (2017). Construction of weights in surveys: A review. Statistical Science, 32, 206-226.
Ma, X., et Wang, J. (2020). Robust inference using inverse probability weighting. Journal of the American Statistical Association, 115, 532, 1851-1860.
Potter, F. (1988). Survey of procedures to control extreme sampling weights. Proceedings of the Survey Research Methods Section, American Statistical Association, 453-458.
Potter, F. (1990). A study of procedures to identify and trim extreme sampling weights. Proceedings of the Section on Survey Research Methods, American Statistical Association, 225-230.
Potter, R., et Zheng, Y. (2015). Methods and issues in trimming extreme weights in sample surveys. Proceedings of the Section on Survey Research Methods, American Statistical Association.
PROJET : Degrés de liberté liés à l’estimation du questionnaire détaillé du recensement
Statistique Canada publie maintenant des intervalles de confiance afin d’exprimer la qualité des estimations. La longueur d’un intervalle de confiance peut témoigner de la qualité de l’estimation en autant que la couverture annoncée est respectée. Un paramètre qui joue un rôle important dans le calcul des intervalles de confiance est le nombre de degrés de liberté. En pratique, cette valeur est généralement déterminée à l’aide d’une règle approximative ou règle du pouce (en anglais, « rule of thumb »). Dans le cas de petits domaines, cette règle du pouce surestime souvent le nombre de degrés de liberté réel ce qui engendre une sous-couverture des intervalles de confiance.
Dans ce projet, l’approximation de Satterthwaite est utilisée afin de dériver une estimation plus précise des degrés de liberté dans le contexte de l’estimation du questionnaire détaillé du recensement de la population. La méthode d’estimation de la variance est une adaptation de la méthode des demi-échantillons équilibrés telle que décrite par Devin et Verret (2016). Une étude de simulation permet d’évaluer le gain au niveau de la couverture des intervalles de confiance pour l’estimation d’un total de variables continues et de variables dichotomiques. Les résultats suggèrent qu’en utilisant un nombre de degrés de liberté plus précis, la couverture est rehaussée et permet souvent d’atteindre le seuil nominal dans le cas problématique de petits domaines.
L’objectif de ce projet pour l’année 2023-2024 était de finaliser l’écriture et la révision à l’interne de l’article de Toupin et Martin (2024) dans le but de soumettre celui-ci à une revue scientifique.
Progrès :
L’article de Toupin et Martin (2024) a été soumis à la revue Techniques d’enquête. Celui-ci est en cours de révision.
Pour obtenir plus de renseignements, veuillez communiquer avec :
Marie-Hélène Toupin (marie-helene.toupin@statcan.gc.ca).
Bibliographie
Devin, N., et Verret, F. (2016). The development of a variance estimation methodology for large-scale dissemination of quality indicators for the 2016 Canadian census long form sample. Dans Proceedings of the Survey Research Methods Section, American Statistical Association, Alexandrie VA.
Toupin, M.-H., et Martin, V. (2024). Améliorer la couverture des intervalles de confiance au niveau des degrés de liberté : application à l’estimation du questionnaire détaillé du recensement canadien. Techniques d’enquête (en cours de révision).
PROJET : Exactitude de prédictions par apprentissage automatique
Afin de réduire les coûts et d’améliorer l’actualité des données, Statistique Canada étudie actuellement une méthode consistant à remplacer périodiquement la collecte de données d’enquête par des prédictions. Ces prédictions seraient obtenues au moyen de données auxiliaires actuelles et de modèles déterminés à partir de données historiques. L’estimation de paramètres de population finie, comme des totaux de population, serait ensuite réalisée par l’agrégation de ces prédictions individuelles. Par exemple, on peut prédire les rendements des cultures par télédétection, au moyen de variables agroclimatiques et des données historiques, y compris les réponses antérieures (Statistique Canada, 2020; National Academies of Sciences, Engineering, and Medicine, 2023, Chapter 8.3). De plus en plus, les méthodes d’apprentissage automatique facilitent ces prédictions (Chu, 2022), qui doivent comprendre des mesures d’exactitude. Cependant, les techniques classiques de validation, comme la validation croisée, sont inadéquates parce qu’elles mettent l’accent sur l’incertitude de la prédiction totale plutôt que sur les prédictions individuelles (Hastie, Tibshirani et Friedman, 2001, Chapter 7), conditionnellement aux covariables.
Progrès :
Pour répondre au besoin décrit ci-dessus, on a élaboré et évalué une méthodologie bootstrap au moyen de simulations préliminaires (Dasylva, Beaumont, Bosa et Maranda, 2023), en examinant différents modèles pour la réponse moyenne conditionnelle dans la population et pour l’estimation de cette moyenne conditionnelle dans la procédure bootstrap. Ces simulations ont montré qu’on peut estimer l’erreur quadratique moyenne avec un biais relatif important quand le modèle bootstrap diffère grandement du modèle de population.
D’autres simulations ont été réalisées : elles ont révélé que le biais relatif de l’estimateur de l’erreur quadratique moyenne est une fonction croissante du coefficient de détermination pour un modèle de population linéaire. Par conséquent, il a tendance à être faible quand le coefficient de détermination est modéré ou faible, comme on s’y attend en pratique, alors qu’il est important quand le coefficient de détermination est élevé. D’autres simulations seront effectuées dans la prochaine année pour mieux comprendre les propriétés de notre estimateur de l’erreur quadratique moyenne bootstrap.
Pour obtenir plus de renseignements, veuillez communiquer avec :
Abel Dasylva (abel.dasylva@statcan.gc.ca).
Bibliographie
Chu, K. (2022). Utilisation de l’apprentissage automatique pour prédire le rendement des cultures. Statistique Canada. Disponible à l’adresse : https://www.statcan.gc.ca/fr/science-donnees/reseau/rendement-cultures.
Dasylva, A., Beaumont, J.-F., Bosa, K. et Maranda, G. (2023). Measuring the accuracy of a prediction for a finite population total. Proceedings of the Survey Methods Section, Statistical Society of Canada, mai 2023.
Hastie, T., Tibshirani, R. et Friedman, J. (2001). The elements of statistical learning. New York: Springer.
National Academies of Sciences, Engineering, and Medicine (2023). Toward a 2st Century National Data Infrastructure: Enhancing Survey Programs by Using Multiple Data Sources. Washington, DC: The National Academies Press. Disponible à l’adresse : https://doi.org/10.17226/26804.
Statistique Canada (2020). Modélisation intégrée du rendement des cultures au moyen de la télédétection, de données agroclimatiques et de données d’enquête. Disponible à l’adresse : https://www.statcan.gc.ca/fr/programmes-statistiques/document/5225_D1_T9_V1.
PROJET : Estimation bootstrap de la variance pour estimateurs par calage
Les estimations d’enquête sont souvent calées pour qu’elles correspondent aux totaux connus de la population. L’estimateur par la régression généralisée (estimateur RG) est un estimateur de calage populaire qui suppose une relation linéaire entre la variable d’enquête et les variables auxiliaires. La théorie qui sous-tend cet estimateur est très bien établie et il existe un estimateur de la variance par linéarisation. Deville et Sarndal (1992) ont montré que, pour une famille d’estimateurs par calage, tous les membres de la famille sont asymptotiquement équivalents à l’estimateur RG. Cela suggère l’utilisation de l’estimateur de la variance de l’estimateur RG pour d’autres estimateurs par calage; c’est l’estimateur de la variance généralement mis en œuvre en pratique.
Certaines méthodes de calage comportent des contraintes de borne sur les poids, comme le calage ridge. La linéarisation en présence de contraintes de borne n’est pas toujours simple, et l’estimateur de la variance standard de l’estimateur RG peut ne pas convenir. L’objectif de la présente recherche était de trouver un autre estimateur de la variance dans cette situation.
Progrès :
Nous avons élaboré un estimateur de la variance bootstrap qui tient correctement compte des contraintes de borne. Nous avons réalisé une étude par simulations dans laquelle nous avons comparé les estimations de Horvitz-Thompson, les estimations RG et les estimations de calage ridge ainsi que leurs estimations de variance. Dans nos simulations, nous avons montré l’importance d’utiliser des estimations d’enquête pré-calibrées (par exemple les estimations de Horvitz-Thompson) plutôt que des totaux de population connus comme totaux de contrôle bootstrap.
Pour obtenir plus de renseignements, veuillez communiquer avec :
Keven Bosa (keven.bosa@statcan.gc.ca).
Bibliographie
Deville, J.-C., et Särndal, C.-E. (1992). Calibration estimators in survey sampling. Journal of the American Statistical Association, 87, 376-382.
PROJET : Population synthétique pour les simulations du remaniement de l’Enquête sur la population active
La méthodologie de l’Enquête sur la population active (EPA) du Canada fait l’objet d’un examen minutieux tous les dix ans. Aux fins de l’examen actuel, nous avons élaboré un système de simulation qui reproduit le processus d’enquête complexe de l’EPA – de l’échantillonnage à l’estimation – pour envisager d’autres méthodes ou déterminer les éléments à améliorer. Le système tire des échantillons d’une population synthétique conçue pour être une approximation raisonnable de la population canadienne en termes de démographie, de géographie, de structure des ménages et de renseignements de base sur le travail, et pour préserver des transitions réalistes de la main-d’œuvre au niveau des personnes pendant une période de six mois (durée pendant laquelle une unité reste dans l’échantillon dans le plan de l’EPA à panel rotatif). Nous y sommes parvenus en construisant une « population à panel rotatif », modélisée sur une période de six ans au moyen d’une combinaison de techniques de modélisation transversale et longitudinale. Un panel de population commence par un ensemble de « clones » d’une population de base (les répondants au questionnaire détaillé du recensement de mai 2016, passés par le modèle transversal), puis chaque unité « clone » est modélisée de façon longitudinale pour une période de six mois avant d’être réinitialisée. La population synthétique complète comprend six panels décalés en parallèle. Cette structure produit la série de six mois requise pour chaque répondant simulé de l’EPA, tout en atténuant la dérive qui se produit en cas de projection d’une population sur une période prolongée.
Progrès :
Nous avons terminé la composante longitudinale : Nous avions déjà décidé de la catégorie de modèle et de l’ensemble des prédicteurs potentiels. En 2023, nous avons produit une série de modèles candidats et les avons évalués par validation croisée et au moyen d’autres mesures afin de sélectionner notre modèle final.
Nous avons terminé la composante transversale : Nous avions déjà élaboré un plan visant à diviser la population de base en catégories (de façon similaire à la post-stratification) et à rajuster au minimum les renseignements sur le travail des personnes pour qu’ils correspondent aux répartitions de l’EPA pour ce mois dans chaque catégorie. En 2023, nous avons programmé un algorithme d’arborescence de classification adapté afin que les décisions de fractionnement puissent être contraintes par des conditions sur un ensemble de données externe. Au moyen de cette fonction, nous avons établi des conditions de fractionnement pour la population de base qui garantissaient que l’échantillon mensuel de l’EPA pour chaque catégorie serait suffisamment grand pour produire des estimations raisonnables.
Nous avons produit les données. Nous avons élaboré une stratégie pour produire d’abord les données du mois initial dans le modèle transversal, puis pour projeter la série chronologique de six mois dans le modèle longitudinal, en maintenant la cohérence entre l’emploi, l’industrie et la catégorie de travailleurs. Nous avons produit des fichiers de données de population synthétique mensuels pour la période de 2013 à 2018.
Nous avons utilisé la population synthétique pour effectuer des simulations afin d’évaluer le plan d’enquête et les méthodes d’estimation. Les résultats ont joué un rôle important dans la prise de décisions concernant la plupart des aspects du remaniement.
Davantage de détails se trouvent dans Brennan et Summers (2023a, 2023b).
Pour obtenir plus de renseignements, veuillez communiquer avec :
Andrew Brennan (andrew.brennan@statcan.gc.ca) ou
Pauline Summers (pauline.summers@statcan.gc.ca).
Bibliographie
Brennan, A., et Summers, P. (2023a). Synthetic population modelling details. Rapport interne, Statistique Canada.
Brennan, A., et Summers, P. (2023b). Synthetic population overview. Rapport interne, Statistique Canada.
- Date de modification :