Programme de recherche et développement en méthodologie : réalisations, 2022-2023
3. Problèmes d’estimation dans les enquêtes
PROJET : Exactitude des prédictions par apprentissage automatique
Afin de réduire les coûts et d’accélérer la production de statistiques, une occasion d’enquête particulière d’une enquête répétée peut être remplacée par des prédictions de totaux ou de moyennes de populations finies. Chaque moyenne ou total prédit est obtenu en faisant une prédiction pour chaque unité de population, en fonction des données disponibles, et en calculant le total ou la moyenne de ces prédictions pour toutes les unités. Par exemple, il est possible de prédire le rendement de différentes cultures à une date ultérieure en fonction de covariables fixes, qui comprennent la télédétection et les variables agroclimatiques, ainsi que des données historiques, lorsque ces dernières comprennent des réponses et des covariables antérieures (Statistique Canada, 2020; National Academies of Sciences, Engineering, and Medicine, 2023, chapitre 8.3). Les prédictions sont faites de plus en plus à l’aide de méthodes d’apprentissage automatique (Chu, 2022) et doivent être publiées avec une mesure de leur exactitude (Yung, Tam, Buelens, Chipman, Dumpert, Ascari, Rocci, Burger et Choi, 2022). Malheureusement, les techniques de validation croisée et autres techniques similaires (Hastie, Tibshirani et Friedman, 2001, chapitre 7) sont inadéquates parce qu’elles fournissent une mesure de l’erreur inconditionnelle et qu’elles traitent les covariables comme étant aléatoires. Nous nous intéressons plutôt à une mesure de l’erreur conditionnelle. En outre, nous mettons l’accent sur l’incertitude du total prévu plutôt que sur l’incertitude d’une prévision unitaire, qui est généralement mesurée par l’erreur de test.
Progrès :
Une méthodologie bootstrap a été élaborée pour une configuration générale constituée de deux populations finies d’unités. Dans la première population, qui fournit des données historiques, les covariables fixes et les réponses sont données pour chaque unité. Dans la deuxième population, seules les covariables fixes sont observées pour chaque unité. On suppose que toutes les réponses sont mutuellement indépendantes et qu’une réponse est la somme d’une fonction moyenne des covariables et d’une erreur aléatoire avec une moyenne de zéro et une variance donnée par une autre fonction des covariables. Les fonctions de moyenne et de variance sont les mêmes pour les deux populations, chaque erreur aléatoire suivant la même distribution (c.-à-d. que la distribution de l’erreur normalisée est la même pour les deux populations, p. ex. la distribution normale standard). La méthodologie a été présentée à la conférence annuelle de la Société statistique du Canada (Dasylva, Beaumont, Bosa et Maranda, 2023).
Pour obtenir plus de renseignements, veuillez communiquer avec :
Abel Dasylva (613-408-4850, abel.dasylva@statcan.gc.ca).
Bibliographie
Chu, K. (2022). Utilisation de l’apprentissage automatique pour prédire le rendement des cultures. Disponible à l’adresse https://www.statcan.gc.ca/fr/science-donnees/reseau/rendement-cultures. Statistique Canada.
Dasylva, A., Beaumont, J.-F., Bosa, K. et Maranda, G. (2023). Measuring the accuracy of a prediction for a finite population total. Présentation au Congrès annuel 2023 de la Société statistique du Canada, mai 2023.
Hastie, T., Tibshirani, R. et Friedman, J. (2001). The Elements of Statistical Learning. New York: Springer.
National Academies of Sciences, Engineering, and Medicine (2023). Toward a 21st century national data infrastructure: Enhancing survey programs by using multiple data sources. Washington, DC: The National Academies Press. Disponible à l’adresse https://doi.org/10.17226/26804.
Statistique Canada (2020). Modélisation intégrée du rendement des cultures au moyen de la télédétection, de données agroclimatiques et de données d’enquête. Disponible à l’adresse https://www.statcan.gc.ca/fr/programmes-statistiques/document/5225_D1_T9_V1.
Yung, W., Tam, S.-M., Buelens, B., Chipman, H., Dumpert, F., Ascari, G., Rocci, F., Burger, J. et Choi, I. (2022). A quality framework for statistical algorithms. Statistical Journal of the IAOS, 38, 291-308. Disponible à l’adresse https://content.iospress.com/download/statistical-journal-of-the-iaos/sji210875?id=statistical-journal-of-the-iaos%2Fsji210875.
PROJET : Exercice de modélisation pour prédire la quantité d’eau pour les années non enquêtées pour deux enquêtes environnementales.
L’Enquête sur l’eau dans les industries (EEI) est une enquête biennale qui collecte, depuis 2005, des données sur l’utilisation de l’eau dans les industries des secteurs minier, manufacturier et thermoélectrique. Mais l’enquête n’est pas réalisée en 2019 à cause de la pandémie Covid-19. Les données de cette enquête sont requises pour le calcul des Indicateurs canadiens de durabilité de l'environnement publiés par Environnement et Changement climatique Canada. L’Enquête sur les usines de traitement de l'eau potable (EUTEP) est également une enquête biennale et elle collecte, depuis 2007, des données sur la production de l’eau potable. Ces données sont utilisées pour suivre l'état des réserves en eau sur une base régionale au Canada. Le projet de modélisation consiste à concevoir des modèles qui permettraient de prédire la quantité d’eau utilisée dans les industries pour la première enquête et la quantité d’eau potable produite pour la seconde enquête pour les années où ces enquêtes ne sont pas réalisées.
Pour prédire la quantité d’eau utilisée par industrie et la quantité d’eau potable produite, le projet a exploré plusieurs méthodes de modélisation, notamment la régression linéaire (Hastie, Tibshirani, and Friedman, 2009)., la régression par splines de lissage (Silverman, 1985), le lissage exponentiel (Hyndman, Koehler, Ord, and Snyder, 2008), l’imputation multiple par régression séquentielle (Van Buuren, 2018, et Wang, Akande, Poulos, et Li, 2022), la régression par « eXtreme Gradient Boosting (XGBoost) » (Chen, and Guestrin, 2016 et Boehmke, and Greenwell, 2020), etc.
Progrès :
Le projet de modélisation a permis de prédire la quantité d’eau utilisée dans les différentes industries des secteurs manufacturier, minier et thermoélectrique pour les années non enquêtées de l’EEI (les années paires de 2006 à 2018 et l’année 2019). Il a également permis de prédire la quantité d’eau potable produite par les usines de traitement de l’eau pour les années non enquêtées de l’enquête EUTEP (l’année 2009 et les années paires de 2008 à 2020). Certaines prédictions issues du projet, notamment celles de 2019 de l’enquête EEI, ont déjà été utilisées dans le système de comptabilité économique et environnementale du Canada pour la publication sur l’utilisation de l’eau en 2019 (Statistique Canada, 2022a, et 2022b). Les travaux de modélisation continuent afin d’améliorer les modèles au fur et à mesure que des nouvelles données sont collectées et aussi pour étendre la modélisation à d’autres variables clés de ces enquêtes. Le projet se terminera avec la rédaction d’un article dans les mois à venir.
Pour obtenir plus de renseignements, veuillez communiquer avec :
Martin Hamel (613-854-2827, martin.hamel@statcan.gc.ca).
Bibliographie
Boehmke, B., et Greenwell, M. (2020). Hands-On Machine Learning with R. Chapman & Hall.
Chen, T., et Guestrin, C. (2016). XGBoost: A Scalable Tree Boosting System. Dans Proceedings of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, 785-794. New York, NY, USA: ACM. https://doi.org/10.1145/2939672.2939785.
Hastie, T., Tibshirani, R. et Friedman, J. (2009). The Elements of Statistical Learning: Data Mining, Inference, and Prediction. New York: Springer.
Hyndman, R.J., Koehler, A.B., Ord, J.K. et Snyder, R.D. (2008). Forecasting with Exponential Smoothing: The State Space Approach. Springer.
Silverman, B.W. (1985). Some aspects of the spline smoothing approach to non-parametric regression curve fitting (avec discussion). Journal of the Royal Statistical Society Series B, 47, 1-52.
Statistique Canada (2022a). Système de comptabilité économique et environnementale du Canada : utilisation de l’eau, 2019. https://www150.statcan.gc.ca/n1/daily-quotidien/221219/dq221219d-fra.htm.
Statistique Canada (2022b). Comptes des flux physiques : utilisation de l’eau, 2019. https://www150.statcan.gc.ca/n1/pub/11-627-m/11-627-m2022087-fra.htm.
Van Buuren, S. (2018). Flexible Imputation of Missing Data. 2nd Edition. Chapman & Hall/CRC Interdisciplinary Statistics Series. https://stefvanbuuren.name/fimd/.
Wang, Z., Akande, O., Poulos, J. et Li, F. (2022). Les modèles d’apprentissage profond sont-ils plus efficaces pour l’imputation de données manquantes dans les enquêtes ? Une comparaison empirique fournit des éléments de preuve. Techniques d’enquête, 48, 2, 407-437. Article accessible à l’adresse https://www150.statcan.gc.ca/n1/pub/12-001-x/2022002/article/00009-fra.pdf.
PROJET : Degrés de liberté liés à l’estimation à partir des données du questionnaire détaillé du recensement
Statistique Canada publie maintenant des intervalles de confiance afin d’exprimer la qualité des estimations. La longueur d’un intervalle de confiance peut témoigner de la qualité de l’estimation en autant que la couverture annoncée est respectée. Un paramètre qui joue un rôle important dans le calcul des intervalles de confiance est le nombre de degrés de liberté. En pratique, cette valeur est généralement déterminée à l’aide d’une règle du pouce. Dans le cas de petits domaines, cette règle du pouce surestime souvent le nombre de degrés de liberté réel ce qui engendre une sous-couverture des intervalles de confiance.
Dans ce projet, l’approximation de Satterthwaite est utilisée afin de dériver une estimation plus précise des degrés de liberté dans le contexte de l’estimation à partir des données du questionnaire détaillé du recensement de la population. La méthode d’estimation de la variance est une adaptation de la méthode des demi-échantillons équilibrés telle que décrite par Devin et Verret (2016). Une étude de simulation permet d’évaluer le gain au niveau de la couverture des intervalles de confiance pour l’estimation d’un total de variables continues et de variables dichotomiques. Les résultats suggèrent qu’en utilisant un nombre de degrés de liberté plus précis, la couverture est rehaussée et permet souvent d’atteindre le seuil nominal dans le cas problématique de petits domaines.
Progrès :
L’écriture d’un article (Toupin et Martin, 2023), en vue d’une soumission à une revue scientifique est terminée. Celui-ci est en cours de révision à l’interne.
Pour obtenir plus de renseignements, communiquez avec :
Marie-Hélène Toupin (343-573-1872, marie-helene.toupin@statcan.gc.ca).
Bibliographie
Devin, N., et Verret, F. (2016). The development of a variance estimation methodology for large-scale dissemination of quality indicators for the 2016 Canadian census long form sample. Dans Proceedings of the Survey Research Methods Section, American Statistical Association, Alexandrie, Virginie.
Toupin, M.-H., et Martin, V. (2023). Degrés de liberté liés à l’estimation du questionnaire détaillé du recensement. Rapport interne (sera soumis à une revue scientifique), Statistique Canada.
PROJET : Généralisation et application d’une méthode simple, exacte et optimale de répartition d’échantillons
En 2017, dans le but d’évaluer la stabilité de la répartition des échantillons dans les enquêtes économiques annuelles du Programme intégré de la statistique des entreprises (PISE), un collègue avait trouvé dans la littérature un algorithme fort simple obtenant de façon exacte (les tailles d’échantillon par strate, en nombres entiers) la répartition de Neyman. L’algorithme en question est détaillé dans les articles cités en références (Wright 2014, 2016, 2017 et 2020). Le but était de mettre en place la méthode afin de la comparer avec celle plus complexe intégrée au PISE (répartition de puissance, grappes d’établissements, cellules d’échantillonnage, etc.). On avait trouvé la méthode développée par l’auteur fort élégante par sa simplicité et son efficacité. Après les travaux menés sur le projet, on a toujours envisagé la possibilité de généraliser la méthode à la répartition de puissance (et non juste Neyman), et surtout, de voir comment on pourrait intégrer la stratification à la méthode, ainsi que les autres composantes utilisées au PISE. Par exemple, l’auteur des articles sur le sujet n’a jamais traité de la stratification ou de cellules d’échantillonnage.
La pertinence du projet découle du lien important entre la qualité des estimations provenant d’une source probabiliste (une enquête entreprise par exemple) et un échantillonnage efficace. Obtenir une répartition de Neyman (ou de puissance) de façon exacte et facilement, tout en permettant de définir une stratification plus appropriée pour réduire la variance visée, est justement une façon d’améliorer l’efficacité de l’échantillonnage, à moindre coûts. L’application du projet est surtout reliée aux enquêtes utilisant une stratification selon une mesure de taille (revenu, ventes, par exemple) et une population relativement petite (avec de petites strates).
Progrès :
Les derniers articles sur le sujet ont été lus et nous ne trouvons toujours pas de trace de complexités reliées à l’échantillonnage pour généraliser la méthode à un problème pratique. Seule la répartition d’unités à l’intérieur de strates préfixées est couverte. Ainsi, la pertinence d’intégrer la méthode de répartition à une méthodologie d’échantillonnage complète, comme celle du PISE, a été confirmée.
Un programme SAS a été développé afin d’appliquer la méthode à partir de strates et d’une taille d’échantillon connues. La généralisation à la répartition de puissance a été complétée et ajoutée à ce programme. Nous souhaitions également pouvoir ajouter une composante dite « cellules d’échantillonnage » pour suivre les concepts du PISE, ce qui a été fait dernièrement. Ce programme pourra donc être appliqué à quelques enquêtes intégrées au PISE pour fins de comparaison en ce qui a trait à la fonction objective d’une répartition d’échantillon (Neyman ou puissance). Finalement, quelques simulations ont été menées en lien avec l’ajout d’une composante de stratification, mais plus de travaux sont requis.
Pour obtenir plus de renseignements, communiquez avec :
Pierre-Olivier Julien (613-716-6174, pierre-olivier.julien@statcan.gc.ca).
Bibliographie
Wright, T. (2014). A Simple Method of Exact Optimal Sample Allocation under Stratification with Any Mixed Constraint Patterns. Série de rapports de recherche du US Census Bureau, https://www.census.gov/library/working-papers/2014/adrm/rrs2014-07.html.
Wright, T. (2016). Two Optimal Exact Sample Allocation Algorithms: Sampling Variance Decomposition is Key. Série de rapports de recherche du US Census Bureau, https://www.census.gov/content/dam/Census/library/working-papers/2016/adrm/rrs2016-03.pdf.
Wright, T. (2017). Exact Optimal Sample Allocation: More Efficient than Neyman. Statistics and Probability Letters, 129, 50-57.
Wright, T. (2020). A general exact optimal sample allocation algorithm: With bounded cost and bounded sample sizes. Statistics and Probability Letters, 165, 108829.
- Date de modification :