Programme de recherche et développement en méthodologie : réalisations, 2023-2024
1. Intégration de données
1.1 Intégration de données d’échantillons probabilistes et non probabilistes
PROJET : Estimation paramétrique de probabilités de participation pour des échantillons non probabilistes
Statistique Canada et d’autres organismes nationaux de statistique étudient actuellement la possibilité d’utiliser des échantillons non probabilistes comme solution de rechange aux échantillons probabilistes. On sait toutefois très bien que l’utilisation d’un échantillon non probabiliste seulement peut produire des estimations présentant un biais significatif en raison de la nature inconnue du mécanisme de sélection sous-jacent. Pour que ce biais soit réduit, les données d’un échantillon non probabiliste peuvent être intégrées aux données d’un échantillon probabiliste à condition que les deux échantillons contiennent des variables auxiliaires communes.
Dans la présente recherche, nous nous intéressons à l’estimation paramétrique de la probabilité de participer à l’échantillon non probabiliste, qui est une quantité clé pour réduire le biais de participation. Plusieurs méthodes d’estimation de la probabilité de participation ont été proposées récemment (par exemple Elliott, 2009; Chen, Li et Wu, 2020; Wang, Valliant et Li, 2021). La méthode par la pseudo-vraisemblance de Chen, Li et Wu (2020), qui a attiré l’attention de nombreux chercheurs, s’est récemment révélée inefficace dans certains scénarios. Les méthodes d’Elliott (2009) et de Wang, Valliant et Li (2021) peuvent parfois être plus efficaces, mais elles ne sont pas équivalentes à la méthode du maximum de vraisemblance quand l’échantillon probabiliste est un recensement.
Le problème de l’estimation des probabilités de participation ressemble à celui de l’estimation des probabilités de réponse aux enquêtes, la principale différence étant la structure des renseignements disponibles. Le but de la présente recherche était de trouver des moyens raisonnés d’exploiter à la fois les données auxiliaires des échantillons probabiliste et non probabiliste.
Progrès :
Dans la première partie du projet, nous avons élaboré une amélioration de la méthode de Chen, Li et Wu (2020), fondée sur la théorie de la meilleure estimation linéaire sans biais, qui tire plus efficacement parti des données disponibles des échantillons probabiliste et non probabiliste. De plus, nous avons élaboré une méthode de vraisemblance de l’échantillon, dont l’esprit ressemble à celui de la méthode d’Elliott (2009), qui tient adéquatement compte du chevauchement entre les deux échantillons quand il est possible de l’identifier dans au moins un des échantillons. Nous avons utilisé la théorie de la meilleure prédiction linéaire sans biais pour traiter le scénario où le chevauchement est inconnu. Il est intéressant de constater que les deux méthodes que nous proposons coïncident en cas de chevauchement inconnu. Ensuite, nous avons montré que de nombreuses méthodes existantes peuvent être obtenues comme cas particulier d’une fonction d’estimation sans biais générale. Ces résultats théoriques ont été documentés et publiés dans le numéro de juin 2024 de Techniques d’enquête (Beaumont, Bosa, Brennan, Charlebois et Chu, 2024). Cet article est une réponse aux commentaires sur un article des mêmes auteurs intitulés « Traiter les échantillons non probabilistes par pondération de probabilité inverse avec une application aux données d’approche participative de Statistique Canada », également publié dans le numéro de juin 2024 de Techniques d’enquête.
Dans la deuxième partie du projet, nous avons mené des expériences de simulation qui ont confirmé les gains d’efficacité des méthodes que nous avons proposées. Nous comptons documenter nos conclusions au cours de l’exercice financier 2024-2025.
Pour obtenir plus de renseignements, veuillez communiquer avec :
Jean-François Beaumont (jean-francois.beaumont@statcan.gc.ca).
Bibliographie
Beaumont, J.-F., Bosa, K., Brennan, A., Charlebois, J. et Chu, K. (2024). Réponse des auteurs aux commentaires sur l’article « Traitement d’échantillons non probabilistes en pondérant par l’inverse de la probabilité, avec application aux données recueillies par approche participative de Statistique Canada » : De nouvelles avancées concernant les méthodes de vraisemblance pour l’estimation des probabilités de participation pour des échantillons non probabilistes. Techniques d’enquête, 50, 1, 139-160. Article accessible à l’adresse https://www150.statcan.gc.ca/n1/fr/pub/12-001-x/2024001/article/00001-fra.pdf.
Chen, Y., Li, P. et Wu, C. (2020). Doubly robust inference with non-probability survey samples. Journal of the American Statistical Association, 115, 2011-2021.
Elliott, M.R. (2009). Combining data from probability and non-probability samples using pseudo-weights. Survey Practice, 2, 813-845.
Wang, L., Valliant, R. et Li, Y. (2021). Adjusted logistic propensity weighting methods for population inference using nonprobability volunteer‐based epidemiologic cohorts. Statistics in Medicine, 40, 5237-5250.
1.2 Couplage d’enregistrements
PROJET : Capture-recapture avec erreurs de couplage
En vue de prioriser l’utilisation de sources administratives, Statistique Canada vise à mesurer leur couverture au moyen d’opérations sur le terrain ou d’examens administratifs, ce qui peut être coûteux. La méthode de capture-recapture peut offrir une solution économique au moyen d’une comparaison avec une autre source selon des hypothèses types, comme l’indépendance des sources et leur couplage parfait. Il faut toutefois l’adapter quand le couplage est imparfait. Jusqu’à présent, ces améliorations nécessitaient des examens manuels (Ding et Fienberg, 1994; Di Consiglio et Tuoto, 2015; de Wolf, van der Laan et Zult, 2019) ou une forte hypothèse selon laquelle les variables de couplage sont conditionnellement indépendantes (Racinskij, Smith et van der Heijden, 2019).
Progrès :
Une nouvelle méthode d’estimation par capture-recapture avec erreurs de couplage, qui n’est pas touchée par les limites mentionnées plus haut, a été proposée. Elle fonctionne en modélisant le nombre de liens à partir d’un enregistrement et s’appuie sur le modèle statistique décrit précédemment par Dasylva et Goussanou (2022). La méthodologie est décrite dans un article accepté aux fins de publication dans Techniques d’enquête (Dasylva, Goussanou et Nambeu, 2024).
Pour obtenir plus de renseignements, veuillez communiquer avec :
Abel Dasylva (abel.dasylva@statcan.gc.ca).
Bibliographie
Dasylva, A., et Goussanou, A. (2022). On the consistent estimation of linkage errors without training data. Japanese Journal of Statistics and Data Science. Consulté sur https://doi.org/10.1007/s42081-022-00153-3.
Dasylva, A., Goussanou, A. et Nambeu, C.-O. (2024). Modèles d’erreur de couplage pour l’estimation par capture‑recapture sans vérifications manuelles. Techniques d’enquête, 50, 2. Article accessible à l’adresse https://www150.statcan.gc.ca/n1/fr/pub/12-001-x/2024002/article/00007-fra.pdf
de Wolf, P.-P., van der Laan, J. et Zult, D. (2019). Connection correction methods for linkage error in capture-recapture. Journal of Official Statistics, 35, 577-597.
Di Consiglio, L., et Tuoto, T. (2015). Coverage Evaluation on Probabilistically Linked Data. Journal of Official Statistics, 31, 415-429.
Ding, Y., et Fienberg, S.E. (1994). Estimation de système dual du sous-dénombrement dans le recensement lorsqu’il y a erreur d'appariement. Techniques d’enquête, 20, 2, 155-165. Article accessible à l’adresse https://www150.statcan.gc.ca/n1/fr/pub/12-001-x/1994002/article/14422-fra.pdf.
Racinskij, V., Smith, P. et van der Heijden, P. (2019). Linkage free dual system estimation. Disponible à l’adresse https://arxiv.org/abs/1903.10894.
PROJET : Mesure de la précision du couplage quand de nombreux fichiers sont couplés à un univers
Pour effectuer une analyse statistique, il est parfois nécessaire de coupler de nombreux fichiers à un univers, qui est en fait la liste d’unités uniques d’une population cible. Toutefois, il se peut que les liens en résultant soient imparfaits, quand les renseignements d’identification sont partiels ou erronés. Dans de tels cas, il faut évaluer l’exactitude du couplage en fonction des tuples d’enregistrement de trois enregistrements ou plus. Des solutions fondées sur des examens manuels sont décrites par Binette, Baek, Engineer, Jones, Dasylva et Reiter (2024). Cette méthode peut cependant être coûteuse. Une solution de rechange pourrait reposer sur l’extension du modèle de Fellegi-Sunter par Sadinle et Fienberg (2013) ou sur des modèles de résolution d’entités bayésiennes proposés par Steorts, Hall et Fienberg (2016), Marchant, Kaplan, Elazar, Rubinstein et Steorts (2021) ou autres. Toutefois, ces modèles reposent sur une hypothèse forte d’indépendance conditionnelle (Fellegi et Sunter, 1969), ou des variantes de cette hypothèse.
Progrès :
On propose une nouvelle méthodologie, qui ne demande ni examens manuels ni hypothèse d’indépendance conditionnelle. Dans cette méthodologie, le rappel et la précision sont étendus aux tuples d’enregistrement avec trois enregistrements ou plus, et les mesures qui en résultent sont évaluées au moyen de la modélisation du vecteur, comprenant le nombre de liens vers chaque fichier pour chaque enregistrement d’univers. Dans les faits, le modèle a une portée plus vaste que celui décrit précédemment par Dasylva et Goussanou (2022) et s’étend dans un mélange multivarié fini, où chaque composante est la convolution d’une distribution multinomiale et d’une distribution de Poisson composée indépendante et multivariée. En plus d’informer les utilisateurs des données couplées, la méthodologie comporte de nombreuses autres applications pratiques, comme l’évaluation de la fiabilité de la moyenne qui repose sur les données couplées, par exemple grâce à une mesure qui s’apparente à un coefficient de variation, c’est-à-dire une mesure semblable au coefficient de variation. Cet aspect est utile pour savoir si les erreurs de couplage peuvent être ignorées en toute sécurité ou si d’autres étapes sont nécessaires. La méthodologie fournit également une base pour l’évaluation d’un univers, qui repose elle-même sur le couplage imparfait de nombreux fichiers administratifs, comme la probabilité que de nombreux enregistrements représentent, en réalité, une même personne étant donné qu’ils sont classés comme tels. Pour plus de détails, voir Dasylva et Goussanou (2024a).
Pour obtenir plus de renseignements, veuillez communiquer avec :
Abel Dasylva (abel.dasylva@statcan.gc.ca).
Bibliographie
Binette, O., Baek, Y., Engineer, S., Jones, C., Dasylva, A. et Reiter, J. (2024). How to evaluate entity resolution systems: An entity-centric framework with application to inventor name disambiguation. Disponible à l’adresse : https://arxiv.org/pdf/2404.05622.pdf.
Dasylva, A., et Goussanou, A. (2022). On the consistent estimation of linkage errors without training data. Japanese Journal of Statistics and Data Science. Consulté sur https://doi.org/10.1007/s42081-022-00153-3.
Dasylva, A., et Goussanou, A. (2024a). Measuring the linkage accuracy when many files are linked to a spine. Rapport interne, Statistique Canada.
Fellegi, I., et Sunter, A. (1969). A theory of record linkage. Journal of the American Statistical Association, 64, 1183-1210.
Marchant, N., Kaplan, A., Elazar, D., Rubinstein, B. et Steorts, R. (2021). d-blink: Distributed end-to-end bayesian entity resolution. Journal of Computational and Graphical Statistics, 30, 406-421.
Sadinle, M., et Fienberg, S.E. (2013). A generalized Fellegi-Sunter framework for multiple record linkage with application to homicide record systems. Journal of the American Statistical Association, 108, 385-397.
Steorts, R., Hall, R. et Fienberg, S. (2016). A bayesian approach to graphical record linkage and de-duplication. Journal of the American Statistical Association, 111, 1660-1672.
PROJET : Estimation des moyennes de petits domaines avec données couplées
Des techniques d’estimation sur petits domaines sont couramment utilisées pour produire des estimations pour les domaines où la taille d’échantillon est trop petite, par la modélisation de la variable d’intérêt à partir de l’information auxiliaire (Rao et Molina, 2015). En présence d’un modèle au niveau de l’unité, il faut obtenir cette information pour chaque unité échantillonnée, ce qui comprend un couplage d’enregistrements si l’information auxiliaire se trouve dans un fichier distinct. En général, ce couplage peut représenter une source d’erreurs dont il faut tenir compte. Salvati, Fabrizi, Ranalli et Chambers (2021) ont proposé une solution pour l’application du modèle linéaire à erreurs emboîtées, où les variables auxiliaires sont obtenues à partir d’un registre, qui est distinct de la base de sondage et qui contient un indicateur d’inclusion dans l’échantillon rarement disponible dans la pratique. Ils exigent également des estimations manuelles des taux d’erreur de couplage, dont la réalisation peut être coûteuse.
Progrès :
Pour dépasser les limites indiquées plus haut, on propose une solution qui repose sur l’extension de la méthodologie de Salvati, Fabrizi, Ranalli et Chambers (2021), au moyen du modèle d’erreur de couplage décrit par Dasylva et Goussanou (2022). Cette méthodologie a été présentée aux Joint Statistical Meetings de 2023. Pour plus de détails, voir Dasylva (2024).
Pour obtenir plus de renseignements, veuillez communiquer avec :
Abel Dasylva (abel.dasylva@statcan.gc.ca).
Bibliographie
Dasylva, A. (2024). Estimation of small area means with linked data. Rapport interne, Statistique Canada.
Dasylva, A., et Goussanou, A. (2022). On the consistent estimation of linkage errors without training data. Japanese Journal of Statistics and Data Science, 5, 181-216. https://doi.org/10.1007/s42081-022-00153-3.
Rao, J.N.K., et Molina, I. (2015). Small Area Estimation. New Jersey: Wiley.
Salvati, N., Fabrizi, E., Ranalli, M. et Chambers, R. (2021). Small area estimation with linked data. Journal of the Royal Statistical Society B, 83, 78-107.
PROJET : Sélection de seuil fondé sur un modèle pour couplages probabilistes en agriculture
L’importance croissante de l’utilisation de données administratives dans la production de statistiques officielles rend le problème du couplage d’enregistrements sans identificateur unique de plus en plus important. La méthode probabiliste proposée par Fellegi et Sunter (1969) est une démarche courante, qui est mise en œuvre dans le Système généralisé de couplage d’enregistrements de Statistique Canada, G-Coup. Cependant, le seuil de pondération, un paramètre sur lequel repose l’optimalité de la procédure, peut se révéler difficile à définir. Les solutions proposées jusqu’à maintenant pour établir le seuil présentent d’importantes limites, soit parce qu’elles s’appuient sur des hypothèses optimistes, soit parce qu’elles exigent des données d’entraînement ou un examen manuel, deux processus potentiellement coûteux. Cependant, un modèle a été élaboré qui permet d’estimer l’erreur de couplage à partir du nombre de liens d’un enregistrement donné, en tenant compte de toutes les interactions entre les variables de couplage tout en atténuant le besoin de tout processus manuel (Dasylva et Goussanou, 2022).
Progrès :
À partir du modèle d’erreur de Dasylva et Goussanou, différents algorithmes ont été évalués aux fins de sélection du seuil de couplage. Que ce soit la recherche exhaustive, la recherche binaire ou une procédure de partition récursive plus sophistiquée proposée par Dasylva et Chen (2022), chaque méthode offre des avantages différents pour ce qui est du temps d’exécution et de la qualité des mesures produites. La méthodologie a également été comparée à la méthode proposée par Belin et Rubin (1995) et à la démarche de la théorie des valeurs extrêmes (Sariyar, Borg et Pommerening, 2011) au moyen de données simulées pour montrer les résultats de l’utilisation du modèle quand la réalité sur le terrain était connue. Dans les deux cas, le modèle d’erreur de Dasylva et Goussanou a permis d’estimer la précision du couplage de manière plus exacte. Enfin, conformément à la méthode de Dasylva et Goussanou (2024b), des tests d’adéquation de l’ajustement du chi carré ont été appliqués à des paires de couplage de données agricoles pour vérifier que le modèle s’applique sur des données réelles. Pour tous les couplages testés, les données ont réussi les tests d’adéquation de l’ajustement, ce qui a montré que le nouveau modèle d’erreur et la méthode de sélection de seuils sont utiles dans une configuration pratique.
Pour obtenir plus de renseignements, veuillez communiquer avec :
Christian Arsenault (christian.arsenault@statcan.gc.ca) ou
Abel Dasylva (abel.dasylva@statcan.gc.ca).
Bibliographie
Belin, T., et Rubin, D. (1995). A method for calibrating false-match rates in record linkage. Journal of the American Statistical Association, 90, 694-707.
Dasylva, A., et Chen, W. (2022). Probabilistic record linkage through recursive partitioning without training data. Présentation à la réunion mensuelle du groupe Machine Learning de l’ONS-UNECE, avril 2022.
Dasylva, A., et Goussanou, A. (2022). On the consistent estimation of linkage errors without training data. Japanese Journal of Statistics and Data Science. Disponible à l’adresse : https://doi.org/10.1007/s42081-022-00153-3.
Dasylva, A., et Goussanou, A. (2024b). Making statistical inferences about linkage errors. Japanese Journal of Statistics and Data Science. Disponible à l’adresse : https://doi.org/10.1007/s42081-023-00228-9.
Fellegi, I., et Sunter, A. (1969). A theory of record linkage. Journal of the American Statistical Association, 64, 1183-1210.
Sariyar, M., Borg, A. et Pommerening, K. (2011). Controlling false match rates in record linkage using extreme value theory. Journal of Biomedical Informatics, 44, 648-654.
PROJET : Analyse secondaire de données catégoriques couplées
Il est de plus en plus courant pour les analystes qui ont recours à des données de Statistique Canada d’utiliser le couplage d’enregistrements pour ajouter de la profondeur aux fichiers d’enquête. Par exemple, les enquêtes sociales sont fréquemment couplées à des données fiscales et sur l’immigration au moyen de l’Environnement de couplage de données sociales (ECDS). L’utilisation de données couplées sert à réduire le fardeau de réponse et fournit aux analystes des valeurs plus exactes pour certaines variables (par exemple le revenu) que ce qui pourrait être obtenu directement des répondants.
Cependant, de nombreux couplages dans l’ECDS sont probabilistes, et l’erreur de couplage est un sous-produit inévitable du couplage d’enregistrements probabiliste. L’analyse de données couplées qui ne corrigent pas la présence d’erreurs de couplage peut entraîner des résultats biaisés.
La plupart des équipes utilisant les données couplées de Statistique Canada sont des utilisateurs « secondaires » des données. Cela signifie qu’ils ont accès aux variables analytiques dans leurs fichiers d’intérêt et qu’ils reçoivent un ensemble de clés de couplage servant à joindre les fichiers, mais qu’ils n’ont pas accès aux variables des microdonnées (par exemple noms, dates de naissance) qui ont servi à effectuer les couplages. Afin de protéger les renseignements de nature délicate de la population canadienne, les employés ou les chercheurs externes ayant accès aux variables analytiques ne sont généralement pas autorisés à accéder aux variables de couplage.
Récemment, Li-Chun Zhang et Tiziana Tuoto (2021) ont proposé une nouvelle méthode prometteuse pour intégrer l’erreur de couplage à l’analyse des données couplées. Lors du Symposium international sur les questions de méthodologie de 2022 de Statistique Canada, Li-Chun Zhang (2022) a présenté une méthode élaborée pour réaliser une régression logistique du point de vue d’un analyste secondaire de façon à corriger les faux appariements. Le principal objectif de ce projet était d’évaluer cette méthode et d’élaborer des programmes pour l’utiliser avec des fichiers couplés au moyen de l’ECDS.
Progrès :
L’algorithme de Zhang et Tuoto a été mis en œuvre en Python, et une étude par simulations a permis de comparer ses performances à celles de la régression logistique naïve. Des versions artificielles de couplages de l’ECDS ont été créées par échantillonnage à partir de l’ensemble couplé d’un couplage réel de l’ECDS. Les poids de couplage disponibles dans les fichiers de couplage artificiels ont été affinés au moyen de l’algorithme espérance-maximisation (une technique qui avait d’abord été proposée pour le couplage d’enregistrements par Winkler (2000) et utilisée pour aider à simuler le processus de l’ECDS pour estimer la proportion de faux appariements pour un couplage donné). Enfin, des variables analytiques catégoriques simulées ont été ajoutées à chaque couplage artificiel. Ces variables étaient inspirées par les variables d’une analyse des données couplées réalisée en interne par Statistique Canada. Le programme Python a été alimenté par les ensembles artificiels de données analytiques couplées (et les taux d’erreur estimés), et les performances de l’algorithme ont été évaluées.
Dans certaines simulations, la méthode de Zhang et Tuoto a donné une réduction du biais et une légère inflation de la variance, comparativement à ce qui est obtenu au moyen d’une régression logistique naïve. Ces résultats représentent probablement ce qui se produirait dans un cas « typique ».
Cependant, pour certains autres ensembles de simulations, dans lesquels des covariables très déséquilibrées étaient présentes dans les ensembles artificiels de données couplées, il y a eu des cas où l’algorithme de régression naïve standard convergeait tandis que la méthode de Zhang et Tuoto ne convergeait pas. On a essayé plusieurs correctifs standards et des partenaires à l’interne ont été consultés pour résoudre ce problème, mais aucune solution n’a été trouvée. Finalement, Zhang et Tuoto ont apporté une solution intéressante. Ils ont proposé d’utiliser certains regroupements de fonctions R standards (comme glm ou glmet) afin de mettre en œuvre une méthode itérative par les moindres carrés pondérés pour estimer les coefficients de régression. Cette méthode est à l’étude à l’heure actuelle.
Enfin, notons que l’une des entrées (facultatives) (la variance estimée de l’estimateur du taux de faux appariement) de la fonction Python écrite pour mettre en œuvre la méthode de Zhang et Tuoto n’est pas un résultat standard produit par l’ECDS, mais qu’elle pourrait être produite au moyen d’un programme SAS développé dans le cadre d’un projet de recherche mené pendant l’exercice précédent (Loewen et Millar, 2023).
Les résultats de ce projet comprennent un programme Python pour la mise en œuvre de la méthode de Zhang et Tuoto avec des données de l’ECDS qui seront mises à la disposition des utilisateurs par l’intermédiaire du Centre de ressources en couplage d’enregistrements, un rapport de stage de Toukal (2023) et un exposé présenté à une conférence par Millar (2024).
Ce projet a été réalisé en collaboration avec Julia Toukal et Abdelnasser Saidi, avec l’aide de Li-Chun Zhang, Tiziana Tuoto, Abel Dasylva, Mark Stinner et Kenza Sallier.
Pour obtenir plus de renseignements, veuillez communiquer avec :
Goldwyn Millar (goldwyn.millar@statcan.gc.ca).
Bibliographie
Loewen, R., et Millar, G. (2023). Variance estimation for record linkage error-rates obtained via clerical review of stratified systematic samples of linked pairs. Présentation au séminaire de méthodologie le 10 mai 2023, Statistique Canada, Ottawa.
Millar, G. (2024). Logistic regression on linked data from a secondary analyst perspective. Présentation à la CANSSI-CRT Workshop on Modern Methods in Survey Sampling, University of Ottawa, 8 au 10 juillet.
Toukal, J. (2023). Logistic regression in the context of record linkage. Rapport de stage pour l’École Nationale de la Statistique et de l’analyse de l’information.
Winkler, W. (2000). Using the EM Algorithm for Weight Computation in the Fellegi-Sunter Model of Record Linkage. Bureau of the Census, Statistical Research Division, Statistical Research Report Series, No. RR2000/05.
Zhang, L.-C. (2022). Analyse secondaire des données catégoriques couplées. Présentation au Symposium international de 2022 sur les questions de méthodologie, Statistique Canada.
Zhang, L.-C., et Tuoto, T. (2021). Linkage-data linear regression. Journal of the Royal Statistical Society, Series A, 184, 522-554.
PROJET : Méthodes de création de pochettes par apprentissage automatique pour le couplage d’enregistrements : application de l’algorithme de couverture séquentielle et de la méthode des pochettes fondée sur les jetons de grande valeur au projet de couplage d’enregistrements des visiteurs réalisé par l’Environnement de couplage de données sociales de Statistique Canada
Une étape cruciale du prétraitement dans le couplage d’enregistrements consiste à choisir une technique de création de pochettes qui garantit que le nombre de paires d’enregistrements à comparer est gérable sur le plan du calcul et en même temps, couvre le plus grand nombre possible de vrais appariements. Une technique de création de pochettes efficace vise ces deux objectifs.
Le projet cherche à évaluer deux méthodes de création de pochettes par apprentissage automatique au moyen d’un exemple de couplage d’enregistrements réalisé à Statistique Canada : 1) l’algorithme de couverture séquentielle (Sequential Covering Algorithm) présenté dans Michelson et Knoblock (2006); 2) la méthode des pochettes fondée sur les jetons de grande valeur (High-Value Token-Blocking) d’O’Hare, Jurek-Loughrey et De Campos (2021). Intuitivement, l’algorithme de couverture séquentielle apprend une intersection d’attributs, appelée une règle, qui couvre certains exemples positifs, et apprend une autre intersection d’attributs, en répétant cette étape jusqu’à ce qu’elle ne puisse plus découvrir de règle dont le rendement dépasse un seuil choisi pour la mesure appelée intégralité des paires. L’intégralité des paires mesure la couverture des vrais positifs, c’est-à-dire le nombre de vrais appariements se trouvant dans l’ensemble candidat de paires d’enregistrements à comparer selon les règles établies par rapport au nombre d’appariements de l’ensemble complet. La méthode des pochettes fondée sur les jetons de grande valeur repose sur la fréquence du terme – fréquence inverse du document bien connue (Term Frequency-Inverse Document Frequency [TF-IDF]) et sa capacité à reconnaître les jetons de grande valeur, c’est-à-dire un terme ou un mot dans un document. Les valeurs TF-IDF indiquent l’importance d’un jeton en fonction de sa similitude dans un ensemble de données, les valeurs les plus faibles indiquant des jetons insignifiants très fréquents et les valeurs plus élevées indiquant des jetons significatifs plus rares.
Progrès :
Les performances des algorithmes ont été évaluées sur des ensembles de données de petite, moyenne et grande taille avant qu’ils soient mis à l’essai sur un exemple de couplage d’enregistrements effectué à Statistique Canada. L’intégralité des paires et le ratio de réduction ont servi de paramètres aux fins de l’évaluation. Le ratio de réduction indique la mesure dans laquelle une méthode de création de pochettes réduit le nombre de paires candidates qu’il faut comparer pour trouver les enregistrements correspondants. L’évaluation a montré que les algorithmes donnaient de bons résultats pour les ensembles de données de petite et de moyenne taille, mais qu’ils nécessitaient l’utilisation de techniques comme le partitionnement, le traitement parallèle et l’échantillonnage pour traiter les grands ensembles de données. Les algorithmes ont ensuite été évalués dans le cadre d’un projet de couplage d’enregistrements de Statistique Canada qui vise à apparier les enregistrements d’un fichier contenant des renseignements sur les visiteurs au Canada à un autre fichier appelé Dépôt pour déterminer les appariements. Cette évaluation visait à déterminer si ces algorithmes présentaient de meilleures performances que la méthode de création de pochettes utilisée actuellement pour ce couplage. L’algorithme de couverture séquentielle a obtenu de bons résultats avec un ratio de réduction supérieur à 99 % et une intégralité des paires de 83 %, ce qui est semblable aux performances de la méthode actuelle de création de pochettes. Cependant, la méthode actuelle crée mille fois plus de paires candidates à comparer pour trouver les enregistrements correspondants. Concernant la méthode des pochettes fondée sur les jetons de grande valeur, la mise en œuvre de la méthode d’échantillonnage est en cours. Quelques ajustements sont nécessaires pour rendre la méthode plus efficace en matière de temps d’exécution.
Les prochaines étapes seront les suivantes :
- terminer la mise en œuvre de la méthode d’échantillonnage pour la méthode des pochettes fondée sur les jetons de grande valeur;
- déterminer une stratégie d’utilisation de l’algorithme de couverture séquentielle quand un couplage d’enregistrements est effectué pour la première fois, puisqu’il nécessite des données étiquetées.
Pour obtenir plus de renseignements, veuillez communiquer avec :
Ronald Jean Paul (ronald.jeanpaul@statcan.gc.ca) ou
Bassirou Diagne (bassirou.diagne@statcan.gc.ca).
Bibliographie
Michelson, M., et Knoblock, C.A. (2006). Learning blocking schemes for record linkage. Proceedings of the Association for Advancement of Artificial Intelligence Conference on Artificial Intelligence, 21, 440-445. Disponible à l’adresse : https://www.aaai.org/Papers/AAAI/2006/AAAI06-070.pdf.
O’Hare, K., Jurek-Loughrey, A. et De Campos, C. (2021). High-value token-blocking: Efficient blocking method for record linkage. ACM Transactions on Knowledge Discovery from Data, 16, 1-17. Disponible à l’adresse : https://doi.org/10.1145/3450527.
1.3 Estimation sur petits domaines
PROJET : L’utilisation de forêts aléatoires pour l’estimation sur petits domaines
Quand la taille d’échantillon des domaines est petite, les estimateurs directs des paramètres de population qui sont convergents par rapport au plan de sondage sont susceptibles d’être instables. Pour améliorer la précision des estimateurs directs, on utilise souvent le modèle de Fay-Herriot au niveau du domaine. Celui-ci comprend deux composantes : un modèle d’échantillonnage et un modèle de liaison. Ce dernier spécifie la relation entre les paramètres d’intérêt de la population et des variables auxiliaires disponibles au niveau des domaines. Dans sa forme originale, le modèle de Fay-Herriot suppose un modèle de liaison linéaire dont la variance des erreurs est constante. Il requiert également d’estimer la variance lissée due au plan de sondage des estimateurs directs, c’est-à-dire l’espérance par rapport au modèle de la variance due au plan de sondage des estimateurs directs. Les estimateurs de la variance due au plan de sondage pourraient être considérés comme des estimateurs de la variance lissée, mais ils sont généralement instables en présence d’échantillons de petite taille. Pour résoudre ce problème, on lisse habituellement les estimations de la variance due au plan de sondage, souvent au moyen d’un modèle de lissage log-linéaire.
Or, les hypothèses des modèles de Fay-Herriot et de lissage ne sont pas toujours satisfaites en pratique, et la correction adéquate des modèles peut être difficile et prendre beaucoup de temps. Dans ce contexte, il peut être souhaitable d’utiliser des méthodes non paramétriques, surtout quand le nombre de domaines est élevé, parce que ces méthodes dépendent moins fortement de la validité des hypothèses des modèles et qu’elles peuvent accélérer la production d’estimation sur petits domaines. Nous nous intéressons particulièrement aux forêts aléatoires pour trois raisons : i) elles peuvent être facilement appliquées dans le cas d’un mélange de variables auxiliaires catégoriques et continues; ii) elles ne nécessitent pas de spécifier des interactions; iii) elles produisent des prédictions qui demeurent toujours dans la plage des valeurs observées. Nous proposons une procédure bootstrap pour estimer l’erreur de prédiction quadratique moyenne.
Progrès :
Au cours de l’exercice précédent, nous avons élaboré des versions non paramétriques du meilleur prédicteur empirique quand les forêts aléatoires sont utilisées pour remplacer les modèles entièrement paramétriques. En 2023-2024, nous avons raffiné notre méthodologie et nous avons évalué les propriétés des meilleurs prédicteurs empiriques proposés au moyen de données réelles et d’études par simulations. Le prédicteur retenu utilise les prédictions hors du sac (out-of-bag) comme variable auxiliaire dans un modèle linéaire de Fay-Herriot. Nos résultats montrent que les forêts aléatoires offrent une robustesse par rapport à une spécification erronée des modèles, augmentent l’efficacité des estimations sur petits domaines et simplifient (mais sans éliminer) l’effort de modélisation. Ce projet sera présenté à l’International Conference on Establishment Statistics à Glasgow en juin 2024 et à la conférence de l’INCASS à Ottawa en juillet 2024. En 2024-2025, nous prévoyons la rédaction d’un article qui résumera nos résultats et la conception d’un programme en R qui mettra en œuvre notre méthodologie.
Pour obtenir plus de renseignements, veuillez communiquer avec :
Jean-François Beaumont (jean-francois.beaumont@statcan.gc.ca).
PROJET : Inférence hiérarchique bayésienne pour l’estimation sur petits domaines à l’aide de différentes distributions a priori informatives et non informatives
Le modèle au niveau du domaine de Fay-Herriot est souvent utilisé quand les estimateurs directs des paramètres de population sont instables en raison de la petite taille de l’échantillon. Le modèle de Fay-Herriot et d’autres modèles d’estimation sur petits domaines (EPD) reposent sur l’idée d’emprunter de la puissance à d’autres domaines. Toutefois, si le nombre de domaines est petit, le modèle de Fay-Herriot et les autres modèles d’EPD donnent généralement de mauvais résultats. L’idée du projet est d’emprunter de la puissance à d’autres domaines, mais aussi dans le temps au moyen d’une méthode hiérarchique bayésienne (HB).
La modélisation hiérarchique bayésienne est très populaire dans l’estimation sur petits domaines, et la spécification a priori est très importante dans cette approche. Dans le cadre de ce projet, nous étudions les performances des estimateurs HB sur petits domaines au moyen de distributions a priori non informatives et informatives pour les paramètres de régression et les composantes de la variance. Nous appliquons les modèles bayésiens de You et Chapman (2006) et de You (2021) aux données de l’Enquête sur la population active (EPA) du Canada et évaluons l’effet des distributions a priori sur les estimateurs HB. Nous étudions l’effet des distributions a priori informatives et non informatives correctes et incorrectes pour l’estimation HB sur petits domaines en utilisant à la fois une application de l’EPA et une étude par simulations.
Progrès :
Pour les composantes de la variance, nous avons étudié les spécifications de la distribution a priori en utilisant des distributions a priori gamma inverses et des distributions a priori uniformes pour les modèles HB sur petits domaines. Nous avons mené une étude par simulations et appliqué les modèles aux données de l’EPA. Un document de recherche (You, 2023) a été publié dans Statistics in Transition new series.
Concernant les paramètres de régression, nous avons étudié l’utilisation de distributions a priori informatives et non informatives au moyen d’une application de l’EPA et d’une étude par simulations. Un document de recherche (You et Bosa, 2024) a été rédigé et soumis à une revue pour une éventuelle publication. Le document est en processus de révision.
Pour obtenir plus de renseignements, veuillez communiquer avec :
Yong You (yong.you@statcan.gc.ca).
Bibliographie
You, Y. (2021). Estimation sur petits domaines à l’aide du modèle au niveau de domaine de Fay-Herriot avec lissage et modélisation de variance d’échantillonnage. Techniques d’enquête, 47, 2, 389-399. Article accessible à l’adresse https://www150.statcan.gc.ca/n1/fr/pub/12-001-x/2021002/article/00007-fra.pdf.
You, Y. (2023). An empirical study of hierarchical Bayes small area estimators using different priors for model variances. Statistics in Transition New Series, 24, 169-178.
You, Y., et Bosa, K. (2024). Performance of hierarchical Bayes small area estimators using non-informative and informative priors with LFS application. Soumis à Techniques d’enquête (en cours de révision).
You, Y., et Chapman, B. (2006). Estimation pour petits domaines au moyen de modèles régionaux et d’estimations des variances d’échantillonnage. Techniques d’enquête, 32, 1, 107-114. Article accessible à l’adresse https://www150.statcan.gc.ca/n1/fr/pub/12-001-x/2006001/article/9263-fra.pdf.
PROJET : Évaluation de l’estimation de l’intervalle de confiance sur petits domaines
Dans le cadre de ce projet, nous étudions et évaluons l’estimation de l’intervalle de confiance pour l’estimation sur petits domaines au moyen des meilleurs prédicteurs linéaires sans biais empiriques (MPLSBE). En particulier, nous étudions l’intervalle de confiance de Wald et l’intervalle de confiance de Wilson modifié pour l’estimation de la proportion sur petits domaines au moyen d’une application aux données de l’Enquête sur la population active et d’une étude par simulations.
Progrès :
Les résultats de l’analyse des données réelles et de l’étude par simulations montrent que l’intervalle de confiance de Wald et celui de Wilson modifié donnent tous deux de très bons résultats dans l’estimation sur petits domaines quand les MPLSBE sont utilisés. Le projet est terminé et nous avons rédigé un rapport de recherche interne (You et Hidiroglou, 2024).
Pour obtenir plus de renseignements, veuillez communiquer avec :
Yong You (yong.you@statcan.gc.ca).
Bibliographie
You, Y., et Hidiroglou, M. (2024). Empirical study of confidence intervals for small area proportion estimation with LFS application. Rapport interne, Statistique Canada.
- Date de modification :