Estimation des faux négatifs attribuables à la création des pochettes dans le couplage d’enregistrements
Section 1. Introduction
Le couplage d’enregistrements vise à repérer les enregistrements d’une même personne dans un ou plusieurs fichiers (Fellegi et Sunter, 1969; Christen, 2012; Statistique Canada, 2017a). Il diffère de l’appariement statistique, qui est une méthode d’imputation où on se met à la recherche d’enregistrements de personnes qui se ressemblent (D’Orazio, Di Zio et Scanu, 2006). Il est aujourd’hui une importante méthode d’intégration des données et la création des pochettes en constitue une étape d’importance. Créer des pochettes est sélectionner un sous-ensemble gérable de paires d’enregistrements, qui contient la plupart des paires appariées, c’est-à-dire des paires dont les enregistrements proviennent d’une même personne. Fellegi et Sunter (1969, section 3.4) en donnent une définition abstraite comme la sélection d’un sous-ensemble du produit cartésien de deux sources de données. Herzog, Scheuren et Winkler (2007, page 123, deuxième paragraphe) y vont d’une définition semblable : [traduction] « La création des pochettes est un mode de réduction du nombre de paires d’enregistrements à examiner. » Christen (2012, page 28, troisième paragraphe) parle plutôt d’indexation avec la même signification : [traduction] « Pour réduire le nombre sans doute très grand de paires d’enregistrements à mettre en comparaison, on recourt communément à des techniques d’indexation […] Ces techniques éliminent les paires d’enregistrements qui n’ont guère de chances de correspondre à des paires appariées. » Nous nous servons du terme « création de pochettes » ici pour désigner ce processus qui devient essentiel lors du couplage d’ensembles de données massifs qui comprennent des millions d’enregistrements. En effet, le produit cartésien est juste trop grand. Grâce aux pochettes, on trouve un juste milieu entre les ressources de calcul et de mémoire, d’une part, et la perte de quelques paires appariées, d’autre part. Ces paires appariées correspondent à des faux négatifs et représentent une part importante de l’erreur de couplage globale, ne serait-ce que parce que les décisions relatives aux pochettes se prennent habituellement tôt dans le processus de couplage sans possibilité de les modifier par la suite. Il reste qu’on ne dispose là-dessus que de rares données empiriques, puisque ces faux négatifs ne sont jamais déclarés à quelques exceptions près, notamment dans le repérage des doublons dans une base de sondage comme cette opération est décrite par Herzog et coll. (2007, section 12.3). Dans ce rare cas où la base de sondage comprenait 176 000 enregistrements d’entreprises, on a estimé le nombre de paires appariées à 3 219, dont 3 050 avaient été détectées par les critères de pochettes pour une proportion de faux négatifs de (3 219 -3 050)/ 3 219 = 5,25 %, phénomène non négligeable si on le compare aux proportions de faux négatifs déclarées dans diverses études de couplage recensées par Bohensky (2016). De nos jours, il est tentant de minimiser les faux négatifs dûs aux pochettes en relâchant les critères de pochettes autant que le permettent les ressources de calcul. Après tout, ces ressources sont déjà considérables et croissent sans cesse en cette ère de mégadonnées. Une conséquence peu souhaitable peut en être que les paramètres de couplage probabiliste deviennent impossibles à estimer parce que la proportion de paires appariées est trop faible (Winkler, 2016, section 2.2.3.2). Ainsi, la question des faux négatifs dûs aux pochettes continue à se poser, quelles que soient les ressources de calcul disponibles. Leur estimation a toutefois présenté tout un défi, parce qu’on se doit de tenir compte de toutes les paires du produit cartésien des deux sources, et non des seules paires répondant aux critères des pochettes. À cet égard, la plupart des modèles antérieurs d’erreur n’aident guère, puisqu’ils ne respectent pas cette exigence; voir notamment à ce sujet Fellegi et Sunter (1969), Armstrong et Mayda (1993), Thibaudeau (1993), Winkler (1993), Belin et Rubin (1995), Sariyar, Borg et Pommerening (2011), Daggy, Xu, Hui, Gamache et Grannis (2013) et Chipperfield, Hansen et Rossiter (2018). Herzog et coll. (2007, chapitre 12.5) ont décrit une technique de capture-recapture qui n’a pas cet inconvénient, mais qui demeure peu pratique parce qu’exigeant des vérifications manuelles et l’indépendance conditionnelle pour un certain nombre de variables de pochettes.
Nous décrirons une nouvelle solution où ces deux exigences disparaissent. Il s’agit d’étendre le modèle de Blakely et Salmond (2002) aux situations où les enregistrements sont hétérogènes et où la population finie sous-jacente est nombreuse. Cette solution est d’abord conçue dans le cas idéal où deux sources exemptes de doublons sont liées, soit un fichier avec un registre ou un recensement exhaustif, de sorte que la décision de conserver une paire dans les pochettes dépende uniquement de ses deux enregistrements constitutifs comme pour les procédures typiques de création de pochettes (voir Christen, 2012, chapitre 4.1). Elle est intéressante dans un cadre pratique où les deux sources ont peu de doublons et où le recensement est quasiment exhaustif. Des exemples en sont le couplage entre les données fiscales et le recensement canadien pour le remplacement de questions sur le revenu (Statistique Canada, 2017b), ou encore une étude par cohorte avec couplage entre des données de mortalité et un recensement (Blakely et Salmond, 2002).
Notre exposé est structuré de la manière suivante : la section 2 présente les hypothèses, la notation et la terminologie; la section 3 indique en quoi la distribution des voisins livre une importante information sur les erreurs; les sections 4, 5 et 6 décrivent respectivement le modèle proposé de mélange fini, la procédure d’espérance-maximisation et l’étude empirique; enfin, la section 7 expose les conclusions et les travaux futurs.
- Date de modification :