Classification par entropie maximale aux fins de couplage d’enregistrements
Section 1. Introduction
La combinaison de renseignements provenant de plusieurs sources de données est un problème rencontré dans de nombreuses disciplines. Pour combiner des renseignements provenant de différentes sources, on suppose qu’il est possible de déterminer les enregistrements associés à la même entité, ce qui n’est pas toujours le cas en pratique. L’entité peut être une personne, une entreprise, la criminalité, etc. Si les données ne comprennent pas de numéro d’identification unique, la détermination des enregistrements provenant de la même entité devient un problème difficile. Le couplage d’enregistrements est le terme décrivant le processus de couplage des enregistrements que l’on pense être associés à la même entité. Alors que le couplage d’enregistrements peut entraîner le couplage d’enregistrements d’un seul fichier informatique pour déterminer les doublons (ce que l’on appelle une déduplication), nous nous concentrons plutôt sur le couplage d’enregistrements de fichiers distincts.
Le couplage d’enregistrements est employé depuis plusieurs décennies dans l’échantillonnage permettant de produire des statistiques officielles. En particulier, le couplage de fichiers administratifs avec des données de l’échantillon d’enquête peut considérablement améliorer la qualité et la résolution de statistiques officielles. À titre d’applications, Jaro (1989) ainsi que Winkler et Thibaudeau (1991) ont fusionné des données d’enquêtes postérieures au recensement et de recensement aux fins d’évaluation de la couverture du recensement. Zhang et Campbell (2012) ont couplé des fichiers de données du recensement de la population au fil du temps, alors qu’Owen, Jones et Ralphs (2015) ont couplé des registres administratifs pour créer un seul ensemble de données statistiques sur la population. L’approche classique dont Fellegi et Sunter (1969) ont été les pionniers (la méthode la plus populaire de couplage d’enregistrements en pratique) a servi avec succès dans ces applications.
La règle de décision probabiliste de Fellegi et Sunter (1969) repose sur la notion de test du rapport de vraisemblance, qui permet de déterminer la probabilité qu’une paire d’enregistrements donnée soit une réelle correspondance. En appliquant la notion du test du rapport de vraisemblance, on doit estimer les paramètres du modèle sous-jacent et déterminer les seuils de la règle de décision. Winkler (1988) et Jaro (1989) traitent l’état de correspondance comme une variable non observée et proposent un algorithme espérance-maximisation (algorithme EM) pour l’estimation des paramètres, ce que nous appellerons la « procédure WJ ». Voir Herzog, Scheuren et Winkler (2007), Christen (2012) ainsi que Binette et Steorts (2020) pour obtenir une vue d’ensemble. Toutefois, comme nous l’expliquons à la section 2, justifier que la procédure WJ est un algorithme EM nécessite l’hypothèse cruciale que les mesures de correspondance entre les paires d’enregistrements (appelées vecteurs de comparaison) soient indépendantes d’une paire d’enregistrements à une autre, ce qui est impossible à vérifier en réalité. Newcombe, Kennedy, Axford et James (1959) abordent la dépendance entre des vecteurs de comparaison au moyen de l’application de données. Voir également, par exemple, Tancredi et Liseo (2011), Sadinle (2017) ainsi que Binette et Steorts (2020) pour des analyses de ce sujet. Des approches bayésiennes du couplage d’enregistrements sont également disponibles dans la littérature (Steorts, 2015; Sadinle, 2017; Stringham, 2021). Les approches bayésiennes pour aborder les problèmes du couplage d’enregistrements nous permettent de quantifier l’incertitude relative aux décisions de correspondance. Toutefois, la recherche stochastique fondée sur un algorithme MCMC (méthode de Monte Carlo par chaîne de Markov) dans l’approche bayésienne fait intervenir un fardeau de calcul supplémentaire.
Pour élaborer une autre approche, nous remarquons d’abord que le problème du couplage d’enregistrements est essentiellement un problème de classification, selon lequel chaque paire d’enregistrements est classée dans une catégorie « correspondance » ou « non-correspondance ». Diverses techniques de classification fondées sur des approches d’apprentissage automatique ont été utilisées en couplage d’enregistrements (Hand et Christen, 2018; Christen, 2012, 2008; Sarawagi et Bhamidipaty, 2002). Dans la présente étude, nous adaptons la méthode de classification par entropie maximale au couplage d’enregistrements. En particulier, nous pouvons considérer le rapport de vraisemblance de la méthode que proposent Fellegi et Sunter (1969) comme un cas particulier du ratio de densité et appliquer la méthode d’entropie maximale à l’estimation du ratio de densité. Nigam, Lafferty et McCallum (1999) utilisent, par exemple, l’entropie maximale pour la classification de texte et Nguyen, Wainwright et Jordan (2010) élaborent une théorie plus unifiée de la méthode d’entropie maximale pour l’estimation du ratio de densité. Il existe, cependant, une différence clé entre le couplage d’enregistrements et le cadre standard des problèmes de classification : les différentes paires d’enregistrements ne sont pas des « unités » distinctes, car le même enregistrement fait partie de nombreuses paires d’enregistrements.
Même si nous présentons notre algorithme de couplage d’enregistrements par entropie maximale tant pour des environnements supervisés que non supervisés, nos principales contributions concernent le cas non supervisé. Les approches supervisées nécessitent des données d’apprentissage, c’est-à-dire des paires d’enregistrements présentant des états connus de vraie correspondance et de vraie non-correspondance. De telles données d’apprentissage ne sont souvent pas disponibles dans les situations réelles ou doivent être préparées manuellement, ce qui est coûteux et prend beaucoup de temps (Christen, 2007). Le cas non supervisé est donc, de loin, le plus courant en pratique. Dans le cas non supervisé, cependant, il n’est pas possible d’estimer directement le ratio de densité à partir des vraies correspondances et non-correspondances observées et il est difficile de créer conjointement des modèles de l’état de correspondance non observé et des résultats de comparaison observés pour toutes les paires d’enregistrements. Nous élaborons donc un nouvel algorithme itératif, afin d’estimer conjointement le ratio de densité ainsi que la classification par entropie maximale définie dans l’enregistrement non supervisé et prouvons sa convergence. Nous élaborons également les mesures associées à l’incertitude du couplage.
Nous montrons en outre que la procédure WJ peut être intégrée comme cas particulier de notre approche de l’estimation, mais sans la nécessité de l’hypothèse d’indépendance entre les paires d’enregistrements. Cela indique que la procédure WJ peut être justifiée sans l’hypothèse d’indépendance et explique la raison pour laquelle elle fournit des résultats raisonnables dans de nombreuses situations. Les mesures de l’incertitude élaborées dans la présente étude guident le choix de l’ensemble de couplages. Il s’agit d’une importante amélioration pratique par rapport à l’approche classique, qui ne fournit pas directement de mesure de l’incertitude pour l’ensemble final de couplages. Notre procédure est entièrement automatique, sans nécessiter de revue par le commis exigeante en ressources et nécessaire dans l’approche classique.
La présente étude est structurée de la manière suivante. La section 2 présente la configuration de base et l’approche classique. À la section 3, nous élaborons la méthode proposée dans le cadre d’un couplage d’enregistrements supervisé. À la section 4, nous étendons la méthode proposée à l’environnement plus difficile d’un couplage d’enregistrements non supervisé. Des discussions sur des approches d’estimation ainsi que des renseignements techniques connexes sont présentés à la section 5 et dans la documentation supplémentaire. Les résultats d’une étude de simulation complète sont présentés à la section 6. Nous présentons une conclusion et des commentaires sur des travaux à venir à la section 7.
- Date de modification :