Programme de recherche et développement en méthodologie : réalisations, 2023-2024
2. Méthodes et applications de la science des données
PROJET : Couplage d’enregistrements multipartite préservant la confidentialité
Le couplage d’enregistrements est un processus qui combine plusieurs sources de données tabulaires qui rendent compte, au moins partiellement, de certaines entités identiques. Ce processus exige parfois la collaboration de plusieurs parties, qui ont toutes des préoccupations concernant la protection de la vie privée des personnes figurant dans leurs données et qui ne sont pas nécessairement liées par un degré élevé de confiance. C’est pourquoi les méthodes permettant d’effectuer des couplages d’enregistrements tout en préservant la confidentialité des renseignements personnels contenus dans les données, en ne divulguant aucun renseignement au-delà des résultats des calculs requis, constituent un domaine de recherche précieux. Dans le cadre de ce projet, nous nous sommes penchés sur une étude de cas où un organisme statistique national voulait collaborer avec deux autres organismes pour calculer des agrégats tout en préservant la confidentialité.
Progrès :
Notre protocole tire profit des fonctions pseudo-aléatoires programmables et inconscientes, et des calculs fondés sur des circuits sécurisés. Ce travail prolonge le protocole à deux parties décrit dans (Dugdale, Santos et Zanussi, 2023) et repose sur l’intersection d’ensembles privés, où deux parties, chacune en possession d’un ensemble de données privées, visent à obtenir les éléments communs (ou identificateurs) aux deux ensembles de données, c’est-à-dire à en calculer l’intersection. Le couplage d’enregistrements préservant la confidentialité est lié à l’intersection d’ensembles privés en ce sens qu’il vise à calculer des agrégations sur des attributs appartenant aux identificateurs communs trouvés après l’intersection. Ces agrégats peuvent être assez simples, comme le calcul de la cardinalité de l’ensemble lié, ou plus complexes, comme les sommes pondérées fondées sur les attributs.
Nous avons commencé nos recherches sur les extensions multipartites des protocoles d’intersection d’ensembles privés que nous pourrions étendre pour gérer les agrégations. Nous avons découvert que le circuit d’intersection d’ensembles privés (Chandran, Gupta et Shah, 2022) permet le calcul sur l’intersection de deux ensembles au moyen du calcul sécurisé multipartites. De plus, on a étendu ce protocole pour traiter les scénarios où plusieurs parties possèdent un ensemble de données (Chandran, Dasgupta, Gupta, Obbattu, Sekar et Shah, 2021). Nous avons configuré et compilé la mise en œuvre dans un conteneur Docker afin de calculer l’intersection sur trois ensembles de données. Nous avons ensuite décrit un protocole utilisant un circuit d’intersection d’ensembles privés secondaire qui permet de calculer des agrégations sur les attributs de l’intersection (Santos, 2023). Nous avons constaté que l’extension multipartite du couplage d’enregistrements préservant la confidentialité est plus complexe et plus rigide, ce qui signifie que la solution doit être adaptée au problème de l’étude, à savoir la nature des ensembles de données et les agrégations souhaitées. Enfin, étant donné que ces protocoles cryptographiques reposent sur des bases de codes provenant de différents groupes de recherche, il est difficile de vérifier, modifier, améliorer, déployer et documenter leurs mises en œuvre.
Pour obtenir plus de renseignements, veuillez communiquer avec :
Benjamin Santos (benjamin.santos@statcan.gc.ca).
Bibliographie
Chandran, N., Dasgupta, N., Gupta, D., Obbattu, S.L.B., Sekar, S. et Shah, A. (2021). Efficient linear multiparty psi and extensions to circuit/quorum psi. Proceedings of the 2021 ACM SIGSAC Conference on Computer and Communications Security, 1182-1204.
Chandran, N., Gupta, D. et Shah, A. (2022). Circuit-PSI with linear complexity via relaxed batch OPPRF. Proceedings on Privacy Enhancing Technologies.
Dugdale, C., Santos, B. et Zanussi, Z. (2023). Practical Privacy-Aware Data Linkage and Statistical Aggregation based on Privacy Enhancing Techniques. Conference on New Techniques and Technologies for Official Statistics, Bruxelles, Belgique.
Santos, B. (2023). Multi-Party Privacy Preserving Record Linkage based on Circuit Private Set Intersection. Canadian Mathematical Society Winter Meeting, Montréal, Canada.
PROJET : Génération de données tabulaires synthétiques à partir de modèles de diffusion
L’un des principaux objectifs d’un organisme national de statistique est de diffuser des données à l’intention du public et des chercheurs tout en respectant les exigences en matière de protection des renseignements personnels, de la confidentialité et de la sécurité (Stratégie des données de Statistique Canada, 2022). Habituellement, les organismes nationaux de statistique appliquent des méthodes de contrôle de la divulgation statistique (CDS) aux données afin de réduire les risques de divulgation de renseignements de nature délicate au moment de leur diffusion. La diffusion de données synthétiques a été proposée comme solution de rechange au CDS : dans ce cas, un modèle entraîné transforme les données originales en données synthétiques.
Les modèles de diffusion sont des candidats appropriés pour la génération de données tabulaires synthétiques (Kotelnikov, Baranchuk, Rubachev et Babenko, 2022). Il faut cependant évaluer le compromis entre confidentialité des données et utilité des données pour valider ces modèles. Nos objectifs étaient : i) de mettre en œuvre ou de modifier les modèles de diffusion existants pour les données tabulaires; ii) d’effectuer des mesures d’évaluation; iii) de traiter les aspects relatifs à la protection des renseignements personnels et à la confidentialité; iv) d’évaluer le compromis entre confidentialité des données et utilité des données.
Progrès :
Premièrement, nous avons commencé à étudier des modèles de diffusion pour les données tabulaires ainsi que d’autres méthodes, notamment les regroupements de fonctions disponibles pour la production de données synthétiques. Ensuite, nous avons élaboré un module de prétraitement pour transformer les données tabulaires et leur donner une forme convenant à l’entraînement des générateurs. Nous avons adapté la mise en œuvre de TabDDPM (Kotelnikov et coll., 2022), qui est un modèle de diffusion pour la génération de données tabulaires synthétiques. Nous avons réalisé des progrès considérables dans la mise en œuvre d’un tableau de bord permettant de manipuler et prétraiter facilement les données tabulaires, aux fins d’entraînement des générateurs de données synthétiques et dans la production de mesures de la qualité et de la protection des renseignements personnels.
Pendant la phase d’expérimentation, nous avons comparé les performances des générateurs de réseaux antagonistes génératifs (GAN) (Figueira et Vaz, 2022) par rapport à TabDDPM. Nous avons constaté que la qualité des données synthétiques générées par le modèle de diffusion était supérieure pour presque toutes les mesures. De plus, TabDDPM obtenait de très bons résultats en matière de protection de la confidentialité, bien que le mécanisme d’ajout de la protection de la confidentialité ne soit pas entièrement compris. À cet égard, un GAN de confidentialité différentielle permet de mieux contrôler le compromis entre confidentialité et utilité. Toutefois, les progrès récents dans les modèles de diffusion à confidentialité différentielle ainsi que les modèles améliorés (Truda, 2023; Zhang, Zhang, Srinivasan, Shen, Qin, Faloutsos et Karypis, 2023) ouvrent la voie à une étude plus approfondie de l’utilisabilité de ces générateurs aux fins de production de données tabulaires synthétiques tout en préservant la confidentialité et l’utilité. Notre prochaine étape consistera à mettre en œuvre et évaluer des modèles de diffusion à confidentialité différentielle.
Pour obtenir plus de renseignements, veuillez communiquer avec :
Benjamin Santos (benjamin.santos@statcan.gc.ca).
Bibliographie
Figueira, A., et Vaz, B. (2022). Survey on synthetic data generation, evaluation methods and GANs. Mathematics, 10(15), 2733. MDPI AG. Consulté sur https://www.mdpi.com/2227-7390/10/15/2733 .
Kotelnikov, A., Baranchuk, D., Rubachev, I. et Babenko, A. (2022). TabDDPM: Modelling Tabular Data with Diffusion Models. arXiv preprint arXiv:2209.15421.
Stratégie des données de Statistique Canada (2022). Disponible à l’adresse : https://www.statcan.gc.ca/fr/apercu/strategiedonnees.
Truda, G. (2023). Generating tabular datasets under differential privacy. arXiv preprint arXiv:2308.14784.
Zhang, H., Zhang, J., Srinivasan, B., Shen, Z., Qin, X., Faloutsos, C. et Karypis, G. (2023). Mixed-type tabular data synthesis with score-based diffusion in latent space. arXiv preprint arXiv:2310.09656.
PROJET : Chiffrement fonctionnel
Les systèmes cryptographiques sont la norme pour la protection des données en transit et au repos. En plus des systèmes, qui suppriment l’utilité du cryptogramme jusqu’à ce qu’il soit décrypté, d’autres systèmes permettent d’utiliser les données alors qu’elles sont chiffrées. Le chiffrement fonctionnel est un système cryptographique qui permet d’appliquer des fonctions à des ensembles de données chiffrés sans que les données soient déchiffrées. Le résultat de la fonction appliquée est déchiffré, ce qui permet aux utilisateurs autorisés d’obtenir les résultats de la fonction en texte clair appliquées aux données chiffrées sans compromettre la sécurité. Des clés individuelles peuvent être générées pour différentes fonctions, de sorte que seules les parties autorisées puissent utiliser et observer les résultats de fonction en texte clair. Le présent projet vise à étudier différentes utilisations du chiffrement fonctionnel du point de vue d’un organisme national de statistique. Par exemple, plutôt que d’exiger que l’accès soit accordé et approuvé manuellement en cas d’accès total à des ensembles de données chiffrées de nature délicate, l’accès peut être accordé pour des sous-ensembles de données en fonction des privilèges et des attributs de l’utilisateur.
Progrès :
À la suite d’une enquête sur le chiffrement fonctionnel, des essais ont été réalisés et ont permis d’étudier l’application de ces techniques en pratique. Dans un premier temps, l’utilisation du chiffrement fonctionnel pour fournir des vues partielles d’un ensemble de données chiffrées a été étudiée au moyen d’un ensemble de données ouvertes sur les statistiques du revenu d’emploi selon le principal domaine d’études et le plus haut niveau de scolarité. Avec l’ensemble de données chiffré, on a défini sept expressions booléennes de sorte que les utilisateurs ayant la combinaison appropriée de rôles puissent afficher certaines combinaisons de colonnes de l’ensemble de données en texte clair, tandis que le reste demeure en cryptogramme. Ces règles reposent sur les attributs assignés à un utilisateur, par exemple un utilisateur privilégié, les utilisateurs généraux étant seulement autorisés à afficher les données chiffrées par défaut. Cette méthode permet de fournir un accès partiel en temps réel à des ensembles de données chiffrés sans qu’il soit nécessaire d’approuver ou de rejeter les demandes individuelles d’accès complet.
Dans une deuxième expérience, le chiffrement fonctionnel a été utilisé sur un ensemble de données fictif de données de localisation de correspondances de métro. Dans le cas présent, le déplacement d’un utilisateur est suivi et chiffré sur son appareil mobile. Plutôt que de demander à l’utilisateur d’envoyer ses données complètes, l’utilisateur peut fournir des clés permettant de récupérer seulement le total des visites de lieux et de l’utiliser pour générer une carte thermique. À titre d’exemple, pendant une crise de santé publique, cette méthode fournirait des cartes thermiques qui préservent la confidentialité des individus tout en déterminant les points névralgiques. Les deux expériences ont montré un fort potentiel d’utilisation lors d’un travail avec des données chiffrées.
Pour obtenir plus de renseignements, veuillez communiquer avec :
Julian Templeton (julian.templeton@statcan.gc.ca).
PROJET : Apprentissage automatique aux fins d’imputation
L’imputation est une étape essentielle dans tous les programmes d’enquête de Statistique Canada. En tirant parti de la puissance des méthodes modernes d’apprentissage supervisé dans le processus d’imputation, on pourrait améliorer la qualité des données et des estimations qui en découlent. Nous étudions l’utilisation de l’apprentissage automatique aux fins d’imputation et comparons ses performances à celles des méthodes classiques, particulièrement dans le contexte de l’appariement selon la moyenne prédictive. L’appariement selon la moyenne prédictive emploie habituellement la régression linéaire comme modèle sous-jacent et utilise les valeurs prédites comme variable d’appariement unique pour l’imputation par donneur. Étant donné que l’appariement selon la moyenne prédictive ne s’appuie pas directement sur les prédictions du modèle de régression, la méthode est généralement considérée comme robuste à l’égard d’une spécification erronée du modèle. Dans le cas présent, nous remplaçons la régression linéaire par un modèle d’apprentissage automatique et nous évaluons les performances au moyen d’une étude par simulations.
Progrès :
À partir d’un sous-ensemble de variables du fichier de microdonnées à grande diffusion du Recensement de 2016 (Statistique Canada, 2023), nous construisons un ensemble de données de population complet, duquel nous tirons des échantillons pour notre étude par simulations. Dans chaque échantillon, nous générons une proportion fixe de valeurs manquantes pour une seule variable selon un mécanisme de données manquantes au hasard et nous utilisons les variables restantes pour ajuster les modèles d’imputation. Nous ajustons plusieurs modèles d’apprentissage automatique, en sélectionnant le modèle présentant la plus grande puissance de prédiction par validation croisée aux fins d’utilisation dans notre étude par simulations. Nous mesurons les performances des estimateurs de la moyenne et de la médiane de la population en examinant le biais, l’erreur-type empirique et la couverture.
Selon ce plan d’étude, nous constatons que l’utilisation de modèles d’apprentissage automatique avec l’appariement selon la moyenne prédictive entraîne des améliorations marginales des biais, de la couverture et de l’efficacité. Bien que modestes, ces améliorations mettent en évidence le potentiel des méthodes d’apprentissage automatique pour améliorer les processus d’imputation. De plus, les résultats démontrent l’efficacité de l’appariement selon la moyenne prédictive comme méthode d’imputation. D’autres études seraient nécessaires pour évaluer pleinement l’efficacité des modèles d’apprentissage automatique aux fins d’imputation. Nous recommandons de mener d’autres études par simulations, qui s’intéresseront aux différents mécanismes de données manquantes, aux niveaux de données manquantes et aux différents types de données.
Pour obtenir plus de renseignements, veuillez communiquer avec :
Alden Chen (alden.chen@statcan.gc.ca).
Bibliographie
Statistique Canada (2023). Fichier de microdonnées à grande diffusion (FMGD) du Recensement de 2016, Fichier hiérarchique. Disponible à l’adresse : https://www150.statcan.gc.ca/n1/fr/catalogue/98M0002X.
PROJET : L’utilisation d’autoencodeurs masqués pour l’imputation généralisée de données tabulaires
La nécessité de traiter et de résoudre la question des données manquantes est omniprésente à Statistique Canada. Les données manquantes peuvent prendre de nombreuses formes, comme la non-réponse aux enquêtes, et elles peuvent nuire à l’exactitude et à la fiabilité des inférences statistiques, ce qui nécessite souvent l’utilisation de techniques d’imputation et de démarches heuristiques. Les méthodes d’imputation peuvent présenter l’inconvénient de nécessiter des connaissances nombreuses sur le domaine ou de manquer de fidélité.
Un ensemble de paradigmes d’apprentissage automatique de pointe (langage masqué/modélisation d’images) ajuste des modèles pour reconstruire une portion (manquante) masquée de l’entrée échantillonnée aléatoirement, ce qui donne des modèles capables d’effectuer des tâches en aval (texte/image) arbitraires. Les autoencodeurs masqués forment une de ces méthodes. En partant de la constatation que ces paradigmes optimisent simplement l’imputation, ce projet applique des autoencodeurs masqués aux ensembles de données tabulaires, afin de produire un modèle d’imputation généralisée qui, une fois ajusté au moyen de ce paradigme, peut effectuer une imputation de très grande qualité sur des caractéristiques manquantes arbitraires d’un ensemble de données tabulaires donné. La méthode est simple et de nature générale, et elle ne nécessite aucune connaissance du sujet de l’ensemble de données.
Progrès :
On a utilisé une architecture axée sur des transformeurs pour mettre en œuvre les modèles d’imputation par autoencodeurs masqués. Des essais approfondis par rapport à 15 bases de référence d’imputation établies, allant des techniques classiques à l’apprentissage automatique et aux méthodes fondées sur l’apprentissage profond, dans 25 ensembles de données tabulaires variés.
Les résultats ont constamment montré que les autoencodeurs masqués étaient la technique d’imputation la plus puissante comparativement aux 15 bases de référence testées. Dans des essais par rapport à des ensembles de données dont 30 % des valeurs étaient manquantes (échantillonnées indépendamment et aléatoirement), notre méthode a obtenu le classement le plus élevé pour ce qui est de l’exactitude des caractéristiques catégoriques, l’erreur absolue moyenne des caractéristiques numériques, et la distance de Wasserstein pour les caractéristiques catégoriques. Elle est arrivée deuxième au classement de la distance de Wasserstein pour les caractéristiques numériques. Parmi les techniques d’imputation mises à l’essai, les autoencodeurs masqués ont toujours été les plus robustes pour ce qui est de la quantité de données manquantes : bien que notre méthode s’adapte à des modèles utilisant 30 % de données manquantes, les autoencodeurs ont montré de bonnes performances quand ils sont évalués sur des ensembles présentant jusqu’à 50 % de valeurs manquantes et ont été constamment plus robustes que les autres bases de référence quand ils sont évalués sur des ensembles présentant jusqu’à 90 % de valeurs manquantes. Les résultats démontrent clairement que les autoencodeurs masqués pour l’imputation tabulaire généralisée sont une technique d’imputation viable, applicable aux données manquantes pour toutes les variables d’un ensemble de données tabulaires particulier et ne nécessitant pas de connaissances sur le sujet.
Pour obtenir plus de renseignements, veuillez communiquer avec :
Nicholas Denis (nicholas.denis2@statcan.gc.ca).
PROJET : Optimisation du temps et des efforts dans le traitement des données
Le projet de recherche sur l’optimisation du temps et des efforts est une recherche approfondie visant à améliorer l’efficacité du prétraitement des microdonnées dans les données d’enquête à Statistique Canada. Le projet s’intéresse à la robustesse du prétraitement des données pour les tâches complexes et les performances d’une méthode d’imputation dans différentes conditions. Cette recherche vise à optimiser la rapidité d’exécution et à réduire les efforts manuels dans l’Enquête mensuelle sur l’approvisionnement et l’écoulement de l’électricité.
Progrès :
Pendant la phase initiale de la recherche, nous avons évalué les modèles d’imputation pour la production mensuelle d’électricité du projet précédent à différents moments. Dans la deuxième phase, on a procédé à l’analyse détaillée des processus du Programme intégré de la statistique des entreprises de l’Enquête mensuelle sur l’approvisionnement et l’écoulement de l’électricité, en mettant l’accent sur le rôle crucial que jouent les rajustements manuels dans l’amélioration de la qualité des données. On a ensuite élaboré une méthodologie utilisant le test de Dickey-Fuller augmenté pour sélectionner des séries de données stables aux fins d’une imputation simple. La méthode évalue aussi si la modélisation de ces unités à puissance prédictive élevée améliore la précision globale de l’estimation. La méthode simple de l’étude a montré des résultats prometteurs pour ce qui est de l’Enquête mensuelle sur l’approvisionnement et l’écoulement de l’électricité, qui a obtenu un faible pourcentage d’erreur absolue moyenne pour l’estimation, ainsi qu’une réduction considérable du volume de corrections manuelles appliquées. Les étapes suivantes comprennent l’application des connaissances tirées du projet à la nouvelle initiative d’accélération méthodologique, qui vise à élaborer des outils de surveillance et de réduction des opérations de validation manuelle des données. Ce projet pourrait réduire considérablement les coûts et les délais de validation, augmentant ainsi l’efficacité des programmes de statistiques économiques.
Pour obtenir plus de renseignements, veuillez communiquer avec :
Soufiane Fadel (soufiane.fadel@statcan.gc.ca).
- Date de modification :