Programme de recherche et développement en méthodologie : réalisations, 2022-2023
2.  Méthodes et applications de la science des données

PROJET : Anonymisationdes données textuelles d’entraînement et incidence sur la performance des modèles de traitement du langage naturel

On observe une demande croissante au sein de Statistique Canada et d’autres organismes pour des projets de traitement du langage naturel (TLN) et de classification de textes, comme les projets qui ont été menés sur les commentaires du recensement et sur les demandes de renseignements d’Immigration, Réfugiés et Citoyenneté Canada. Dans le cadre de ces projets, on a classé du contenu fourni gratuitement par le public en catégories utiles sur le plan opérationnel en utilisant les plus récents modèles de TLN (transformateurs). Ce genre de données peut contenir des renseignements protégés. Il a été démontré que les modèles de TLN mémorisent les renseignements personnels et fondent leurs décisions en fonction de ces renseignements. Par conséquent, il est essentiel d’anonymiser le texte au moyen de techniques adéquates pour assurer la confidentialité de ces données et veiller à ce que le modèle soit autant que possible exempt de biais à l’endroit de certaines catégories de personnes.

Diverses techniques d’anonymisation sont actuellement proposées pour résoudre ce problème, mais, à notre connaissance, très peu de chercheurs ont étudié l’incidence des techniques d’anonymisation sur la performance des modèles de TLN, de même que les stratégies éprouvées à utiliser pour assurer à la fois l’anonymat des données et une bonne capacité de prédiction. Cette initiative mettra à la disposition des équipes qui travaillent à des projets de TLN une liste des avantages et des inconvénients des différentes techniques d’anonymisation, la stratégie recommandée ainsi qu’un progiciel Python personnalisé à utiliser pour anonymiser le texte avant de l’entrer dans leur système de TLN.

Progrès :

En comparant les effets de différentes techniques d’anonymisation, comme le remplacement des renseignements identificatoires personnels (RIP) par une balise d’entité, des données synthétiques ou encore une chaîne statique, sur la performance d’une tâche de classification de texte à étiquettes multiples, nous avons constaté que toutes les techniques généraient des résultats semblables. Par conséquent, nous ne pouvons recommander une technique plus qu’une autre. Il a été démontré au cours d’une série d’expériences que, lorsque le modèle est entraîné au moyen de données dépersonnalisées plutôt qu’avec des données originales contenant tous les RIP, la performance de la mesure F1 (la moyenne harmonique entre précision et rappel) du modèle de classification de texte ne diminue que légèrement (entre 0,08 % et 0,34 %). Cette constatation révèle que l’anonymisation des données d’entraînement est une étape de prétraitement utile pour protéger la confidentialité des données qui n’a pas d’incidence importante sur la performance du modèle de TLN. Les expériences mentionnées ci-dessus sont décrites dans Istrate et Mashhadi (2023).

Outre ces expériences, un progiciel Python a été développé pour perfectionner l’outil d’anonymisation libre existant, Microsoft Presidio. Le nouveau progiciel, appelé Canonym, utilise des transformateurs pour reconnaître les entités désignées. Il prend en charge à la fois le texte anglais et le texte français. Canonym peut reconnaître et masquer avec précision divers RIP propres au Canada, comme le numéro d’assurance sociale, le numéro de passeport canadien, les adresses canadiennes, les codes postaux canadiens, etc., en texte libre. Il est convivial et permet d’effectuer diverses personnalisations. Ce progiciel a déjà été mis à profit pour un autre projet de la Division de la science des données.

Pour obtenir plus de renseignements, veuillez communiquer avec :
Alexandre Istrate (alexandre.istrate@statcan.gc.ca);
Sayema Mashhadi (sayema.mashhadi@statcan.gc.ca).

Bibliographie

Istrate, A., et Mashhadi, S. (2023). Anonymization of Training Text Data and its Effect on the Performance of NLP Models. Rapport interne, Statistique Canada, Ottawa.

PROJET : Modèles d’apprentissage automatique sur appareil (léger) pour les applications mobiles et Web

Toutes les applications d’intelligence artificielle de pointe sont des modèles d’apprentissage profond qui sont dotés de capacités puissantes et nécessitent d’importantes ressources en raison de leur taille. Plus le modèle croît en taille, plus il exige de ressources pour l’hébergement et l’inférence, ce qui le rend difficile à déployer étant donné que ce ne sont pas tous les projets qui peuvent répondre à de tels besoins en ressources ou les justifier. Les modèles de grande taille présentent également des temps d’inférence plus longs et consomment plus d’énergie pendant les opérations d’inférence. En raison de ces défis, les techniques de compression de modèle, qui permettent de réduire la taille d’un modèle tout en maintenant sa précision et en améliorant la vitesse d’inférence, ont gagné en popularité. Ces modèles compacts peuvent fonctionner sur une unité centrale de traitement, un appareil mobile, dans un navigateur Web ou sur des appareils de pointe sans nécessiter de processeur graphique.

À ce titre, de nombreuses techniques d’accélération de l’inférence et de compression de modèle ont été mises au point au fil des ans. En voici quelques-unes :

• La quantification consiste à réduire la précision des valeurs numériques pour optimiser le stockage et l’efficacité de calcul sans entraîner de perte importante au chapitre de l’exactitude du modèle. On peut notamment penser aux techniques suivantes :
  • quantification après l’entraînement; entraînement sensible à la quantification; quantification dynamique.
• L’élagage consiste à supprimer des connexions ou des paramètres inutiles du modèle afin de réduire sa taille et sa complexité de calcul tout en maintenant sa performance. Parmi les techniques d’élagage, citons les suivantes :
  • élagage du poids; élagage des neurones; élagage des couches.
• La distillation des connaissances fait référence à l’entraînement par transfert de connaissances d’un modèle vaste et complexe (modèle enseignant) vers un modèle plus petit (modèle étudiant), afin d’obtenir une performance semblable, en comprimant efficacement les connaissances sous une forme plus compacte. Parmi les techniques de distillation des connaissances, mentionnons les suivantes :
  • distillation hors ligne; distillation en ligne; auto-distillation.

Dans le cadre de ce projet de recherche, nous avons étudié les outils libres existants pour la compression des modèles et nous avons mené des expériences pour réduire la taille et augmenter la vitesse d’inférence du modèle XLM-Roberta, entraîné au moyen de l’ensemble de données Standford Sentiment Treebank, version 2 (SST2), tout en maintenant la précision des données de base.

Progrès :

Nous avons mené de multiples expériences dans le but de réduire le temps d’inférence d’un modèle XLM-Roberta au point, avec une perte minimale de précision. Nous avons d’abord utilisé deux bases de référence : l’inférence avec un processeur graphique et l’utilisation de l’unité centrale seulement. Ensuite, pour nos expériences, nous avons appliqué les différentes techniques suivantes de Hugging Face Optimum :

• Amélioration du transformateur : Méthode d’optimisation de Pytorch pour obtenir une inférence plus rapide. Amélioration de 10 % de la vitesse par rapport à la base de référence, sans perte de précision.
• ONNX : La conversion du modèle du format Pytorch au format ONNX et son exécution avec le moteur d’exécution ONNX ont donné lieu à une augmentation importante de la performance. De plus, il est possible d’accroître encore davantage la performance du modèle en réduisant de moitié sa taille de sorte à le quantifier et à l’optimiser, et ce, pratiquement sans perte d’exactitude. La vitesse d’inférence du modèle a triplé, sans perte de précision.
• Compresseur neural : L’expérience n’a pas donné de résultats significatifs en matière d’amélioration de la performance. Cependant, elle a permis de réduire la taille du modèle de 2,1 Go à 500 Mo.
• Élagage du modèle : Suivie de la quantification et de l’optimisation, cette technique a présenté la plus grande amélioration de la vitesse et de la latence (qui ont presque quadruplé). En contrepartie, toutefois, nous avons constaté une perte de précision (-4 %).

Les outils de compression de modèle que nous avons utilisés pour nos expériences sont disponibles à l’adresse https://huggingface.co/docs/optimum/index.

Pour obtenir plus de renseignements, veuillez communiquer avec :
Alexandre Istrate (alexandre.istrate@statcan.gc.ca);
Sayema Mashhadi (sayema.mashhadi@statcan.gc.ca).

PROJET : Assistant d’étiquetage de l’intelligence artificielle explicable

Le projet d’assistant d’étiquetage de l’intelligence artificielle explicable (IA explicable) est une étude de recherche qui vise à améliorer l’interaction entre l’expertise humaine et les modèles d’apprentissage automatique en utilisant des « explications locales ». Alors que les algorithmes d’apprentissage automatique se multiplient dans les opérations et les priorités de Statistique Canada, la demande de données étiquetées de grande qualité a considérablement augmenté. Toutefois, la création et la tenue à jour de ces données peuvent demander beaucoup de travail et s’avérer coûteuses, surtout pour les tâches complexes qui nécessitent l’intervention de spécialistes.

Le présent projet de recherche vise principalement à aider les spécialistes du programme de l’Indice des prix à la consommation (IPC) à évaluer en permanence la performance du modèle et à déterminer les changements pertinents à apporter aux données d’entraînement qui influent sur la performance du modèle. Bien que l’étude soit centrée sur l’IPC, ses conclusions et ses méthodes pourraient être avantageuses pour tous les programmes de Statistique Canada qui nécessitent un étiquetage continu des données.

Dans le cadre de cette étude, nous voulons vérifier trois grandes hypothèses :

• Le fait de fournir des explications locales pour les prédictions d’un modèle peut améliorer considérablement la confiance de l’annotateur à l’égard de ces prédictions, ce qui accroît la confiance dans le modèle.
• L’utilisation d’explications locales peut améliorer l’expérience de travail de l’annotateur, ce qui donne lieu à des annotations de meilleure qualité.
• Le degré d’accord entre le modèle et l’annotateur en ce qui concerne l’importance accordée aux différents facteurs (ce qu’on appelle l’accord de classification fondée sur les caractéristiques) peut varier d’une catégorie à l’autre.

Progrès :

En date de l’hiver 2023, nous avons réalisé les progrès suivants : (i) Nous avons élaboré un processus de mise à l’essai mettant à contribution des annotateurs humains et 300 points de données choisis. Ces points de données proviennent de six catégories de produits de l’IPC. (ii) Nous avons créé un tableau de bord convivial qui présente les explications locales en fonction du modèle SHAP (explications additives de Shapley), afin d’aider les annotateurs à comprendre le processus de prise de décision du modèle. La prochaine étape est de recueillir les commentaires des annotateurs au sujet de leurs expériences.

Pour obtenir plus de renseignements, veuillez communiquer avec :
Soufiane Fadel (soufiane.fadel@statcan.gc.ca).

PROJET : Revue de la littérature sur l’apprentissage automatique équitable

Alors que l’utilisation d’algorithmes d’apprentissage automatique croit en popularité, des mesures s’imposent pour réduire au minimum les biais potentiels générés par les résultats des modèles. Dans cette optique, nous avons mené une revue de la littérature afin de comprendre différents critères d’évaluation de l’équité, de décrire des méthodes d’intégration de l’équité dans les méthodes d’apprentissage automatique et de discuter des avantages et des inconvénients de ces critères et méthodes.

Progrès :

La revue de la littérature nous a permis de résumer et de comparer diverses mesures d’équité individuelles et collectives et de découvrir des méthodes d’intégration de l’équité propres aux algorithmes. En bref, les mesures d’équité individuelles mettent l’accent sur l’atteinte de l’équité en analysant les décisions qui reposent sur l’observation, tandis que les mesures d’équité collectives tiennent compte de l’équité et de l’égalité parmi les différentes catégories (Barocas, Hardt et Narayanan, 2019). Nous avons étudié les méthodes équitables de classification, de mise en grappes, d’apprentissage contradictoire et de paramétrage de systèmes de recommandation (Chierichetti, Kumar, Lattanzi et Vassilvitskii, 2017; Zhang, Lemoine et Mitchell, 2018; Yang et Stoyanovich, 2017). Nous avons également discuté des recommandations afin de déterminer les mesures à utiliser. Le produit livrable final était un document interne (Wang-Lin, 2023) pouvant servir de référence préliminaire pour l’apprentissage automatique équitable au sein de la Division de la science des données, qui pourrait s’appliquer dans divers cas d’utilisation pour générer des résultats équitables, notamment pour l’imputation de variables démographiques dans les enquêtes. Ce document relève du thème « respect des personnes » du Cadre pour l’utilisation des processus d’apprentissage automatique de façon responsable à Statistique Canada, comme décrit dans le document intitulé Utilisation responsable de l’apprentissage automatique à Statistique Canada (Bosa, 2021), et peut être utilisé pour faciliter les évaluations de l’équité des projets au sein de l’organisme.

Pour obtenir plus de renseignements, veuillez communiquer avec :
Angela Wang-Lin (angela.wang-lin@statcan.gc.ca).

Bibliographie

Barocas, S., Hardt, M. et Narayanan, A. (2019). Fairness and Machine Learning. fairmlbook.org.

Bosa, K. (2021). Utilisation responsable de l’apprentissage automatique à Statistique Canada. Extrait de https://www.statcan.gc.ca/fr/science-donnees/reseau/apprentissage-automatique.

Chierichetti, F., Kumar, R., Lattanzi, S. et Vassilvitskii, S. (2017). Fair clustering through fairlets. Advances in Neural Information Processing Systems, 30.

Wang-Lin, A. (2023). Literature Review of Fairness in Machine Learning. Document interne non publié de Statistique Canada.

Yang, K., et Stoyanovich, J. (2017). Measuring fairness in ranked outputs. Dans Proceedings of the 29^th International Conference on Scientific and Statistical Database Management, pp. 1-6.

Zhang, B.H., Lemoine, B. et Mitchell, M. (2018). Mitigating unwanted biases with adversarial learning. Dans Proceedings of the 2018 AAAI/ACM Conference on AI, Ethics, and Society, pp. 335-340.

PROJET : Classification multimodale en apprentissage profond

Ce projet de recherche aborde tout d’abord la nature unimodale implicite de l’approche de classification habituelle utilisée en apprentissage profond (fonction d’activation Softmax avec perte d’entropie croisée), laquelle consiste à mettre en correspondance tous les intrants d’une classe donnée, sans égard à la complexité de la distribution des intrants, avec une seule région de l’espace de plongement déterminé en fonction du poids de la classe. Nous proposons ensuite d’utiliser des centres à classes multiples pour améliorer l’efficacité de la classification multimodale en apprentissage profond en augmentant la diversité des représentations prototypiques des classes. Ce projet décrit les approches que Statistique Canada peut utiliser pour améliorer la classification dans un contexte multimodal.

Progrès :

Le rapport explique d’abord comment la fonction Softmax, avec des classificateurs fondés sur la perte d’entropie croisée, représente implicitement les plongements des classes en tant que distributions unimodales dans l’espace de plongement, en fonction d’une représentation prototypique des classes. Le rapport décrit ensuite des méthodes de rechange issues de la littérature qui visent à corriger cette limitation, comme la perte SoftTriple et le réseau d’éléments prototypiques (Prototypical Parts Network) (Qian, Shang, Sun, Hu, Li et Jin, 2019; Chen, Li, Tao, Barnett, Rudin et Su, 2019). Par la suite, le rapport présente en détail une approche proposée pour la classification multimodale en apprentissage profond, à savoir la classification par k-sous-centres par l’entremise du partitionnement à k-moyennes. Il s’agit tout d’abord d’entraîner un classificateur Softmax standard fondé sur la perte d’entropie croisée, puis de trouver des instances représentatives distinctes de K pour chaque classe au moyen de leur plongement, lesquelles sont ensuite utilisées pour la classification. Le rapport propose également deux variantes de cette méthode, soit la classification par k-sous-centres interprétables par l’entremise du partitionnement à k-moyennes et la classification par k-sous-centres appris par l’entremise de l’initialisation du partitionnement à k-moyennes. Selon les résultats de l’expérience menée au moyen des méthodes SoftTriple et Softmax avec perte d’entropie croisée, et des trois méthodes de classification par k-sous-centres susmentionnées, entraînées sur l’ensemble de données CIFAR-10, la méthode la plus prometteuse est la classification par k-sous-centres appris par l’entremise de l’initialisation du partitionnement à k-moyennes. Pour consolider cette constatation, il est recommandé de poursuivre l’expérimentation sur d’autres ensembles de données, architectures de modèles et répétitions.

Pour obtenir plus de renseignements, veuillez communiquer avec :
Nicholas Denis (613-618-9948, nicholas.denis2@statcan.gc.ca).

Bibliographie

Chen, C., Li, O., Tao, D., Barnett, A., Rudin, C. et Su, J.K. (2019). This looks like that: Deep learning for interpretable image recognition. Advances in Neural Information Processing Systems, 32.

Qian, Q., Shang, L., Sun, B., Hu, J., Li, H. et Jin, R. (2019). Softtriple loss: Deep metric learning without triplet sampling. Dans Proceedings of the IEEE/CVF International Conference on Computer Vision, pp. 6450-6458.

PROJET : Processus modernes pour la prédiction de la consommation énergétique et des coûts en capital quotidiens des bâtiments — plateforme d’analyse de la technologie du bâtiment

Ressources naturelles Canada (RNCan) est à exécuter une modélisation complexe pour calculer la consommation énergétique et les coûts en capital horaires des bâtiments. Statistique Canada travaille en collaboration avec RNCan afin de déterminer une façon d’utiliser les modèles d’apprentissage automatique comme modèles de substitution pour prédire la consommation énergétique et les coûts en capital quotidiens des bâtiments. Ces prédictions ont permis d’accélérer grandement le délai d’exécution des analyses de base sur les bâtiments, comparativement à l’approche actuelle.

Progrès :

Après une phase de recherche initiale pendant laquelle nous avons étudié les solutions de modélisation de substitution existantes, comme la plateforme BESOS (Faure, Christiaanse, Evins et Baasch, 2019), le projet a été prolongé et opérationnalisé sous forme de validation de principe à source ouverte pouvant être exécutée sur diverses plateformes. Nous avons présenté le travail effectué dans le cadre de ce projet à la communauté de recherche sur les modèles de substitutions des bâtiments, et ce travail continuera d’être amélioré tout en tenant compte de la recherche d’autres groupes. Le programme peut entraîner des modèles d’apprentissage automatique de façon dynamique à partir de n’importe quel ensemble de données valide et utiliser un modèle entraîné pour produire des prédictions quotidiennes sur la consommation énergétique et les coûts en capital quotidiens. De plus, il fonctionnera pour tout type de bâtiment et toute zone climatique, et fournira à l’utilisateur des données qui lui permettront d’analyser la performance du modèle d’apprentissage automatique.

Par ailleurs, le programme peut, d’une part, calculer la consommation énergétique et les coûts en capital quotidiens globaux avec une grande précision, ou, d’autre part, produire des ventilations des valeurs globales (p. ex. la consommation quotidienne d’électricité et de gaz), avec une moins grande précision. Les résultats révèlent que l’utilisation de modèles de substitution permet aux analystes d’effectuer rapidement une analyse de base d’un bâtiment avant d’effectuer des simulations plus complexes. L’efficacité des prédictions variera selon les données d’entrée utilisées.

Pour obtenir plus de renseignements, veuillez communiquer avec :
Julian Templeton (julian.templeton@statcan.gc.ca).

Bibliographie

Faure, G., Christiaanse, T., Evins, R. et Baasch, G.M. (2019). BESOS: A collaborative building and energy simulation platform. Dans Proceedings of the 6^th ACM International Conference on Systems for Energy-Efficient Buildings, Cities, and Transportation, pp. 350-351.

PROJET : Créer une application d’approche participative généralisée

L’approche participative généralisée est un concept qui consiste à tirer parti d’un grand groupe décentralisé de personnes pour accomplir une tâche ou régler un problème. Elle a été utilisée dans divers domaines comme l’annotation des données, la création de contenu et la résolution de problèmes. Ce projet de recherche a pour but d’étudier la possibilité de mettre en œuvre une application d’approche participative à l’aide de technologies libres. Il vise à déterminer les avantages d’un système d’approche participative généralisé et à analyser les bienfaits et les obstacles d’un tel système.

Progrès :

Au cours de la phase initiale de ce projet de recherche, nous nous sommes concentrés sur les travaux existants dans le domaine de l’approche participative. Nous avons examiné des exemples comme le projet pilote fondé sur l’approche participative OpenStreetMap (OSM), l’initiative sur la COVID-19 axée sur l’approche participative du gouvernement du Canada et le projet de collecte de données sur le cannabis par approche participative, également mené par le gouvernement du Canada (Statistique Canada, 2020; Statistique Canada, 2022).

De plus, nous avons mis à profit notre expertise pour concevoir une architecture et créer un schéma pour stocker des données dans la base de données SQLite. Nous avons également créé des pages de démonstration de l’interface utilisateur pour présenter nos idées et les progrès réalisés dans les phases subséquentes du projet de recherche. Nos travaux ont été résumés et publiés dans le bulletin du Réseau de la science des données, avec un accent particulier sur la réduction des lacunes en matière de données pour l’entraînement des algorithmes d’apprentissage automatique au moyen d’une application d’approche participative généralisée (Manda et Widhani, 2023).

Pour obtenir plus de renseignements, veuillez communiquer avec :
Nikhil Widhani (nikhil.widhani@statcan.gc.ca);
Chatana Mandava (chatana.mandava@statcan.gc.ca);
Ekramul Hoque (ekram.hoque@statcan.gc.ca).

Bibliographie

Mandava, C., et Widhani, N. (2023). Pallier les lacunes dans les données pour l’entraînement d’un algorithme d’apprentissage automatique à l’aide d’une application fondée sur l’approche participative généralisée. Statistique Canada. https://www.statcan.gc.ca/fr/science-donnees/reseau/lacunes-donnees.

Statistique Canada (2020). Approche participative : répercussions de la COVID-19 sur l’expérience de la discrimination des Canadiens fichier de microdonnées à grande diffusion. https://www150.statcan.gc.ca/n1/fr/catalogue/45250008.

Statistique Canada (2022). Stratégie des données de Statistique Canada. https://www.statcan.gc.ca/fr/apercu/strategiedonnees.

PROJET : La confidentialité différentielle contre les attaques par inférence d’appartenance, une étude de la Commission économique des Nations Unies pour l’Europe

Au sein de la Commission économique des Nations Unies pour l’Europe (CEE-ONU), différentes équipes de recherche de bureaux statistiques nationaux et internationaux ont collaboré à divers projets. L’un de ces projets visait à déterminer s’il était possible de recourir à la confidentialité différentielle pour protéger un modèle d’apprentissage automatique contre les attaques par inférence d’appartenance, qui visent à déterminer les données utilisées pour entraîner le modèle.

Progrès :

Le projet est terminé et a permis de déterminer que le recours à la confidentialité différentielle permet de réduire avec succès l’efficacité des attaques par inférence d’appartenance contre les modèles d’apprentissage profond. L’une des attaques par inférence d’appartenance visant les modèles d’apprentissage automatique qui a été mise à l’essai repose sur modèles fictifs et des données synthétisées pour créer un modèle d’attaque qui prédit si un point de données fait ou non partie de l’ensemble de données d’entraînement du modèle cible (Shokri, Stronati, Song et Shmatikov, 2017). Le projet a permis de révéler que, lorsque la confidentialité différentielle est appliquée au processus d’entraînement, la quantité de données pouvant être reconnues avec précision comme faisant partie de l’ensemble de données d’entraînement initial est considérablement réduite. Par ailleurs, les essais révèlent que l’application de la confidentialité différentielle aux données d’entrée elles-mêmes ou au processus d’entraînement réduit l’efficacité du modèle entraîné. Par conséquent, il est important de déterminer comment trouver un compromis entre la confidentialité et l’efficacité, tout en tenant compte des attaques contre lesquelles nous devons protéger les modèles d’apprentissage automatique.

Les résultats des trois différents axes de recherche étudiés par le groupe de la CEE-ONU sont décrits et expliqués dans un rapport publié en ligne (Commission économique des Nations Unies pour l’Europe, 2023). Le rapport regroupe les résultats des travaux ci-dessus dans l’axe de recherche de l’apprentissage automatique confidentiel, ainsi que ceux des travaux menés dans les axes de recherche de l’intersection d’ensembles confidentiels et de la consultation libre des données.

Pour obtenir plus de renseignements, veuillez communiquer avec :
Julian Templeton (julian.templeton@statcan.gc.ca);
Benjamin Santos (438-459-7721, benjamin.santos@statcan.gc.ca).

Bibliographie

Shokri, R., Stronati, M., Song, C. et Shmatikov, V. (2017). Membership inference attacks against machine learning models. Dans 2017 IEEE Symposium on Security and Privacy (SP), pp. 3-18, mai 2017.

United Nations Economic Commission for Europe (2023). UNECE Project on Input Privacy Preservation. https://statswiki.unece.org/x/mQCQFw.

PROJET : Une nouvelle méthode pour choisir le nombre de classes dans un ensemble de données mixte dans le cadre de la classification à K prototypes, partie I : introduction

Le fait de pouvoir désigner des sous-groupes homogènes sans que l’on sache quel en est le nombre au préalable aide les cliniciens et les décideurs à améliorer leurs stratégies en les adaptant pour y intégrer des interventions en fonction des caractéristiques de ces sous-groupes homogènes. Le processus habituellement utilisé pour désigner ces sous-groupes s’appelle la classification. La classification par partition a été largement utilisée en raison de son efficacité par rapport à d’autres méthodes de classification, mais nécessite une connaissance préalable du nombre de classes. Bien qu’il existe dans la littérature de nombreuses mesures pour estimer le nombre de classes pour des ensembles de données comportant seulement des variables numériques, il n’en existe aucune qui s’applique aux ensembles de données mixtes (c.-à-d. ceux qui contiennent à la fois des variables numériques et des variables catégoriques). Dans la première partie de ce projet de recherche, nous avons présenté une nouvelle méthode permettant de choisir le nombre de classes dans un ensemble de données mixte de manière à ce que les classes soient stables et à permettre une contribution optimale et stable des variables catégoriques, tout en appliquant une méthode ayant fait l’objet de nombreuses études, à savoir la classification à K prototypes (Huang, 1997 et 1998; Szepannek, 2018; Szepannek et Aschenbruck, 2019).

Progrès :

Dans la première partie de ce projet de recherche, nous avons appliqué cette nouvelle méthode à un ensemble de données suffisamment vaste pour éviter les problèmes découlant de valeurs faibles ou nulles dans les cellules créées par le croisement de variables catégoriques et de classes lorsque l’ensemble de données est groupé au moyen de la classification à K prototypes. Pour ce faire, nous avons utilisé l’ensemble de données de la vague 1 de l’Enquête sociale canadienne — COVID-19 et bien-être (9 278 cas comportant trois variables numériques et sept variables catégoriques). Nous avons choisi le nombre de classes de cet ensemble de données mixtes en combinant les résultats d’une analyse de stabilité des affectations aux classes à ceux de la contribution des variables catégoriques aux classes. La première étape a été réalisée à l’aide de renseignements mutuels ajustés (Vinh et Epps, 2009; Vinh et Bailey, 2010; et Chiquet, Rigail et Dervieux, 2019) selon un nombre variable de classes et un plan entièrement randomisé. La deuxième étape, pour laquelle nous avons utilisé la contribution du khi carré de Pearson, visait à assurer une contribution maximale et stable des variables catégoriques aux classes. En combinant ces résultats avec les connaissances spécialisées, nous avons pu déterminer les variables catégoriques les plus importantes et choisir le nombre de classes dans l’ensemble de données de l’Enquête sociale canadienne — COVID-19 et bien-être. Un programme R reproductible a été créé pour réaliser cette partie de la recherche (Sivathayalan, Chu et Le Moullec, 2023).

Pour obtenir plus de renseignements, veuillez communiquer avec :
Ahalya Sivathayalan (613-302-6647, ahalya.sivathayalan@statcan.gc.ca).

Bibliographie

Chiquet, J., Rigail, G. et Dervieux, V. (2019). Efficient Computations of Standard Clustering Comparison - package aricode; CRAN.

Huang, Z. (1997). Clustering large data sets with mixed numeric and categorical values. Dans Proceedings of the 1^st Pacific Asia Knowledge Discovery and Data Mining Conference. Singapore: World Scientific.

Huang, Z. (1998). Extensions to the k-means algorithm for clustering large data sets with categorical values. Data Mining Knowledge Discovery, vol 2, 283-304.

Sivathayalan, A., Chu, K. et Le Moullec, J. (2023). A new method to choose the number of clusters of a mixed dataset under Kproto clustering, Part I: Introduction; document de travail, Statistique Canada.

Szepannek, G. (2018). clustMixType: User-Friendly Clustering of Mixed-Type Data in R; The R journal Vol. 10/2.

Szepannek, G., et Aschenbruck, R. (2019). k-Prototypes Clustering for Mixed Variables-Type Data: Package clustMixType; CRAN.

Vinh, N.X., et Epps, J. (2009). A Novel Approach for Automatic Number of Clusters Detection in Microarray Data based on Consensus Clustering. Ninth IEEE International Conference on Bioinformatics and Bioengineering.

Vinh, N.X., et Bailey, J. (2010). Information theoretic measures for clustering comparison: Is a correction for chance necessary? Proceedings of the 26^th International Conference on Machine Learning, Montréal, Canada.

PROJET : Une nouvelle méthode pour choisir le nombre de classes dans un ensemble de données mixte dans le cadre de la classification à K prototypes, partie II : évaluation

La classification par partition est traditionnellement utilisée pour désigner des sous-groupes homogènes sans que l’on sache quel en est le nombre au préalable en raison de son efficacité par rapport à d’autres méthodes de classification. La littérature offre de nombreuses méthodes et mesures de classification qui permettent d’obtenir des classes pour des ensembles de données ne comportant que des variables numériques et de les regrouper en conséquence, mais n’offre aucune méthode ni mesure applicables aux ensembles de données comportant des variables numériques et catégoriques. Dans la première partie de la présente recherche (Sivathayalan, Chu et Le Moullec, 2023), nous avons présenté une nouvelle méthode permettant de choisir un nombre de classes dans un ensemble de données mixte de manière à ce que les classes soient stables, à permettre une contribution optimale et stable des variables catégoriques, tout en appliquant la fonction de classification à K prototypes (Huang, 1997 et 1998; Szepannek, 2018; Szepannek et Aschenbruck, 2019). Dans cette deuxième partie de la recherche, nous avons appliqué cette méthode à cinq ensembles de données distincts dont le type et la qualité étaient variés, et dont la taille allait de 150 à 5 000 cas environ, afin de comprendre les problèmes susceptibles de se présenter pendant l’application de cette nouvelle méthode dans le cadre de la classification à K prototypes.

Progrès :

Précédemment (Sivathayalan, Chu et Le Moullec, 2023), la nouvelle méthode a été appliquée à un ensemble de données suffisamment vaste pour éviter les valeurs nulles ou très petites, tout en vérifiant la contribution de la variable catégorique à la classification et en effectuant une analyse de la stabilité des affectations aux classes. Cette deuxième partie de la recherche porte sur l’un des travaux ultérieurs énoncés dans la première partie. Ici, nous avons appliqué cette nouvelle méthode à des ensembles de données comportant divers nombres de variables catégoriques et de variables numériques, ainsi qu’à des données de qualité et de taille allant de 150 à 5 000 cas afin de comprendre les problèmes qui pourraient se produire. Cette évaluation a été effectuée à l’aide du programme R reproductible créé au cours de la partie I de cette recherche (Sivathayalan, Chu et Le Moullec, partie I, 2023). Les cinq ensembles de données suivants ont été utilisés : i) un ensemble de données sur les surdoses d’opioïdes (4 196 cas comportant 2 variables numériques et 12 variables catégoriques); ii) un ensemble de données sur le crédit en Allemagne (1 000 cas comportant 7 variables numériques et 13 variables catégoriques); iii) un ensemble de données sur l’approbation de crédit (690 cas comportant 6 variables numériques et 9 variables catégoriques); iv) un ensemble de données cardiaques (303 cas comportant 6 variables numériques et 7 variables catégoriques); v) un ensemble de données de lymphographie (148 cas comportant 2 variables numériques et 16 variables catégoriques). Veuillez noter que le premier ensemble de données provient de Statistique Canada, et que les quatre derniers ensembles sont extraits de données publiques (Dua et Graff, 2019). Le nombre convenable de classes choisies pour chaque ensemble de données, les différents problèmes rencontrés lors du choix du nombre de classes et les mesures adoptées pour les surmonter ont été indiqués. En outre, l’importance de combiner la contribution du chi carré des variables catégoriques avec les connaissances spécialisées a été mentionnée lors de la désignation des variables importantes dans la classification (Sivathayalan et Le Moullec, 2023).

Pour obtenir plus de renseignements, veuillez communiquer avec :
Ahalya Sivathayalan (613-302-6647, ahalya.sivathayalan@statcan.gc.ca).

Bibliographie

Dua, D., et Graff, C. (2019). UCI Machine Learning Repository [http://archive.ics.uci.edu/ml]. Irvine, CA: University of California, School of Information and Computer Science.

Huang, Z. (1997). Clustering large data sets with mixed numeric and categorical values. Dans Proceedings of the 1^st Pacific Asia Knowledge Discovery and Data Mining Conference, Singapore: World Scientific.

Huang, Z. (1998). Extensions to the k-means algorithm for clustering large datasets with categorical values. Data Mining Knowledge Discovery, vol. 2, No. 3.

Sivathayalan, A., Chu, K. et Le Moullec, J. (2023). A new method to choose the number of clusters of a mixed dataset under Kproto clustering, Part I: Introduction. Document de travail, Statistique Canada.

Sivathayalan, A., et Le Moullec, J. (2023). A new method to choose number of clusters of a mixed dataset under Kproto clustering, Part II: Evaluation; document de travail, Statistique Canada.

Szepannek, G. (2018). clustMixType: User-Friendly Clustering of Mixed-Type Data in R. The R journal, Vol. 10/2.

Szepannek, G., et Aschenbruck, R. (2019). k-Prototypes Clustering for Mixed Variables-Type Data: Package clustMixType. CRAN.

• Précédent
• Suivant