Programme de recherche et développement en méthodologie : réalisations, 2019-2020
1. Modélisation, intégration des données et science des données

1.1 Estimation sur petits domaines

Les estimations classiques fondées sur le plan de sondage des paramètres de population, ce qu’on appelle les estimations directes, sont généralement fiables, à condition que la taille de l’échantillon dans les domaines d’intérêt ne soit pas trop petite. Les estimations indirectes, qui empruntent de l’information à d’autres domaines ou à d’autres périodes, permettent souvent de réaliser des gains d’efficacité importants dans le cas des petits domaines, le prix à payer étant l’introduction d’hypothèses de modélisation. Ces dernières années, on a observé à Statistique Canada un regain d’intérêt pour l’étude des méthodes d’estimation indirecte par modèle sur petits domaines et un système a été mis au point. Le système et les méthodes en question sont décrits dans Hidiroglou, Beaumont et Yung (2019). Le but ultime est d’utiliser ces méthodes pour la production de statistiques officielles, lorsque cela est jugé approprié. Les principaux objectifs de ce projet sont les suivants :

1. élaborer de nouvelles méthodes d’estimation sur petits domaines qui tiennent compte des problèmes observés dans les enquêtes réelles;
2. étudier les propriétés des méthodes existantes selon différents scénarios afin de mieux comprendre comment et quand employer ces dernières;
3. établir une méthodologie d’estimation sur petits domaines convenant à certaines enquêtes prometteuses;
4. mettre au point et à l’essai des prototypes appliquant des méthodes nouvelles ou existantes susceptibles d'être utiles dans le cadre des programmes statistiques.

Des progrès ont été réalisés dans les sous-projets suivants. En voici une description.

SOUS-PROJET : Modélisation des meilleurs prédicteurs linéaires sans biais empirique (MPLSBE) et modélisation hiérarchique bayésienne (HB) pour l’estimation sur petits domaines dans le cadre de l’EPA avec lissage de la variance d’échantillonnage par opposition à la modélisation

Ce projet vise l’étude et l’évaluation du modèle de Fay-Herriot (FH) au moyen de différentes méthodes de modélisation et de lissage de la variance d’échantillonnage pour l’estimation des caractéristiques de la population active. Nous examinons en particulier les modèles de You et Chapman (2006) et de You (2016) pour l’estimation du taux de chômage et comparons les estimations du modèle aux estimations du recensement. Nous prévoyons établir un modèle approprié pour les petits domaines par modélisation ou lissage de la variance d’échantillonnage aux fins de l’estimation du taux de chômage dans l’Enquête sur la population active (EPA).

Progrès :

Nous avons étudié les approches du meilleur prédicteur linéaire sans biais empirique (MPLSBE) et du traitement hiérarchique bayésien (HB) pour estimer le taux de chômage à l’aide du modèle de Fay-Herriot avec modélisation ou lissage de la variance d’échantillonnage. Les estimations par modèle obtenues ont fait l’objet d’une comparaison avec les estimations du recensement pour les régions métropolitaines et les agglomérations de recensement (RMR/AR) et différentes tailles d’échantillon. Les résultats démontrent que la méthode de lissage de la fonction de variance généralisée (FVG) de You et Hidiroglou (2012) est la plus efficace dans l’estimation sur petits domaines avec les données de l’EPA. La modélisation hiérarchique bayésienne par les modèles loglinéaires de You (2016) se révèle aussi efficace par rapport aux estimations directes d’enquête pour ce qui est de la réduction du coefficient de variation (CV) et du biais. Employer une variance d’échantillonnage non lissée avec le MPLSBE de Wang et Fuller (2003) donne un piètre résultat, plus particulièrement lorsque la taille de l’échantillon est petite. À nos yeux, le lissage de la variance d’échantillonnage est nécessaire et constitue une étape importante dans l’estimation du taux de chômage par le modèle de Fay-Herriot si l’approche MPLSBE est retenue. Dans le cas d’une modélisation hiérarchique bayésienne, nous recommandons de modéliser la variance de l’échantillonnage à l’aide d’un modèle loglinéaire FVG. Les modèles et les résultats sont résumés dans un rapport de recherche (You, 2020a).

SOUS-PROJET : Estimation par modèle des totaux de l’EPA

Dans ce projet, nous étudions le modèle linéaire de Fay-Herriot et les modèles non linéaires non appariés pour l’estimation des totaux de l’EPA, dont le total de l’emploi. Nous prévoyons évaluer les estimations étalonnées ou non pour les totaux et les rapprocher des estimations du recensement. Cette étude fournira des modèles pour l’estimation des totaux et permettra d’évaluer l’utilisation de modèles loglinéaires non appariés et d’une procédure possible d’étalonnage dans l’estimation de totaux par modèle.

Progrès :

Le modèle log linéaire non apparié de Fay-Herriot (You et Rao, 2002), qui est fondé sur les méthodes hiérarchiques bayésiennes, est appliqué aux données des totaux de l’EPA en vue de l’estimation des totaux de l’emploi, de la population active et du chômage au niveau des RMR/AR. Dans l’estimation des totaux, le modèle linéaire de Fay-Herriot ne donne pas un bon résultat en cas de modélisation directe. Une transformation des taux ou des moyennes est nécessaire si le modèle de Fay-Herriot est employé. Dans l’estimation du total de l’emploi, un modèle loglinéaire non apparié par traitement bayésien hiérarchique fonctionne très bien et se révèle efficace en réduisant à la fois le biais et le coefficient de variation. Les distributions antérieures gamma inversent et par modèle loglinéaire de You (2016) produisent toutes deux des résultats semblables dans l’estimation des totaux. Le modèle loglinéaire non apparié fonctionne un peu mieux que le traitement par transformation, car le coefficient de variation obtenu est légèrement moindre. L’étalonnage ne diminue pas nécessairement le biais, puisque le modèle est adéquat pour les données. Des programmes et des rapports sommaires ont été écrits et produits (You, 2020b).

SOUS-PROJET : Estimation de l’erreur quadratique moyenne par plan dans l’estimation sur petits domaines

Ces dernières années, on a utilisé davantage le modèle de Fay-Herriot à Statistique Canada pour produire des estimations sur petits domaines. Ces estimations s’accompagnent habituellement d’estimations de l’erreur quadratique moyenne (EQM) par modèle. Toutefois, les utilisateurs sont habitués aux estimations de l’EQM par plan. L’avantage de l’EQM par plan sur l’EQM par modèle réside dans le fait de ne pas écarter par intégration la spécificité d’un domaine donné. Cette estimation par plan pourrait être plus intéressante pour les utilisateurs comme indicateur de la qualité des estimations. On sait que les estimations par plan de l’EQM sont instables (voir, par exemple, Rao, Rubin-Bleuer et Estevao, 2018). Nous prévoyons étudier le recours à une approche conditionnelle pour obtenir un estimateur plus efficace de l’EQM par plan.

Progrès :

Nous avons élaboré un estimateur de l’EQM par plan dans un traitement conditionnel. La théorie en question a d’abord été conçue pour le cas du meilleur prédicteur où on suppose que tous les paramètres du modèle sont connus. On s’attend à ce que cet estimateur soit plus efficace que l’estimateur sans biais de plan de l’EQM par plan. Le cas du meilleur prédicteur linéaire sans biais est actuellement à l’étude. Pour le meilleur prédicteur linéaire sans biais empirique (MPLSBE) où tous les paramètres du modèle font l’objet d’une estimation, nous avons conçu une procédure bootstrap d’estimation de l’EQM par plan. Notre traitement conditionnel sera évalué dans une étude en simulation. Un rapport interne provisoire a été produit (Beaumont, Lesage et Rao, 2020).

SOUS-PROJET : Évaluation de la robustesse du modèle de Fay-Herriot pour les petits domaines

Il est bien connu que les enquêtes probabilistes permettent d’obtenir des estimations fiables pour des domaines de la population pour lesquels la taille d’échantillon est suffisamment grande. La demande d’estimations pour des domaines de plus en plus fins s’est accrue dans les dernières années. Pour répondre à cette demande, sans augmenter drastiquement la taille d’échantillon globale et les coûts de collecte, on peut avoir recours à des techniques d’estimation sur petits domaines. Ces techniques reposent sur la détermination d’un modèle qui relie les données d’enquête à des données auxiliaires. Le modèle de Fay-Herriot est le plus fréquemment utilisé en pratique. Si le modèle est correctement spécifié, l’approche est valide et peut mener à des augmentations de précision importantes. Que se passe-t-il dans le scénario réaliste où le modèle ne tient pas la route parfaitement ? L’objectif de ce projet est d’évaluer et quantifier, théoriquement et/ou par simulations, les conséquences d’une mauvaise spécification du modèle sur le biais et la variance des estimations sur petits domaines, particulièrement pour les plus petits domaines. Différents types de mauvaise spécification du modèle sont évaluées.

Progrès :

Nous avons entrepris une étude en simulation à l’aide de divers scénarios pour vérifier les effets de la non-linéarité de la moyenne du modèle. Une grande conclusion est que les estimations sur petits domaines demeurent plus efficaces que les estimations directes en cas d’erreur de spécification du modèle, plus particulièrement dans le cas des domaines les plus petits. Un rapport de Buresi (2019) renseigne plus en détail sur ces résultats.

SOUS-PROJET : Diagnostics locaux pour le modèle de Fay-Herriot

Les outils de validation de modèle sous forme par exemple de graphiques des résidus servent souvent à évaluer la vraisemblance du modèle de Fay-Herriot. Les estimations d’erreur quadratique moyenne (EQM) par modèle permettent alors d’évaluer les gains d’efficacité que présentent les estimateurs sur petits domaines par rapport aux estimateurs directs. Toutes ces techniques sont utiles s’il s’agit de jauger le rendement global des estimations sur petits domaines. Il reste que les utilisateurs s’intéressent souvent à leur seul domaine bien précis et qu’un indicateur de qualité de leur estimation propre présente plus d’intérêt pour eux. C’est le but que réalise partiellement l’EQM par modèle, mais en écartant par intégration l’effet aléatoire local (erreur de modèle de couplage) qui intéresse les utilisateurs d’un domaine particulier. L’EQM par plan serait plus utile à ces utilisateurs, mais on sait que les estimations sans biais de plan de l’EQM par plan sont très instables (voir, par exemple, Rao, Rubin-Bleuer et Estevao, 2018). Le but du présent projet est de concevoir et d’étudier de nouveaux diagnostics d’effet local dans l’évaluation des estimations sur petits domaines.

Progrès :

Dans des recherches antérieures, nous avons conçu deux nouveaux diagnostics d’effet local. Ils font tous deux intervenir le résidu centré de chaque domaine, ainsi que le rapport entre la variance de modèle de couplage et la variance de modèle d’échantillonnage. Dans la dernière année, nous avons produit une étude qui a été soumise à Techniques d’enquête (Lesage, Beaumont et Bocci, 2020).

SOUS-PROJET : Estimation sur petits domaines des indicateurs de santé dans les quartiers en Ontario

Dans ce projet, nous avons examiné la capacité des techniques de traitement de petits domaines à estimer 19 indicateurs de santé (proportions) dans 147 quartiers ontariens à l’aide des données annuelles de l’Enquête sur la santé dans les collectivités canadiennes (ESCC). Cette enquête n’est pas conçue pour produire des estimations fiables de toutes les proportions en question à ce niveau. Nous avons modélisé les estimations d’enquête comme fonction des variables du recensement pour produire des estimations sur petits domaines par le cadre méthodologique de Fay-Herriot.

Progrès :

Nous avons produit des estimations sur petits domaines des 19 proportions visées. Nous avons produit des documents internes avec un exposé de stratégie générale et un résumé des résultats. Parfois, l’erreur quadratique moyenne était bien moindre pour les estimations sur petits domaines que pour les estimations directes de l’ESCC.

SOUS-PROJET : Estimation sur petits domaines des caractéristiques du travail selon les zones de travail autonomes

Il est possible d’établir des estimations directes des taux de chômage et des totaux de l’emploi à partir de l’Enquête sur la population active (EPA) à divers niveaux d’agrégation pour une période quelconque. Deux demandes ont été présentées en vue d’étudier la faisabilité de la production d’estimations sur petits domaines au niveau fin des zones de travail autonomes pour lesquelles les estimations directes de l’EPA ne sont normalement pas fiables. Nous avons utilisé le modèle de Fay-Herriot au niveau des domaines pour produire des estimations annuelles et mensuelles des taux de chômage et des totaux de l’emploi par une modélisation des estimations de l’EPA avec les estimations démographiques et les données de l’assurance-emploi comme information auxiliaire.

Progrès :

Nous avons produit pour les années 2011 à 2016 des estimations sur petits domaines des taux de chômage et des totaux de l’emploi en valeur annuelle selon les zones de travail autonomes et nous les avons soumises aux analystes.

Nous avons produit des estimations semblables des taux de chômage du 4^e au 11^e mois de 2019 pour chaque zone de travail autonome. Deux documents de Bocci et Beaumont (2019a, 2019b) décrivent le cadre méthodologique ayant servi à produire ces estimations sur petits domaines; ils présentent des diagnostics, des mesures de la qualité et des comparaisons. Les travaux se poursuivent en ce qui concerne l’estimation sur petits domaines du total de l’emploi.

SOUS-PROJET : Cours traitant de l’estimation sur petits domaines

Ce projet visait à créer un cours traitant des principes fondamentaux de l’estimation et du diagnostic sur petits domaines, ainsi que d’un système logiciel conçu par Statistique Canada pour produire de telles estimations dans la pratique.

Progrès :

Le cours a été mis au point et présenté en anglais. Il a été traduit en français. Après révision de la traduction, la version française sera prête.

Pour obtenir plus de renseignements, communiquez avec :
Jean-François Beaumont (613-863-9024, jean-francois.beaumont@canada.ca).

Bibliographie

Rao, J.N.K., Rubin-Bleuer, S. et Estevao, V.M. (2018). Mesurer l'incertitude associée aux estimateurs pour petits domaines fondés sur un modèle. Techniques d’enquête, 44, 2, 163-180. Article accessible à l’adresse https://www150.statcan.gc.ca/n1/fr/pub/12-001-x/2018002/article/54958-fra.pdf.

Wang, J., et Fuller, W.A. (2003). The mean square error of small area predictors constructed with estimated area variances. Journal of the American Statistical Association, 98, 716-723.

You, Y. (2016). Modélisation hiérarchique de la variance d'échantillonnage de Bayes pour l'estimation sur petits domaines basée sur des modèles au niveau des zones avec applications. Document de recherche de la Direction de la méthodologie, ICCSMD-2016-03-E.

You, Y., et Chapman, B. (2006). Estimation sur petits domaines à l'aide de modèles au niveau des zones et des variances d'échantillonnage estimées. Techniques d’enquête, 32, 1, 107-114. Article accessible à l’adresse https://www150.statcan.gc.ca/n1/fr/pub/12-001-x/2006001/article/9263-fra.pdf.

You, Y., et Hidiroglou, M. (2012). Méthodes de lissage de la variance d'échantillonnage pour les estimateurs de proportion de petits domaines. Document de travail de la Direction de la méthodologie, SRID-2012-08E, Statistique Canada, Ottawa, Canada.

You, Y., et Rao, J.N.K. (2002). Small area estimation using unmatched sampling and linking models. The Canadian Journal of Statistics, 30, 3-15.

1.2 Estimation en temps réel par la modélisation de séries chronologiques

D’autres projets liés aux séries chronologiques sont décrits à la section 4.6.

SOUS-PROJET : Modélisation des séries chronologiques et progrès de l’estimation en temps réel

La modélisation des séries chronologiques (en prévisions immédiates) est considérée comme un moyen possible de produire des indicateurs économiques avancés pour l’organisme. Nous avons sondé des modèles devant permettre de produire des indicateurs avancés et examiné la possibilité de présenter des indicateurs en temps réel qui pourraient fréquemment être mis à jour en fonction de l’information disponible la plus récente.

Progrès :

Nous avons recensé les études pour relever les modèles couramment utilisés en prévisions immédiates (modèles ARMMI et modèles à composantes inobservées) et enrichir notre connaissance des méthodes et des outils disponibles pour leur application. De nouveaux travaux ont permis d’étudier d’autres modèles disponibles en R (TBATS, ARMMI robustes et lissage exponentiel pour la prévision) ainsi que les modèles d’apprentissage automatique. Une version provisoire de lignes directrices de pratique pour l’établissement de prévisions immédiates a vu le jour (Matthews, Patak, Picard et Mischler (2020)). Ce document recense les familles disponibles de modèles de séries chronologiques avec leurs avantages et leurs inconvénients dans le contexte des prévisions immédiates; il examine la question de la production de prévisions immédiates dans le cas d’un organisme statistique national.

Un certain nombre de critères sont proposés en vue de juger si un estimateur avancé devrait être produit dans le contexte des statistiques officielles. Nous avons procédé à un certain nombre d’exercices de validation de principe portant sur la faisabilité des méthodes en question dans certains projets et dans des circonstances variables. L’équipe a évalué la modélisation des séries chronologiques et les méthodes d’établissement de prévisions immédiates avec les données mensuelles sur le commerce de détail (Matthews et Patak, 2020). L’évaluation consistait notamment à utiliser des prédicteurs tirés d’indicateurs avancés sous forme de produits statistiques, de données secondaires ou de réponses partielles à des enquêtes afin de quantifier le compromis entre précision et actualité pour des modèles fondés sur des sources d’information auxiliaire. Les résultats de ces travaux ont été présentés aux analystes de différents secteurs de Statistique Canada, ce qui devait mener à des applications des méthodes dans d’autres contextes. Ainsi, la modélisation a été appliquée à d’autres indicateurs. Les techniques ont été employées sur des données mixtes de fréquence pour produire et mettre à jour des prévisions immédiates, les résultats ont été comparés à ceux des techniques d’apprentissage automatique et l’utilisation d’indicateurs de sentiment comme variable auxiliaire a été étudiée.

L’équipe a continué à étendre l’application d’outils de prévision de haute performance en SAS à des fins d’utilisation générale en se proposant aussi d’établir une plateforme de traitement stable et d’améliorer la compréhension des méthodes. Il y a eu étude d’un certain nombre de caractéristiques du processus de sélection de modèle, ce qui a permis d’obtenir une certaine rétroaction au SAS, c’est-à-dire de signaler de légères incohérences et de clarifier les questions techniques au sujet de l’incidence des événements sur les degrés de liberté. Le logiciel continue à appuyer la modélisation des non-répondants critiques, à cerner les ruptures dans les séries et à permettre d’autres applications de modélisation.

Pour une constatation efficace et intuitive des tendances saisonnières dans les modèles de prévision, nous avons progressé dans la voie menant à un test de saisonnalité avec une périodicité souple (non paramétrique) pour dégager les tendances saisonnières dans les données quotidiennes, hebdomadaires et mensuelles. Nous avons envisagé une double approche de ré échantillonnage et de comparaison multiple. Nous avons réalisé et documenté une étude d’un test non paramétrique de saisonnalité fondé sur un rééchantillonnage pour produire une fonction de distribution empirique (Lapointe et Mischler, 2019).

Pour obtenir plus de renseignements, communiquez avec :
Steve Matthews (613-854-3174, steve.matthews@canada.ca).

1.3 Science des données – Apprentissage automatique

SOUS-PROJET : Modélisation des opioïdes

Il existe actuellement au Canada une véritable crise des surdoses et des décès aux opioïdes. Il faut comprendre les circonstances plus générales que vivent les gens avec les opioïdes pour mieux éclairer l’adoption de politiques visant à traiter les facteurs en amont. Pour répondre à ce besoin d’information, Statistique Canada, en collaboration avec plusieurs organismes britanno-colombiens (notamment le British Columbia Opioid Steering Committee) a créé une source complète de données couplées réunissant une information administrative pour mieux comprendre les déterminants socioéconomiques des victimes d’événements indésirables liés aux opioïdes (décès et surdoses). Le but est de trouver des techniques d’intelligence artificielle et d’apprentissage automatique pour appuyer les analyses de prédiction et de trajectoire à l’aide de mégadonnées structurées portant sur ces événements indésirables à titre d’étude de cas.

Progrès :

Nous avons réalisé une analyse d’hétérogénéité de la cohorte étudiée. Il s’agissait d’une analyse en grappes faisant appel à 15 variables discontinues et à 2 variables continues. Comme les variables mêlent le discontinu et le continu, la méthode à $k$ prototypes de Huang (1998) a servi à l’analyse en grappes. Pour juger du nombre de grappes à prévoir, nous avons exécuté neuf cycles indépendants de mise en grappes à $k$ prototypes (pour 2 à 10 grappes); nous avons effectué des diagnostics pour jauger l’optimalité du nombre de grappes ainsi que l’expertise en la matière. Pour évaluer la stabilité des grappes (en ce qui concerne les initialisations aléatoires), nous avons exécuté 10 autres cycles indépendants de cette mise en grappes à $k$ prototypes. Pour chaque paire de grappes, nous avons calculé deux mesures de similarité. Nous avons évalué la stabilité au moyen du graphique de densité et de l’histogramme résultants des deux scores de similarité. Nous avons vérifié si l’analyse de stabilité des grappes par l’un ou l’autre de ces scores livrerait la même conclusion qu’avec l’autre score en produisant le diagramme de dispersion des paires de grappes des deux et en constatant que les deux scores épousent très étroitement une transformation non linéaire strictement croissante l’un de l’autre. Les grappes ainsi obtenues présentent des profils distincts des événements de la vie qui corroborent fortement ce que décrivent les études de santé publique. Un manuscrit est en préparation sur les résultats de l’analyse en grappes. Une étude aura lieu par la suite en vue d’estimer les risques conditionnels des événements liés aux opioïdes par grappe, le but étant d’étudier la faisabilité de la prédiction d’événements imminents aux opioïdes par les antécédents récents d’événements dans la vie de chaque personne.

Bibliographie

Huang, Z. (1998). Extensions to the k-means algorithm for clustering large data sets with categorical values. Data Mining and Knowledge Discovery 1998; volume 2.

SOUS-PROJET : Prédiction des rendements culturaux

Statistique Canada diffuse des estimations annuelles de rendement des cultures (production par unité de superficie de terres en récolte) à la fin de chaque année de référence. Il publie en outre des prédictions de rendement des cultures sur l’année plusieurs fois dans la seconde moitié de l’année de référence. Pour les prédictions de juillet 2019, il a appliqué une méthode par modèle, principalement une sélection de variables par le système LASSO, suivie d’une régression linéaire robuste, pour éliminer progressivement la question sur les rendements culturaux dans l’enquête de juillet dans une province, soit le Manitoba. Dans ce projet, on examine si certaines techniques d’apprentissage automatique peuvent livrer de meilleures prédictions que la méthode actuellement employée dans les prédictions de rendement au Manitoba en juillet 2019 à l’aide de mesures longitudinales de janvier à juillet du degré de végétation au niveau des parcelles, de données sur les conditions météorologiques locales, de précisions sur les types de cultures des parcelles, etc.

Progrès :

Pour évaluer et dégager un meilleur modèle de prédiction des rendements que le modèle actuel, nous devons tenir compte de la contrainte opérationnelle suivante : le modèle d’apprentissage à déployer chaque année ne peut avoir été formé que par les données d’années strictement antérieures. Nous avons donc élaboré un protocole de validation prospective où, pour une année, les données qui s’y rattachent servent de données de validation et où les données des années d’une période fixe d’apprentissage strictement antérieure à l’année en question servent de données d’apprentissage. Nous avons répété pour plusieurs années de validation. Des données remontant à l’an 2000 étaient disponibles. Nous avons employé les données de 2000 à 2017 pour l’apprentissage et la validation et les données de 2018 et 2019 comme test. Nous avons appliqué plusieurs techniques d’apprentissage automatique comme XGBoost, Support Vector Machine (SVM), Random Forest et glmnet. Nous avons fait une recherche par quadrillage pour bien régler les hyperparamètres. Nous avons élaboré deux mesures pour comparer les résultats à ceux de la méthode actuelle, à savoir l’erreur relative pondérée par la production moyenne et l’écart-type de l’erreur relative en pondération par la production moyenne. Grâce à ces mesures, nous avons pu démontrer que les modèles d’apprentissage automatique les plus performants innovent en réalité sur le modèle en place. Nous sommes en train de mettre cette nouvelle approche en exploitation pour l’année de référence 2021 avec un essai parallèle en 2020.

SOUS-PROJET : Approche d’apprentissage automatique pour la classification statistique

Nous désirons améliorer l’efficacité et l’exactitude de la classification statistique par laquelle le texte fourni par un répondant est catégorisé (ou codé) de manière à faciliter la totalisation et l’inférence. Ainsi, les réponses textuelles aux questions sur le titre du poste et les principales fonctions sont régulièrement converties en une classe professionnelle (code numérique à quatre chiffres) de la Classification nationale des professions. Les algorithmes d’apprentissage automatique promettent un rendement supérieur à celui du codage manuel classique où quelqu’un examine le texte fourni et choisit un code, ce qui assurera une exactitude comparable, mais plus rapidement et à moindre coût.

Progrès :

Nous avons ajouté au logiciel G-code des fonctions automatiques de codage fondées sur l’apprentissage automatique et plus particulièrement sur fastText. Nous avons procédé à divers essais et évaluations avec des textes d’entrée tirés d’enquêtes et de recensements antérieurs pour divers systèmes de classification (industries, professions, principaux domaines d’études, etc.).

SOUS-PROJET : Projets d’apprentissage automatique pour le Groupe de haut niveau sur la modernisation des statistiques officielles (GHN-MSO)

Le projet d'apprentissage automatique du Groupe de haut niveau pour la modernisation des statistiques officielles (GHN-MSO) a débuté au printemps 2019 et se compose de trois lots de travaux: 1) Preuve de concepts; 2) Mesure de la qualité et 3) Intégration de l'apprentissage automatique (ML) dans les organisations. Statistique Canada a participé aux trois modules de travail à des degrés divers. Notre participation sera discutée dans ce rapport.

Le but de la preuve de concepts est de partager les connaissances, l'expérience et le code (le cas échéant) entre les groupes impliqués dans le projet. La preuve de concepts couvre de multiples utilisations différentes du ML telles que la classification, l'imputation, le traitement d'image et l'analyse des sentiments. L'objectif du module de travail sur la mesure de la qualité est de développer un cadre de qualité qui permettra aux statisticiens officiels de comparer les algorithmes statistiques, y compris ceux d'apprentissage automatique. Le cadre sera basé sur des concepts existants mais sera adapté aux algorithmes statistiques. Enfin, l'objectif du module de travail Intégration est d'identifier les meilleures pratiques et de guider les organisations statistiques nationales novices en apprentissage automatique sur la meilleure façon de l'intégrer dans leur environnement.

Progrès :

Dans le cadre de l'ensemble de preuve de concept, les employés de Statistique Canada ont participé à une preuve de concept de codage et de classification en vue de l'intégration de l'algorithme FastText dans notre outil de codage généralisé (G-CODE). Le nouvel algorithme a été utilisé pour coder l'industrie et la profession pour deux enquêtes sur la santé à Statistique Canada et les résultats, les expériences et le code ont été partagés avec le groupe d'apprentissage automatique HLG-MOS. Les employés de la Direction générale de la méthodologie ont également fourni une assistance ou des conseils sur deux preuves de concept entreprises par d'autres pays. La preuve de concept de l'Office des statistiques nationales (ONS) a étudié l'utilisation d'arbres de décision pour élaborer des règles de vérification pour l'une de leurs enquêtes sur les dépenses des ménages. Une étude similaire a été entreprise dans le cadre du Programme de données fiscales agricoles de Statistique Canada et le méthodologiste impliqué a fourni des conseils à l’ONS. Une preuve de concept de la Belgique a étudié l'utilisation de l'apprentissage automatique pour prédire les bilans énergétiques afin de produire des données plus opportunes. La section des séries chronologiques de la Branche de la méthodologie a travaillé avec les chercheurs en Belgique pour voir comment les méthodes d'apprentissage automatique se comparent aux méthodes de séries chronologiques. Les résultats ont été obtenus et sont partagés avec les chercheurs en Belgique.

Un employé de la succursale dirige le lot de travail sur les mesures de la qualité qui produira un cadre de qualité pour les algorithmes statistiques. Le cadre comportera les cinq dimensions suivantes: interprétabilité, précision, rapidité, rentabilité et reproductibilité. Une version finale du cadre devrait être disponible à l'automne 2020.

Pour le package d'intégration, un petit sprint en face à face a été organisé à Statistique Canada en octobre 2019. Les participants du sprint étaient les trois responsables du lot de travail et le gestionnaire de projet. Au cours du sprint, les participants ont eu l'occasion de rencontrer le statisticien en chef et le statisticien en chef adjoint, Stéphane Dufour, qui copréside le conseil exécutif du HLG-MOS. Le principal résultat du sprint était une feuille de route pour le lot de travail 3. Le lot de travail 2 des employés de la Direction générale était l'organisateur principal du sprint et y a également participé.

Pour obtenir plus de renseignements, communiquez avec :
Yanick Beaucage (613-854-2397, yanick.beaucage@canada.ca).

1.4 Intégration des données – Couplage d’enregistrements

Le couplage d’enregistrements joue un grand rôle dans la production des statistiques officielles. Il s’expose cependant aux erreurs, parce qu’il fait souvent appel à des quasi-identificateurs non uniques qui sont enregistrés avec des variantes et des erreurs typographiques. Dans le présent projet, nous examinons la production et l’utilisation de données couplées, et notamment l’estimation fidèle des erreurs de couplage. D’autres activités dans le domaine du couplage d’enregistrements sont décrites à la section 4.1.

SOUS-PROJET : Estimation des erreurs de couplage dans un contexte de protection de la vie privée

On a conçu diverses méthodes pour coupler des données chiffrées, dont les méthodes par filtrage de Bloom (Kroll, Niedermeyer, Schnell et Steinmetzer, 2014). Un grand défi à cet égard a cependant été l’estimation fidèle des erreurs de couplage et le problème lié de l’établissement des paramètres de couplage. Les solutions adoptées par le passé faisaient appel à des données d’apprentissage qui étaient souvent indisponibles.

Progrès :

Le projet s’est attaqué à ce problème en faisant la démonstration d’une estimation fidèle des erreurs de couplage dans un contexte de protection de la vie privée, et ce, sans données d’apprentissage. On y a appliqué un nouveau modèle d’erreur en fonction du nombre de voisins d’un enregistrement donné (Dasylva, Goussanou, Ajavon et Abousaleh, 2019). On a créé une population finie avec des noms, des dates de naissance, des adresses, etc. On a créé deux registres complets sans duplication et procédé au couplage à l’aide de filtres de Bloom (Kroll et coll., 2014) en prévoyant des critères de blocage fondés sur les tout premiers bits et des comparaisons par l’indice de Dice. Les paramètres de couplage étaient le nombre de bits servant au blocage et le seuil de l’indice de Dice. Les paramètres ont été réglés à diverses valeurs et, pour chaque paramétrage, on a estimé les taux d’erreur et les a comparés aux taux réels en fonction de l’état d’appariement effectif. Dans chaque réglage, les taux estimatifs étaient proches des taux réels. Ces résultats démontrent la possibilité de coupler des données chiffrées en toute précision sans données d’apprentissage. Les détails sont présentés par He (2019).

SOUS-PROJET : Analyse de survie avec données couplées

Les erreurs de couplage sont source de biais en analyse, notamment dans l’analyse de survie. La correction de ces erreurs présente de nombreux défis, dont une estimation fidèle des erreurs et la justesse de la méthode de correction compte tenu des taux estimés.

Progrès :

Dans ce projet, nous avons examiné l’étude de mortalité des cohortes par couplage de la Base canadienne de données sur les décès et de l’Enquête sur la santé dans les collectivités canadiennes. Nous y avons mis à l’essai deux nouvelles méthodes d’analyse de survie avec des données couplées, dont une nouvelle méthode d’estimation d’erreur (Dasylva et coll., 2019) et une nouvelle méthode de correction (Dasylva, 2018). Nous avons dégagé un certain nombre de questions à examiner dans de futurs travaux. Une première difficulté est la longue durée d’exécution de la procédure numérique servant à calculer les paramètres corrigés de survie. Une autre est de tenir compte du plan de sondage de l’Enquête sur la santé dans les collectivités canadiennes au moment d’estimer les erreurs de couplage. Les détails sont présentés par Miller (2019).

Pour obtenir plus de renseignements, communiquez avec :
Abel Dasylva (613-408-4850, abel.dasylva@canada.ca).

Bibliographie

Dasylva, A. (2018). Pairwise Estimating Equations for the Analysis of Linked Data, thèse de doctorat, Carleton University, 2018.

Kroll, M., Niedermeyer, F., Schnell, R. et Steinmetzer, S. (2014). Cryptanalysis of basic bloom filters used for privacy preserving record linkage. Journal of Privacy and Confidentiality, 6, 59-79.

1.5 Méthodes mixtes et approche qualitative

SOUS-PROJET : Engagement international − Évaluation par les méthodes mixtes

Statistique Canada exerce des activités internationales pour diverses raisons. Pour un organisme statistique de premier plan, apporter un leadership et une expertise technique à la communauté internationale est un effort de tous les instants. De tels efforts sont surveillés de près par le programme d’engagement international.

Jusqu’à présent, la surveillance exercée par ce programme a privilégié les éléments de mesure quantitative. Il y a une déclaration trimestrielle de caractéristiques comme le nombre de participants, la nature des rôles, le coût des activités, les frais de déplacement et la participation par secteur. Toutefois, on désire de plus en plus comprendre davantage la valeur de cet engagement international au-delà des statistiques quantitatives du programme. La présente étude recourt à la recherche par les méthodes mixtes pour nous éclairer à ce sujet. C’est une recherche qui tire parti des atouts possibles des méthodes tant qualitatives que quantitatives pour analyser des sujets dans leur complexité.

Progrès :

L’évaluation du programme d’engagement international est terminée et ses résultats en décrivent les forces et les faiblesses. Le projet réalisé a consisté en interviews cognitives auprès des participants à ce programme et en collecte de données quantitatives, ces deux volets étant intégrés dans l’optique retenue de recherche par les méthodes mixtes. Une analyse rétrospective a permis de jauger la faisabilité d’une application généralisée des méthodes mixtes à Statistique Canada.

SOUS-PROJET : Étude par les méthodes mixtes de la mesure des facteurs psychosociaux de santé mentale en milieu de travail

Le groupe du Projet de mesure du rendement en matière de santé mentale en milieu de travail, codirigé par Services publics et Approvisionnement Canada et Statistique Canada, en consultation avec les professionnels des ressources humaines et les psychologues organisationnels, a entrepris un exercice collectif de schématisation des concepts dans une analyse des indicateurs liés à 13 facteurs psychosociaux dans les organismes fédéraux, et ce, à l’aide de diverses sources d’information, dont le Sondage auprès des fonctionnaires fédéraux (SAFF). Cette étude visait principalement à présenter une méthode rigoureuse d’évaluation de la mise en correspondance proposée des concepts entre les éléments du SAFF de 2017 et les 13 facteurs psychosociaux.

Progrès :

Nous avons adopté une approche d’enquête sociale par les méthodes mixtes (Greene, 2007) avec triangulation et analyse de complémentarité. D’abord, nous avons mené un exercice de mise en correspondance des concepts (sur le mode qualitatif) afin de voir dans quelle mesure les éléments du SAFF s’harmonisaient avec les 13 facteurs psychosociaux selon la perception d’un groupe choisi de fonctionnaires. Cet exercice de schématisation conceptuelle était différent de l’exercice précédent du groupe de projet, en ce sens qu’il était demandé aux participants de faire l’exercice indépendamment plutôt que collectivement. Nous avons calculé des cotes d’accord entre les évaluateurs. En second lieu, nous avons procédé à des analyses de facteurs exploratoires et confirmatoires (sur le mode quantitatif) pour examiner si les éléments du SAFF déjà mis en correspondance mesuraient convenablement les 13 facteurs psychosociaux. Nous avons pris divers critères en considération pour évaluer l’ajustement du modèle. Nous avons mis en triangulation et en rapprochement de complémentarité (par les méthodes mixtes) les résultats de l’exercice de schématisation conceptuelle et d’analyse factorielle pour évaluer la mise en correspondance des concepts proposés par le groupe de projet. La conclusion a été qu’il faudrait sans doute développer les éléments d’information et envisager d’autres sources de données pour mieux mesurer les facteurs psychosociaux.

Un rapport détaillé (Arim, Bougie, Michaud, Tabuchi, Yung et Kohen, 2019) a été préparé pour le groupe du Projet de mesure du rendement en santé mentale en milieu de travail.

Pour obtenir plus de renseignements, communiquez avec :
Laurie Reedman (613-894-2779, laurie.reedman@canada.ca).

Bibliographie

Greene, J.C. (2007). Mixed Methods in Social Inquiry. San Francisco: Jossey-Bass.

• Précédent
• Suivant