Programme de recherche et développement en méthodologie : réalisations, 2017-2018
1. Projets de recherche

Warning Consulter la version la plus récente.

Information archivée dans le Web

L’information dont il est indiqué qu’elle est archivée est fournie à des fins de référence, de recherche ou de tenue de documents. Elle n’est pas assujettie aux normes Web du gouvernement du Canada et elle n’a pas été modifiée ou mise à jour depuis son archivage. Pour obtenir cette information dans un autre format, veuillez communiquer avec nous.

1.1 Recherche-développement – Estimation sur petits domaines

Les estimations classiques fondées sur le plan des paramètres de population, appelées estimations directes, sont généralement fiables à condition que la taille de l’échantillon dans les domaines d’intérêt ne soit pas trop petite. Les estimations indirectes, qui empruntent de l’information à d’autres domaines ou à d’autres périodes, permettent souvent de réaliser d’importants gains d’efficacité pour les petits domaines moyennant l’introduction d’hypothèses de modélisation. Ces dernières années, on a observé à Statistique Canada un regain d’intérêt pour l’étude de méthodes d’estimation indirecte sur petits domaines fondée sur un modèle. Le but ultime est d’utiliser ces méthodes pour la production de statistiques officielles, lorsqu’elles sont jugées appropriées. Les principaux objectifs du présent projet sont les suivants :

  1. élaborer de nouvelles méthodes d’estimation sur petits domaines qui tiennent compte des problèmes observés dans les enquêtes réelles;
  2. étudier les propriétés des méthodes existantes dans différents scénarios, afin de mieux comprendre comment et quand les utiliser;
  3. déterminer une méthodologie d’estimation sur petits domaines appropriée pour certaines enquêtes candidates;
  4. développer et tester des prototypes mettant en œuvre des méthodes nouvelles ou existantes susceptibles de profiter aux programmes statistiques.

Jusqu’à présent, des progrès ont été réalisés dans les sous-projets décrits ci-après.

Sous-projet : Recherche sur l’erreur quadratique moyenne fondée sur le plan d’estimations sur petits domaines

Dans le cadre de la théorie des estimations sur petits domaines, la variabilité des estimations se mesure à l’aide de l’erreur quadratique moyenne (EQM) fondée sur le modèle. Les organismes statistiques souhaitent estimer l’EQM du plan de sondage de ces estimations conformément aux estimations d’EQM du plan de sondage traditionnelles des estimateurs directs pour les domaines présentant une taille d’échantillon adéquate. Ces estimations d’EQM de plan de sondage tendent à être instables en cas de petite taille d’échantillon du domaine. Dans le présent projet de recherche, nous proposons des estimateurs d’EQM composites en utilisant une somme pondérée de l’EQM de plan de sondage et des estimateurs d’EQM de modèle. Nous étudions les propriétés de ces estimateurs composites en examinant le biais par rapport au plan, la racine carrée relative de l’erreur quadratique moyenne et le taux de couverture des intervalles de confiance.

Progrès :

Nous avons rédigé un document de recherche (Rao, Rubin-Bleuer et Estevao, 2018) sur ce sujet et créé des programmes afin de mener des études de simulation pour les modèles au niveau du modèle et au niveau de l’unité. Les résultats de ces études de simulation montrent que les estimateurs d’EQM composites proposés offrent un bon compromis pour estimer l’EQM de plan de sondage. Cet article a été soumis et accepté pour être publié dans la revue, Techniques d’enquête.

Sous-projet : Estimations sur petits domaines pour Affaires mondiales Canada (AMC)

La tâche convenue avec Affaires mondiales Canada est de déterminer la faisabilité de la production d’estimations annuelles sur petits modèles du taux de chômage et du nombre d’emplois pour des domaines donnés. Ces domaines désignent des régions métropolitaines de recensement (RMR) par profession (CNP4) ainsi que des RMR par secteur (SCIAN4). Les expériences sont menées sur des données relatives à l’année 2016. Si des estimations obtenues à partir de méthodes d’estimations sur petits domaines semblent prometteuses, cet exercice pourrait être reproduit et s’avérer utile pour des années sans recensement. Pour les années de recensement, les taux et nombres souhaités peuvent être directement produits à partir du recensement.

L’objectif d’une estimation sur petits domaines est de produire une estimation par domaine de qualité supérieure à celle de l’estimation directe, en combinant des renseignements externes disponibles pour tous les domaines. La première étape du processus d’estimation sur petits domaines est en fait de lisser les estimations directes de la variance. On y parvient en créant un modèle de lissage de variance qui utilise les sources auxiliaires déterminées. L’étape suivante consiste à modéliser les estimations directes des statistiques d’intérêt. Les prédictions de ces deux modèles sont alors intégrées pour produire une estimation sur petits domaines et sa mesure de la qualité associée.

Progrès :

Nous avons obtenu tous les ensembles de données nécessaires pour ce projet. Trois sources auxiliaires ont été utilisées : les données des PD7, les données de l’assurance-emploi et les données de l’Enquête sur les postes vacants et les salaires. La majeure partie de nos efforts s’est concentrée sur la construction d’un modèle et l’évaluation de son rendement. Des hypothèses de modélisation sous-jacentes devaient être vérifiées. Cela signifiait d’analyser des diagrammes et d’autres diagnostics de modèle, afin de déterminer l’efficacité de chaque modèle. Relativement au lissage de variance, nous avons construit et comparé six modèles de lissage de variance. Le comportement des données de ces expériences est tel qu’une grande partie de ce travail exploratoire est personnalisé. C’est-à-dire que nous avons dû construire des modèles de lissage plus raffinés que ceux utilisés dans nos expériences antérieures. Une fois satisfaits de nos modèles, nous explorerons plus avant la qualité des estimations sur petits modèles obtenues, avant de les diffuser.

Sous-projet : Estimation sur petits domaines à l’aide de données de panels non probabilistes

Statistique Canada explore d’autres sources de données, afin de réduire le fardeau de réponse ainsi que d’améliorer les estimations standards (directes) de ses enquêtes. Des données ont été obtenues d’une enquête non probabiliste menée par téléphone cellulaire, offrant des récompenses aux répondants. Dans l’application pour téléphones cellulaires, des questions sont posées sur l’état de santé, le revenu et la situation professionnelle. Ce projet a permis d’étudier la faisabilité d’utiliser cette source de rechange dans le contexte d’estimations sur petits domaines.

Progrès :

Trois expériences d’estimation sur petits domaines (EPD) ont été menées. La première consistait à évaluer si les données de panel pouvaient être utilisées comme information de rechange pour des EPD de certaines statistiques sur la santé de l’Enquête sur la santé dans les collectivités canadiennes (ESCC), au niveau de la région sociosanitaire. Une deuxième expérience, qui avait au départ le même objectif que la première, consistait à utiliser les données de panel dans le cadre de méthodes d’EPD pour certaines estimations sur l’emploi de l’Enquête sur la population active (EPA), au niveau de la région métropolitaine de recensement et l’agglomération de recensement. Une troisième expérience visait à réduire le fardeau de réponse et à déterminer si des méthodes d’EPD fondées sur des données de panel pouvaient être appliquées à un échantillon d’ESCC de plus petite taille, pour obtenir des estimations de qualité similaire à celle des estimations standards directes fondées sur l’échantillon entier.

Dans les deux premières expériences, l’utilisation de données de panel comme information de rechange dans le processus d’EPD a donné lieu à peu d’amélioration, voire aucune dans certains cas. Les EPD ont amélioré les estimations directes, mais l’amélioration semblait souvent ne pas être directement attribuable à l’utilisation des données de panel. La troisième expérience présentait la possibilité d’appliquer des techniques d’EPD sur un échantillon d’ESCC réduit. On a remarqué que les EPD fondées sur une taille d’échantillon réduite (33 % de l’échantillon complet) permettraient d’atteindre une précision similaire à celle permise par des estimations directes reposant sur l’échantillon complet. Les gains de précision découlant de l’utilisation de données de panel sur un modèle d’EPD moyen commun simple étaient relativement limités. Des gains de précision similaires ou supérieurs pouvaient être obtenus en utilisant des données administratives existantes. Des écarts majeurs dans les données de panel, comme des erreurs de mesure, la couverture et la représentativité, peuvent expliquer l’absence de corrélation entre les données de panel et d’ESCC et leur inefficacité à améliorer les estimations EPD au-delà d’un modèle moyen commun. Ce rapport n’a pas fourni de commentaires sur la question générale de savoir si les gains obtenus de l’utilisation des méthodes d’estimation sur petits domaines compensaient les risques d’erreur de spécification du modèle ni n’a évalué si les coûts d’acquisition de ces données de panel en particulier justifiaient les gains potentiels (limités) de leur utilisation à des fins d’estimation sur petits domaines.

Ce projet est terminé et un document a été rédigé résumant l’étude et les résultats obtenus. Il a également fait l’objet d’une présentation au Comité consultatif des méthodes statistiques en septembre 2017 (Beaumont et Bocci, 2017).

Sous-projet : Meilleur prédicteur linéaire sans biais empirique (MPLSBE) et estimations sur petits domaines hiérarchiques bayésiennes (HB) avec modélisation de la variance de l’échantillon pour totaux et/ou dénombrements à l’aide de modèles appariés et non appariés au niveau du domaine avec application sur l’Enquête mensuelle sur les industries manufacturières (EMIM)

Comparaison du MPLSBE et des estimations HB selon différents priors sur les composantes de variance, en particulier pour les variances d’échantillonnage en cas de taille réduite des échantillons propres à un domaine. Exploration de l’incidence de la taille de l’échantillon et des modèles de variance d’échantillonnage sur les estimations sur petits domaines. Proposition de méthodes et modèles permettant de gérer la variance d’échantillonnage en cas de taille d’échantillon réduite avec des applications utilisant des données de l’EMIM.

Progrès :

Pour l’approche MPLSBE, nous avons envisagé le modèle Fay-Herriot lors de l’utilisation des estimations directes de la variance de l’échantillonnage. Pour l’approche HB, nous avons envisagé à la fois le modèle Fay-Herriot et le modèle loglinéaire non apparié avec différents priors sur les variances d’échantillonnage et de modèle. Nous avons comparé l’estimateur MPLSBE aux estimateurs HB dans le cadre d’une application utilisant les données de l’EMIM. Les estimateurs de l’approche MPLSBE et les estimateurs HB non appariés fondés sur le modèle loglinéaire non apparié donnent des estimations positives pour tous les domaines. L’estimateur hiérarchique bayésien Fay-Herriot (HB FH) peut mener à des estimations négatives pour certains domaines, en cas de taille d’échantillon réduite et de coefficients de variation directs ou de variances d’échantillonnage d’entrée importants. Pour le modèle Fay-Herriot, nous suggérons d’utiliser l’approche MPLSBE plutôt que l’approche HB lors que les tailles d’échantillon sont réduites. Pour obtenir des proportions ou des données de dénombrement, des modèles loglinéaires non appariés peuvent être utilisés. Un rapport de recherche a été rédigé (You, 2018).

Sous-projet : Estimation sur petits domaines avec établissement de données repères en cas d’erreur de spécification du modèle

Étude des estimateurs MPLSBE et/ou HB avec les estimateurs étalonnés MPLSBE et/ou HB étalonnés, en cas d’erreur de spécification du modèle, biais d’effets fixes et moyennes de petits domaines, par étude de simulation pour le modèle Fay-Herriot.

Progrès :

Nous avons étudié l’estimateur MPLSBE autoétalonné de You, Rao et Hidiroglou (2013) dans un contexte d’erreur de spécification du modèle par étude de simulation. Nous avons en particulier étudié une erreur de spécification du modèle normale asymétrique et une erreur de spécification moyenne inégale du modèle. Les résultats montrent que la procédure d’étalonnage n’améliore pas le MPLSBE dans un contexte de distribution non normale des effets aléatoires et d’erreur de spécification moyenne inégale du modèle. Un rapport de recherche a été rédigé (You, 2017).

Sous-projet : Estimations sur petits domaines fondées sur un module EPD R

Exploration du module de calcul d’EPD à l’aide de R et S-Plus. Nous explorerons en outre les options de série chronologique de module R élaborées par Isabel Molina, afin de vérifier si elles peuvent répondre aux besoins de StatCan. Le module sera mis à l’essai à l’aide de données de l’EPA pour l’estimation du taux de chômage.

Progrès :

Le module R d’Isabel Molina a été mis à l’essai. Certains problèmes y ont été repérés et des commentaires ont été transmis aux auteurs. Les gains découlant de l’utilisation des méthodes de série chronologique ne se sont pas avérés importants. D’autres études sont nécessaires avant de mettre en œuvre une méthode au sein du système d’EPD. Un rapport a été rédigé (You, 2018) et une présentation à l’aide de R et S-Plus pour EPD sera proposée.

Sous-projet : Estimations sur petits domaines pour l’Enquête sur la population active

L’année dernière, nous avons créé des modèles d’estimation sur petits domaines, afin d’estimer le nombre d’emplois et les taux de chômage par région métropolitaine de recensement/agglomération de recensement (RMR/AR) à l’aide des données de l’EPA. Nous avons également comparé nos estimations d’EPD de mai 2011 aux estimations de l’Enquête nationale auprès des ménages (ENM). L’objectif de ce projet était de réévaluer nos modèles compte tenu de nouvelles données recueillies ainsi que de comparer nos estimations d’EPD de mai 2016 à celles provenant du recensement.

Progrès :

Les analyses des résidus et diagrammes du modèle ont indiqué que nos modèles étaient encore raisonnables. Nous avons également confirmé que nos estimations d’EPD étaient significativement plus proches des estimations du recensement que les estimations directes de l’EPA, en particulier pour de petits domaines. Hidiroglou, Beaumont et Yung (2018) ont rédigé un rapport de ces résultats.

Pour plus de renseignements, communiquez avec :
Jean-François Beaumont (613-863-9024, jean-francois.beaumont@canada.ca).

Bibliographie

You, Y., Rao, J.N.K. et Hidiroglou, M. (2013). De la performance des estimateurs sur petits domaines autocalés sous le modèle au niveau du domaine de Fay-Herriot. Techniques d’enquête, 39, 1, 243-255. Article accessible à l’adresse https://www150.statcan.gc.ca/n1/pub/12-001-x/2013001/article/11830-fra.pdf.

1.2 Recherche-développement – Couplage d’enregistrements

La recherche sur le couplage d’enregistrements porte sur trois domaines : l’analyse à partir de données couplées, les améliorations de l’estimation des erreurs et de nouvelles techniques de couplage.

Progrès :

Codage automatisé

Une nouvelle méthodologie a été proposée pour automatiser encore davantage le codage de la langue maternelle aux fins du recensement. Le codage de cette variable a été automatisé, dans une large mesure, avec G-Code. Cependant, G-Code refuse une petite portion des réponses écrites, qui doivent être codées dans le cadre d’un processus manuel. Ces opérations manuelles entraînent d’importants coûts opérationnels, qui doivent être réduits. À cette fin, une méthode supervisée a été proposée et mise en œuvre au sein d’un prototype SAS. Elle a recours à une imputation par la méthode du plus proche voisin et à des données d’entraînement provenant du recensement de 2016. Le prototype intègre et adapte également des techniques utilisées antérieurement dans le contexte de couplage d’enregistrements. Pour plus de détails, le prototype tente de coder chaque réponse inscrite de langue maternelle (y « imputer » le code de langue) refusée par G-Code en recherchant la réponse de langue maternelle codée par G-Code la « plus similaire ». Dans ce cas, le résultat de similarité de deux réponses écrites données est un résultat composite fondé sur les similarités n-gram des réponses de langue maternelle écrites respectives, les réponses de lieu de naissance écrites ainsi que les réponses d’ethnicité écrites. Le prototype utilise un code Soundex de langue maternelle comme variable de blocage générée artificiellement, afin de réduire le nombre de paires de réponses écrites devant être examinées. Au seuil de résultat composite de 60 % ou plus, le prototype donne actuellement une « codabilité » de 70 % et pour les réponses écrites codables, il donne un taux d’exactitude de 90 %.

Outre ce travail, un cadre de méthodologie conjoint a été proposé pour le codage automatisé et le couplage d’enregistrements, en mettant l’accent sur les erreurs de couplage/codage.

Solutions d’apprentissage automatisé pour G-Link

Lors de la mise en œuvre d’un couplage probabiliste avec G-LINK, les seuils sont souvent définis de façon manuelle et exigent donc de la main-d’œuvre. Une classification automatisée à K-moyennes peut permettre de déterminer de tels seuils de manière non supervisée, c’est-à-dire sans examen manuel. Ce projet est la continuation de travaux précédents de Quadir et Bao (2016). Il a recours à des données synthétiques pour évaluer le rendement de différentes stratégies à K-moyennes en fonction de caractéristiques sélectionnées, notamment le poids de couplage des paires, un vecteur catégorique de variables fictives et un vecteur catégorique de variables ordinales. Dans ces deux dernières options, le vecteur catégorique est fondé sur les résultats des règles pour différentes variables de couplage. Deux types de données synthétiques ont été prises en compte, notamment des variables de couplage binaire et d’autres données synthétiques réalistes comprenant les noms, les dates de naissance et les adresses. Ces dernières données ont été produites à l’aide d’une version modifiée du générateur de données Febrl, qu’a préparé la Division de l’ingénierie des systèmes et qui a été raffiné au cours de ces travaux. On a comparé les différents algorithmes à K-moyennes à une autre solution, afin d’établir les seuils sans examen manuel. Dans le cadre de cette solution, les seuils se fondent sur une modélisation par mélange sous l’hypothèse d’indépendance conditionnelle. Toutes les solutions ont été comparées en fonction de la différence entre les taux d’erreurs nominaux (p. ex. cible) et les taux réels. Les résultats ont révélé que le meilleur rendement à K-moyennes est atteint lorsque les caractéristiques se fondent sur le poids de couplage ou sur un vecteur catégorique comprenant des variables fictives. Lorsque le poids de couplage est utilisé, le rendement des k-moyennes est sensible à l’exactitude des poids de couplage. Le rendement des k-moyennes est également sensible aux centroïdes de grappe initiaux. La solution fondée sur le modèle est compétitive par rapport à ces k-moyennes et fournit un rendement légèrement supérieur; c’est-à-dire une moindre différence entre les taux d’erreur nominaux et réels.

Incidence du prétraitement des erreurs de couplage

Ce projet a étudié l’incidence du prétraitement sur les erreurs de couplage à l’aide de données provenant de l’Environnement de couplage de données sociales (ECDS), dans le cadre duquel les noms (y compris les titres) et les codes postaux font l’objet d’un certain prétraitement. On a appliqué trois niveaux de prétraitement au même ensemble de données, notamment aucun prétraitement, un prétraitement limité aux titres et un prétraitement complet (appliqué aux noms et aux codes postaux). Pour chaque option de prétraitement, on a mesuré les erreurs de couplage à l’aide du prototype d’estimation des erreurs de couplage (PEEC) et d’examens manuels. Les résultats ont relevé peu d’avantages du prétraitement des titres (voir Pascal, 2017).

Prototype d’estimation des erreurs de couplage

Un prototype SAS a été créé pour estimer les erreurs de couplage avec ou sans examen manuel. On a évalué les estimations basées sur un modèle en couplant des fichiers consécutifs de déclaration de revenus de particuliers à l’aide de la méthode probabiliste. L’exactitude des estimations des erreurs a été mesurée avec précision à l’aide de l’état de correspondance réel des paires d’enregistrements. Les résultats ont indiqué que les estimations basées sur un modèle sont exactes lorsque les poids de couplage des paires sont exacts.

Estimation des erreurs de couplage sans examen manuel

L’estimation exacte des erreurs est un enjeu important en matière de couplage d’enregistrements. Une méthodologie a été proposée pour un couplage déterministe des données sociales, selon lequel la clé, comprenant toutes les variables de couplage, est presque unique. Elle se fonde sur un modèle et diverses hypothèses, mais n’a pas recours à un examen manuel. Cette méthodologie a été appliquée au couplage entre les données fiscales et d’hospitalisation à l’aide des variables de sexe, de date de naissance et de code postal. Pour le taux de faux positif (TFP), l’estimation obtenue se situe dans l’intervalle de confiance à 95 % de l’estimation avec examen manuel.

Régression avec données couplées

Chipperfield, Bishop et Campbell (2011) ont décrit une méthodologie de régression logistique avec données couplées utilisant des paires couplées et des examens manuels. Cette méthodologie a été étendue dans deux directions. La première extension est l’utilisation d’un modèle logistique pour modéliser la probabilité qu’un couplage soit un faux positif. La deuxième extension modifie l’équation d’estimation originale de Chipperfield et coll. (2011) en une équation d’estimation optimale, selon le cadre de quasi-vraisemblance; voir Tsui, Dasylva et Chu (2017). On a évalué ces deux extensions à l’aide de simulations.

Capture-recapture avec erreurs de couplage

Une nouvelle méthodologie de capture-recapture avec erreurs de couplage a été décrite (voir Dasylva, 2018). Elle couvre les limites (voir Dasylva, 2017) des solutions antérieures de Ding et Fienberg (1994) et de Di Consiglio et Tuoto (2015).

Pour plus de renseignements, communiquez avec :
Abel Dasylva (613 951-7618, abel.dasylva@canada.ca).

Bibliographie

Chipperfield, J.O., Bishop, G.R. et Campbell, P. (2011). Estimation du maximum de vraisemblance pour les tableaux de contingence et la régression logistique en présence de données incorrectement appariées. Techniques d’enquête, 37, 1, 17-30. Article accessible à l’adresse https://www150.statcan.gc.ca/n1/pub/12-001-x/2011001/article/11444-fra.pdf.

Di Consiglio, L., et Tuoto, T. (2015). Coverage Evaluation on Probabilistically Linked Data. Journal of Official Statistics, 31, 415-429.

Ding, Y., et Fienberg, S.E. (1994). Estimation de système dual du sous-dénombrement dans le recensement lorsqu’il y a erreur d’appariement. Techniques d’enquête, 20, 2, 155-165. Article accessible à l’adresse https://www150.statcan.gc.ca/n1/fr/pub/12-001-x/1994002/article/14422-fra.pdf.

Pascal, L. (2017). Optimisation de la préparation des données pour le couplage d’enregistrements. Division de la coopération internationale et des méthodes statistiques institutionnelles (DCIMSI), rapport de stage.

Quadir, T., et Bao, A. (2016). Application of Machine Learning Algorithms in G-Link. Division des méthodes d’enquêtes auprès des ménages (DMEM).

1.3 Recherche-développement – Systèmes généralisés

La section des Systèmes généralisés (GenSys) est responsable de la recherche, du développement et du soutien pour les systèmes suivants :

Outre la fourniture d’un soutien et d’une formation pour les systèmes généralisés, l’équipe entreprend des travaux de recherche-développement portant sur le contrôle de la divulgation, la visualisation des données, l’estimation de la variance et d’autres méthodes d’enquête sur lesquelles s’appuient les systèmes.

Sous-projet : Localisation des erreurs de variable mixte

Au sein de BANFF, un enregistrement valide désigne un enregistrement dont les entrées numériques respectent un ensemble d’inégalités linéaires, intitulées « validation » au sein du système. Les inégalités linéaires représentent un sous-ensemble très étroit des validations possibles et les utilisateurs de BANFF (en interne comme à l’externe) ont exprimé le souhait qu’un plus vaste ensemble de validations soit couvert dans BANFF, notamment les énoncés « ou » et l’intégration de variables catégoriques. De nombreuses validations de ce type peuvent être exprimées mathématiquement en tant que problèmes de « variable mixte », fonctions mathématiques agissant sur une combinaison de variables discrètes et continues. L’objectif de ce projet est d’explorer la faisabilité de traiter des problèmes de variable mixte dans l’une des procédures les plus complexes de BANFF : la localisation des erreurs.

Progrès :

Une analyse documentaire a fourni d’intéressantes pistes à suivre, notamment des définitions différentes du problème de localisation des erreurs; ce qui a finalement été jugé trop ambitieux pour faire l’objet d’une étude à court terme, mais qui pourrait être envisagé à l’avenir. Un article de DeWalt du Bureau central de la statistique des Pays-Bas souligne un cadre de localisation des erreurs de variable mixte qui correspond bien à la méthodologie de localisation des erreurs existante dans le cadre de BANFF. Des études initiales se concentraient sur l’intégration d’un énoncé « ou » dans l’ensemble de validations de BANFF et sur la manière de l’intégrer au sein de BANFF. Des travaux futurs comprennent l’élaboration d’un prototype au sein de SAS, explorant le problème plus général de variable mixte (au lieu du problème « ou » simple) et l’étude de la faisabilité d’intégrer ces validations dans d’autres procédures de BANFF (comme l’imputation de donneur).

Sous-projet : Contrôle de la divulgation — Ajustement aléatoire de tableaux

Le cadre d’ajustement aléatoire de tableaux (AAT) est une approche d’ajustement perturbateur de tableaux qui s’appuie sur une analyse bayésienne pour réduire le risque de divulgation. Cette approche offre d’importants avantages dépassant ceux des méthodes déterministes proposées dans la littérature, et répond à l’objectif ultime de publier des tableaux complets de résultats sans aucune suppression.

Progrès :

Un prototype fonctionnel d’AAT a été créé et mis à l’essai avec de véritables données d’enquête. Cette méthodologie a été appliquée à l’Enquête mensuelle sur le commerce de détail — Ventes de commerce de détail, au Système de classification des industries de l’Amérique du Nord (SCIAN) et à l’Enquête mensuelle sur l’approvisionnement et l’écoulement du charbon — Charbon, production et exportations, mensuel (tableau CANSIM 135-0002). Les essais effectués ont fait ressortir certains des difficultés avec lesquelles les divisions clientes doivent composer, en raison des répercussions sur la qualité. Des discussions ont été tenues relativement à d’autres domaines d’enquête et aux points à prendre en considération pour les séries chronologiques.

Un comité directeur sur l’AAT a été mis sur pied pour donner des conseils relatifs au développement de la méthode. Des exposés expliquant la méthode et ses avantages pour les analystes et les utilisateurs ont été préparés et présentés au Federal Committee on Statistical Methods des États-Unis, à la Société statistique du Canada, au Comité fédéral-provincial-territorial de la statistique économique, au Comité des méthodes et des normes et au Forum des statistiques économiques. De manière générale, la méthodologie et l’approche bénéficient du soutien des intervenants. Le défi est mentant de trouver une application pertinente pour la méthode.

Les travaux pour ce projet se poursuivront au cours de l’année prochaine. La méthode continuera d’être appliquée à différentes situations. Une certaine généralisation de l’approche sera mise au point, pour pouvoir l’appliquer facilement à diverses situations. Des recherches seront en outre effectuées pour introduire du bruit corrélé, afin de résoudre les problèmes d’application à certaines enquêtes.

Sous-projet : Développement et soutien continus des systèmes généralisés

La section des systèmes généralisés facilite l’utilisation des systèmes pour les enquêtes nouvelles et existantes, ainsi que les programmes statistiques faisant l’objet d’un remaniement.

Progrès :

L’équipe de soutien aux Systèmes généralisés a fourni un soutien continu aux utilisateurs, mis à jour et présenté des exposés de formation dans divers forums et rencontré des délégués internationaux pour discuter du développement courant et futur des systèmes généralisés. L’utilisation d’autres modes de formation, notamment Webex, a été étudiée et appliquée avec succès à la formation sur G-Confid pour un groupe de l’Agence du revenu du Canada. Ce groupe a rencontré des délégations d’Italie, du Japon, de Singapour et d’Irlande.

Le projet d’investissement relatif aux améliorations de G-Confid est bientôt terminé; seuls des correctifs mineurs de bogues demeurent. Les nouvelles fonctions comprennent l’utilisation de poids de sondage, la capacité à analyser des valeurs négatives et le soutien aux renonciations lors de l’évaluation des risques. La nouvelle fonctionnalité est en cours d’intégration au sein du Système de contrôle de la divulgation et de la diffusion des données économiques (SCDDDE), un système de traitement basé sur les métadonnées permettant d’appliquer l’estimation et la confidentialité, utilisé par le Centre des projets spéciaux sur les entreprises (CPSE). Les nouvelles idées ont été présentées à plusieurs groupes internes, notamment le CPSE et la direction du secteur 5, en tenant particulièrement compte des enquêtes sur l’agriculture. La nouvelle fonctionnalité a également été présentée lors de la séance de travail de la Commission économique des Nations Unies pour l’Europe (CEE-ONU) sur la confidentialité qui a eu lieu à Skopje en Macédoine.

Sous-projet : Développement et soutien continus des systèmes généralisés

Un projet de recherche a été entrepris pour étudier de nouvelles fonctionnalités comme éventuelles candidates à ajouter aux méthodologies de stratification et de répartition disponibles dans G-Sam. Les candidats potentiels comprenaient l’algorithme de Sethi (généralisation de l’algorithme de Lavallée-Hidiroglou), l’algorithme de Kozak et l’algorithme génétique.

Progrès :

Des études de simulation ont démontré que, dans certaines conditions, l’algorithme de Kozak et l’algorithme génétique fournissaient des tailles d’échantillon inférieures pour un coefficient de variation fixe, par rapport à trois approches classiques : la méthode de la racine carrée cumulative (f), la méthode géométrique et la version généralisée de la méthode de Lavallée-Hidiroglou précisée par Baillargeon et Rivest (et appelée l’algorithme de Sethi dans le cadre de l’étude). Dans le cas d’une stratification univariée, l’algorithme de Kozak a toujours donné de meilleurs résultats que les approches classiques et a présenté le temps d’exécution le plus court. L’algorithme génétique a parfois fourni une solution aussi bonne que l’algorithme de Kozak, tout en présentant un temps d’exécution significativement supérieur. Le principal avantage de l’algorithme génétique est qu’il est le seul à permettre une stratification multivariée et une fonctionnalité multidomaines.

Un autre aspect de ce projet d’étude était d’envisager l’utilisation des modules R développés, plutôt que d’élaborer des solutions internes fondées sur SAS. Le module R SamplingStrata a été utilisé pour l’algorithme génétique alors que le module stratification a été utilisé pour mettre les autres en œuvre. Afin d’adapter la fonctionnalité pour qu’elle soit utilisée à Statistique Canada, un programme SAS a été conçu permettant aux utilisateurs de SAS d’utiliser des ensembles de données SAS comme intrants. L’appel de R au sein de SAS s’effectue de façon transparente à l’aide de PROC IML et les extrants sont traduits dans SAS, de sorte que les utilisateurs ont uniquement besoin de connaître SAS pour exécuter le programme R.

Un rapport interne et une présentation documentent les études de simulation, alors qu’une autre présentation documente l’appel de R au sein de SAS.

Sous-projet : Confidentialité des extrants fondés sur une régression

Ce projet répond au besoin du Centre canadien d’élaboration de données et de recherche économique (CDRE) d’améliorer l’évaluation des produits de la modélisation par régression en matière de confidentialité.

Progrès :

L’étude inclut un examen des documents pertinents ainsi que des discussions avec des représentants du CDRE. Des points particuliers ont dû être pris en compte dans le contexte du CDRE où des chercheurs refont leurs analyses à l’aide de sous-ensembles pratiquement identiques de microdonnées, qui servent uniquement à créer des polygones lamelles de quelques entreprises, dont les valeurs peuvent être sujettes à divulgation lorsque deux ensembles de produits de régression sont comparés. Une version de travail provisoire de l’ensemble de lignes directrices a été rédigée. La poursuite du développement de certaines de ces lignes directrices est nécessaire au cours du prochain exercice financier.

Pour plus de renseignements, communiquez avec :
Steven Thomas (613 882-0851, steven.thomas@canada.ca).

1.4 Recherche-développement – Collecte

Le portefeuille de recherche sur la collecte des données a pour objectif de soutenir les activités de recherche sur la collecte et sur les opérations d’enquête liées aux priorités de l’organisme. Les activités de recherche sur la collecte de 2017-2018 couvrent les projets liés à la baisse des taux de réponse aux enquêtes auprès des ménages, aux initiatives de gestion active de la collecte et à la préparation du futur environnement multimodes. L’un de ces projets est une nouvelle initiative, alors que les trois autres sont des poursuites de projets lancés au cours des années précédentes.

Sous-projet : Développement d’un système de priorisation des cas pour optimiser les opérations de collecte dans les enquêtes ITAO

L’objectif de ce projet est le développement d’une procédure visant à calculer un score de priorisation pour identifier le cas auprès duquel mener une interview quand un intervieweur se rend disponible dans les enquêtes ITAO qui seront conduites au moyen du Système intégré de collecte et des opérations (SICO). L’algorithme de la procédure comporte trois composantes; une première qui tient compte de l’information préalablement enregistrée sur des arrangements de rendez-vous avec le répondant, une seconde qui prédit le meilleur temps pour effectuer un premier contact grâce à de l’information auxiliaire, et la troisième qui tient compte du déroulement de la collecte en cours, en particulier des résultats des tentatives précédentes menées auprès de chacun des cas afin de prédire le meilleur temps pour appeler le répondant. Un aspect plus spécifique de ce projet consiste à développer une méthode qui donne une bonne estimation de la probabilité qu’un ménage puisse être contacté dans une tranche de temps donnée.

Progrès :

Nous avons poursuivi l’évaluation des méthodes d’apprentissage-machine présentées dans l’article « Bayesian Hierarchical Rule Modeling for Predicting Medical Conditions » (The Annals of Applied Statistics, 2012) en les appliquant à des données d’enquêtes réelles, en particulier celles de l’Enquête nationale auprès des apprentis de 2015. Des contacts ont été établis avec l’un des chercheurs ayant rédigé l’article, et il a nous envoyé ses programmes (écrits en R) qui servent maintenant de base de travail.

Pour plus de renseignements, communiquez avec :
Gildas Kleim (613 853-9553, gildas.keim@canada.ca).

Sous-projet : Segmentation de la population canadienne, en vue de dériver une stratégie de communication et de fonctionnement efficace dans le but d’accroître le taux de réponse aux enquêtes sociales

Les taux de réponse aux enquêtes diminuent et les organismes de statistique doivent trouver des façons novatrices d’améliorer leurs stratégies de collecte, tout en maintenant la qualité des données. Ce projet, qui porte sur les enquêtes-ménages de Statistique Canada, utilise une approche par segmentation pour créer des grappes et, plus précisément, pour déterminer les régions géographiques où les taux de non-réponse des ménages tendent à être plus élevés, et cerner les caractéristiques de ces régions. Une étude antérieure a été menée à Statistique Canada à partir des données du Recensement de la population du Canada de 2011 afin de comprendre le profil statistique des personnes qui répondent immédiatement au recensement par rapport aux personnes qui nécessitent un suivi. Par suite de cette étude, le même cadre a été appliqué au contexte des enquêtes-ménages, afin de mieux comprendre le profil des ménages qui ne répondent pas aux enquêtes. Les renseignements obtenus peuvent être utilisés pour adapter les campagnes publicitaires, les outils de communication et les stratégies de collecte en fonction de groupes particuliers qui affichent des taux de non-réponse plus élevés que les autres. Ce projet de segmentation comprend trois volets : le couplage des ménages sélectionnés pour les enquêtes aux données du Recensement de la population; la modélisation de la non-réponse pour déterminer les variables prédictives significatives; et la réalisation d’analyses par grappes.

Progrès :

Une étude de faisabilité visant à mettre à l’essai la validation de principe d’une analyse de segmentation pour les enquêtes-ménages, fondée sur les données de l’Enquête nationale auprès des ménages de 2011, de l’Enquête sur les dépenses des ménages (EDM) et de l’Enquête sur la sécurité financière (ESF), a été complété (Halladay, 2018), Selon les résultats de l’étude, l’analyse par grappes s’avère utile pour déterminer les profils statistiques de répondants et de non-répondants aux enquêtes. Plusieurs recommandations et améliorations ont été proposées pour de futures recherches.

Une fois que les données du questionnaire détaillé du Recensement de 2016 étaient accessibles, le projet de segmentation a été mis à jour pour prendre ces données en compte. Au lieu d’utiliser seulement les enquêtes IPAO, toutes les enquêtes-ménages à participation volontaire en cours à la même période que le Recensement de 2016 ont été prises en compte. La non-réponse a été modélisée à l’aide d’une régression logistique pas à pas et plusieurs variables de recensement ont été jugées significatives. Ces variables (c.-à-d. les caractéristiques des ménages associées à la non-réponse) ont été normalisées et utilisées dans l’analyse par grappes.

Quelques améliorations par rapport à l’étude précédente :

Les grappes ont été finalisées et présentées à l’équipe des communications. Les travaux ont été documentés.

Pour plus de renseignements, communiquez avec :
Amanda Halladay (613-854-1937, amanda.halladay@canada.ca).

Sous-projet : Collecte par IPAO à l’aide d’un échantillon non groupé

Le plan d’échantillonnage de l’Enquête sur la sécurité financière (ESF) a changé entre 2012 et 2016. Même si la collecte pour l’ESF est effectuée en personne, un plan d’échantillonnage non groupé a été utilisé en 2016 dans la plupart des régions. Un plan groupé a été utilisé uniquement dans les régions jugées trop rurales ou pour lesquelles la base de sondage ne disposait pas de renseignements relatifs à l’adresse de qualité suffisante.

Progrès :

Puisque des plans d’échantillonnage groupés sont généralement utilisés pour simplifier la collecte dans le cadre d’enquêtes en personne, après l’ESF de 2016, les paradonnées de collecte ont été examinées pour déterminer l’effet de l’accroissement de l’utilisation d’un plan non groupé sur les activités de collecte. Les principales observations de ce projet suggèrent qu’accroître l’utilisation d’un plan non groupé n’influe pas négativement sur la collecte. Le taux de réponse global était supérieur à celui de 2012. En 2016, le nombre moyen de tentatives a été supérieur à celui de 2012 pour les répondants et pour les non-répondants. Pour les cas où deux tentatives ou plus ont eu lieu pour une unité d’échantillonnage, le nombre moyen de jours séparant les tentatives et le nombre moyen de jours entre la première tentative et la dernière ont été supérieurs en 2016. Cela reflète les pratiques d’étaler les tentatives au cours de la période de collecte complète. Il est important de souligner que le plan non groupé n’était pas significativement différent du plan groupé en termes de tendances de paradonnées de collecte.

La période de collecte de l’ESF est longue (trois mois) et l’interview est relativement longue; ce qui signifie que peu d’interviews sont effectuées au cours d’une même journée. Il se peut que ces caractéristiques de l’ESF en fassent une bonne candidate pour un plan non groupé. Dans ce contexte, l’utilisation d’un plan non groupé, qui peut améliorer significativement l’efficacité du plan, comme dans le cas de l’ESF, peut être appliquée à d’autres enquêtes présentant des caractéristiques similaires.

Pour plus de renseignements, communiquez avec :
Cilanne Boulet (613-851-0031, cilanne.boulet@canada.ca).

1.5 Recherche prospective – Approches non-probabilistes

Sous-projet : Recherche statistique non traditionnelle

L’avènement du Web dans les années 1990 a ouvert la porte à de nouveaux modes de collecte de données d’enquêtes, à savoir les panels volontaires sur le Web et les mégadonnées. Les panels volontaires sur le Web sont constitués de personnes qui utilisent régulièrement le Web et à qui des questions sur divers sujets sont posées. Le terme mégadonnées est un terme générique qui désigne des ensembles de données tellement importants ou complexes que les capacités des applications habituelles de traitement de données ne sont pas appropriées. Souvent, les panels sur le Web et les mégadonnées ne s’appuient pas sur des plans d’échantillonnage probabilistes.

Rivers (2007) a examiné une technique appelée appariement d’échantillon, liée à l’appariement statistique ou à la fusion de données. Dans cette méthode, un échantillon de probabilité est extrait d’une base de sondage et chaque unité d’échantillonnage est associée à un membre du panel en fonction de caractéristiques données disponibles dans les deux sources de données. Veuillez noter que des appariements exacts ne sont pas nécessaires. Les valeurs des membres du panel sont alors attribuées à l’unité d’échantillonnage. Cette technique peut être considérée comme une imputation par donneur; les bénéficiaires étant toutes les unités d’échantillonnage et les donneurs étant les membres du panel.

L’objectif de cette recherche est double. Le premier est d’évaluer la possibilité d’utiliser l’appariement d’échantillons ou d’autres techniques d’intégration des données pour certains des programmes de Statistique Canada. Cette approche pourrait être utile par exemple aux programmes pour lesquels les taux de réponse obtenus par les méthodes de collecte habituelles sont relativement faibles. Elle pourrait être utilisée pour réduire les coûts de collecte et le fardeau de réponse. Le deuxième objectif est lié à la recherche de sources de données de rechange.

Progrès :

Nous avons récemment acquis des données auprès d’un panel non probabiliste de volontaires contenant des variables similaires à quelques variables de l’Enquête sur la santé dans les collectivités canadiennes (ESCC). Il a été demandé aux membres du panel de répondre à un bref questionnaire au moyen d’une application sur téléphone cellulaire. Ils recevaient en retour des récompenses de leur programme préféré. Il est bien connu que les estimations directement dérivées de données de panel font l’objet d’un biais de sélection. Pour réduire ce biais de sélection, nous avons pris en compte deux techniques : l’appariement statistique et le calage. La réussite des deux méthodes dépend de la force des variables auxiliaires disponibles dans les deux sources. Dans notre expérience, nous avons utilisé des variables démographiques, comme l’âge, le sexe, le niveau de scolarité, l’état matrimonial et la région sociosanitaire. Nous avons ensuite comparé les estimations obtenues à l’aide de l’appariement statistique et du calage aux estimations de l’ESCC. Nous avons observé que les deux méthodes réduisaient le biais substantiel observé avec les estimations directes du panel. L’appariement statistique (dont les résultats sont plus longuement décrits dans une sous-section de la recherche divisionnaire) a semblé légèrement plus efficace que le calage. Cela peut être dû à sa nature non paramétrique, contrairement au calage qui repose sur un modèle linéaire. Cependant un biais non négligeable a persisté. La présence de ce biais peut s’expliquer de deux façons : i) les variables auxiliaires utilisées n’étaient pas des valeurs explicatives assez fortes des variables de santé d’intérêt et ii) des erreurs de mesure étaient présentes dans les données du panel. D’autres résultats seront présentés lors des conférences de la Société statistique du Canada (SSC) et de l’Institut canadien des sciences statistiques (INCASS).

Pour plus de renseignements, communiquez avec :
Jean-François Beaumont (613-863-9024, jean-francois.beaumont@canada.ca).

Bibliographie

Rivers, D. (2007). Sampling for Web Surveys. Proceeding of the Joint Statistical Meeting, Salt Lake City, Utah, 2007.

1.6 Recherche prospective – Science des données

Cette section couvre les activités importantes de recherche et d’exploration concernant la science des données, l’apprentissage automatique et l’intelligence artificielle qui ne sont pas rapportées ailleurs. Ces activités ont été principalement réalisées par deux groupes de méthodologistes participant au projet pilote d’apprentissage par l’action. Dans le cadre de ces activités, ils ont exploré certains sujets de façon approfondie afin d’accroître leur propre capacité et ont organisé plusieurs activités de rayonnement afin de partager leurs connaissances et de faciliter l’intégration de nouvelles techniques dans les tâches régulières.

En particulier, les groupes ont participé à la foire de l’innovation et ont organisé trois événements d’apprentissage qui regroupaient 12 séminaires. Ces événements qui ont attiré en moyenne 150 personnes à chaque occasion. Des info-lettres présentant de l’information utile sur l’apprentissage automatique (comme un glossaire et une liste de formation disponible en ligne) ont été préparées et partagées de façon mensuelle. Les groupes ont également décortiqué des articles scientifiques plus poussés et échangé sur ces sujets. Notons entre autres des travaux d’exploration sur l’utilisation efficace des outils informatiques, incluant mais non restreint à SAS, dans un contexte de données volumineuses, sur l’application des méthodes d’enquête comme l’échantillonnage et la détection de valeurs aberrantes dans le contexte de données volumineuses et sur divers algorithmes spécifiques d’apprentissage automatique.

Afin de faciliter le transfert de connaissances, les groupes ont également travaillé à créer des prototypes en R et / ou python permettant d’illustrer l’utilisation de ces méthodes.Ce faisant, ils ont également grandement contribué au développement initial d’une stratégie permettant d’amener ces outils dans notre environnement informatique.Les outils et méthodes ont également été utilisés dans des projets plus concrets, par exemple comme exploration initiale pour le classement automatique des commentaires reçus au recensement ou l’identification automatique de cause de décès dans des projets liés à la santé.

Enfin, le groupe a également documenté les applications actuelles et probables des techniques d’apprentissage automatique selon le Modèle générique du processus de production statistique.

Pour plus de renseignements, communiquez avec :
Susie Fortier (613-220-1948, susie.fortier@canada.ca).

1.7 Recherche divisionnaire – Division des méthodes d’enquête auprès des entreprises (DMEE)

Le présent projet sert à financer les travaux de recherche et de développement liés aux priorités de la Division. Une partie du budget de la Division des méthodes d’enquête auprès des entreprises a été réservée à la résolution de nouveaux enjeux, le cas échéant. La priorité a été accordée aux projets susceptibles de mener à des publications.

Sous-projet : Étude sur le calage dans le Programme intégré de la statistique des entreprises (PISE)

Le calage est une approche d’estimation mise en place dans le système d’estimation du PISE. Cette méthode s’est avérée assez efficace pour les premières enquêtes intégrées qui mesurent principalement des variables de revenus et de dépenses et qui utilisent comme variable de calage le revenu. Or, avec l’intégration de plus en plus d’enquêtes et de natures différentes (tel que des mesures reliées à des caractéristiques et/ou des événements rares), on questionne l’efficacité du calage au niveau de la précision et au niveau des estimations (grandes variations entre 2 occurrences). Afin de mieux comprendre les enjeux et de fournir des pistes de solutions, un groupe de travail sur le calage a été mis en place. Suite à quelques rencontres et discussions, il a été proposé d’utiliser un ensemble de données d’une enquête déjà intégrée au PISE afin de mieux comprendre la méthodologie du PISE, d’évaluer dans quelles circonstances le calage est plus ou moins performant et s’il y a lieu de proposer des méthodes et/ou des paramètres qui amélioreraient l’efficacité du calage. Le but ultime du groupe de travail est de fournir des outils pour aider les méthodologistes à évaluer et à prendre des décisions éclairées et efficaces sur l’utilisation ou non du calage pour les enquêtes dont ils sont responsables (intégrées ou non au PISE).

Progrès :

Une étude a été entreprise en utilisant les données de l’enquête sur la consommation industrielle d’énergie de 2015, enquête déjà intégrée dans le PISE. Des résultats sur les progrès de l’étude ont été présentés au groupe de travail sur une base régulière et suite aux discussions et suggestions, de nouvelles études ont été entreprises. Parmi celles-ci, on compte les suivantes : la comparaison des estimations et des erreurs-types avant et après calage sous la méthodologie actuelle, la comparaison des estimations en utilisant différentes approches et paramètres pour améliorer le calage (telles que l’exclusion d’unités dans le calage, la modification de contraintes, etc.). Finalement, deux méthodes de calage ont été retenues pour faire des simulations afin de mesurer l’étendue du biais ainsi que l’erreur quadratique moyenne avant et après calage (selon les deux méthodes). Les résultats ont été présentés au comité technique de la DMEE à l’automne 2017. Le comité a entre autres appuyé la proposition de développer un modèle d’étude sur le calage à partir d’une enquête existante ainsi que la mise en place de diagnostics à l’étape de l’estimation du PISE pour aider les analystes et la méthodologie à détecter les enjeux potentiels et à réagir rapidement. À la suite de cette rencontre, la version provisoire d’un guide sur le calage a été rédigée et un modèle d’études sera ajouté au guide en utilisant l’Enquête sur l’eau dans les industries. L’étude débutera en juin 2018. En ce qui concerne les diagnostics dans le PISE, ce travail sera fait à une date ultérieure.

Pour plus de renseignements, communiquez avec :
Marie-Claude Duval (613 854-1929, Marie-Claude.Duval@canada.ca).

Sous-projet : Détection et traitement des valeurs aberrantes dans les enquêtes-entreprises

Les valeurs aberrantes sont actuellement déclarées comme telles dans plusieurs enquêtes-entreprises à l’aide de seuils prédéterminés. Le poids d’échantillonnage des unités déclarées comme valeurs aberrantes est changé à un et les poids des unités restantes sont corrigés, afin que la somme de tous les poids soit égale à la taille de la population. Le problème que présente cette procédure est qu’elle est ponctuelle et entraîne des estimations biaisées (du fait du changement de poids). Cette procédure est décrite dans Hidiroglou et Srinath (1981).

Progrès :

On sait que les méthodes fondées sur des procédures robustes sont meilleures que les méthodes ponctuelles qui modifient arbitrairement les poids d’échantillonnage. Récemment, Beaumont, Haziza et Ruiz-Gazen (2013) ont utilisé le biais conditionnel associé à une unité d’échantillonnage pour définir la mesure de l’influence au sein d’un échantillonnage de population fini. Cette procédure robuste a recours au biais conditionnel pour obtenir des estimateurs en sous-pondérant les unités d’échantillonnage les plus influentes. Cette méthode a été adaptée à l’EERH et des spécifications ont été rédigées (Hidiroglou, 2017).

Pour plus de renseignements, communiquez avec :
Mike Hidiroglou (michel.hidiroglou@canada.ca).

Sous-projet : Stratification d’une population asymétrique

Les populations visées par les enquêtes-entreprises sont réputées être fortement asymétriques. L’objectif de ce projet est de comparer trois procédures pour déterminer les bornes de strate en cas de population asymétrique : cumrootf (Dalenius et Hodges, 1959), géométrique (Gunning et Horgan, 2004) et Lavallée-Hidiroglou (1988), ainsi que pour observer l’effet d’algorithmes étendus afin de viser des solutions optimales.

Progrès :

Plusieurs ensembles de données ont été utilisés pour refléter la supériorité des méthodes fondées sur l’optimisation par rapport aux méthodes approximatives. De plus, l’équivalence entre la taille de l’échantillon et les bornes de stratification fondées sur les coefficients a été démontrée.

Un article intitulé « Stratification of Skewed Populations: A Comparison of Optimization-Based Versus Approximate Methods » a été rédigé et soumis à la Revue Internationale de Statistique. L’article a été approuvé et publié dans le numéro de mars 2018 de la revue.

Pour plus de renseignements, communiquez avec :
Mike Hidiroglou (michel.hidiroglou@canada.ca).

Sous-projet : Modification de la méthode Hidiroglou-Berthelot (HB)

La méthode de ratio Hidiroglou-Berthelot (HB) est couramment utilisée dans des enquêtes afin de détecter les valeurs aberrantes. Cette procédure met davantage l’accent sur de petits changements associés à des valeurs déclarées importantes que sur de gros changements associés à des unités plus réduites. La méthode se fonde sur une transformation des données en deux étapes. Les données transformées déclarent des unités comme étant des valeurs aberrantes, si elles sortent d’un intervalle. Cet intervalle se fonde sur la distance interquartile découlant de la répartition obtenue.

Un problème récemment remarqué relativement à l’utilisation de la distance interquartile est que les limites obtenues peuvent ne pas être raisonnables. Cela entraîne la déclaration d’un trop grand nombre de fausses valeurs aberrantes. Ce problème survient lorsqu’une grande proportion (> 25 %) des observations présente le même ratio, que le ratio se trouve entre l’observation actuelle et précédente d’une unité donnée ou entre deux variables au sein d’une unité donnée. De plus, lorsque la proportion de tels cas dépasse 50 %, toutes les autres observations dont les ratios diffèrent sont déclarées comme étant des valeurs aberrantes.

Progrès :

La méthode HB a été corrigée pour éviter ce problème. La correction suggérée consiste à utiliser des intercentiles fondés sur les 10e et 90e centiles plutôt que sur les premiers et troisième quartiles. Cela crée des bornes raisonnables et fournit des valeurs aberrantes acceptables. Ce travail est décrit dans Hidiroglou et Emond (2018).

Pour plus de renseignements, communiquez avec :
Mike Hidiroglou (michel.hidiroglou@canada.ca).

Bibliographie

Estevao, V., Hidiroglou, M.A. et You, Y. (2015). Methodology Software Library Small-Area Estimation Unit Level Model with EBLUP and Pseudo EBLUP Estimation Methodology Specifications.

Sous-projet : Incidence de l’utilisation de données auxiliaires sur un plan d’échantillonnage

Le calage est la méthode d’estimation par défaut du système d’estimation du Programme intégré de la statistique des entreprises. L’un des problèmes que pose le calage est que les poids de calibration obtenus, qui sont le produit du poids de sondage initial par un facteur-g (qui reflète les données auxiliaires) peuvent être négatifs. Bien que le Système généralisé d’estimation puisse modifier la pondération par calage afin qu’elle soit positive, cela peut être impossible dans certains cas. Une autre solution est de limiter l’occurrence de poids négatifs à l’étape du plan d’échantillonnage. Une autre manière de limiter (éliminer) l’existence des poids négatifs est d’utiliser un échantillonnage réjectif.

Progrès :

Plusieurs solutions ont été explorées, afin de réduire (éliminer) la présence de poids négatifs. Une solution consiste à accroître le nombre d’unités minimales au sein d’une strate et de déclarer des unités étant des valeurs aberrantes dans les données auxiliaires comme étant un tirage complet (Hidiroglou, 2018). Une autre solution est d’utiliser un échantillonnage réjectif. Hájek a été le premier à employer cette méthode. Elle a ensuite été utilisée par Fuller (2009) ainsi que Chauvet, Haziza et Lesage (2017) dans le contexte de données auxiliaires. Stephan et Hidiroglou (2018) fournissent une méthode de calcul de la variance des estimateurs obtenus dans le cas de l’utilisation d’un échantillonnage réjectif.

Pour plus de renseignements, communiquez avec :
Mike Hidiroglou (michel.hidiroglou@canada.ca).

Bibliographie

Beaumont, J.-F., Haziza, D., et Ruiz-Gazen, A. (2013). A unified approach to robust estimation in finite population sampling. Biometrika, 100, 555-569.

Chauvet, G., Haziza, D. et Lesage, E. (2017). Examining some aspects of balanced sampling in surveys. Statistica Sinica, 27, 313-334.

Dalenius, T., et Hodges, Jr., J.L. (1959). Minimum variance stratification. Journal of the American Statistical Association, 54, 285, 88-101.

Fuller, W.A. (2009). Some design properties of a rejective sampling procedure. Biometrika, 96, 933-944.

Gunning, P., et Horgan, J.M. (2004). Un nouvel algorithme pour la construction de bornes de stratification dans les populations asymétriques. Techniques d’enquête, 30, 2, 177-185. Article accessible à l’adresse https://www150.statcan.gc.ca/n1/fr/pub/12-001-x/2004002/article/7749-fra.pdf.

Hidiroglou, M.A., et Srinath, K.P. (1981). Some estimators of a population total from simple random samples containing large units. Journal of the American Statistical Association, 76, 375, 690-695.

Lavallée, P., et Hidiroglou, M. (1988). Sur la stratification de populations asymétriques. Techniques d’enquête, 14, 1, 35-45. Article accessible à l’adresse https://www150.statcan.gc.ca/n1/fr/pub/12-001-x/1988001/article/14602-fra.pdf.

Sous-projet : Exploration d’applications de catégorisation des résultats lors de la détection de valeurs aberrantes pour des sources de données administratives

Les techniques de détection de valeurs aberrantes actuellement disponibles dans le système généralisé de vérification et d’imputation de Statistique Canada (Banff) sont particulièrement efficaces dans des cas où la variable d’intérêt suit une répartition unimodale, soit par elle-même soit au sein de groupes par catégorie. Souvent dans le cas de vastes sources de données administratives, comme des données de commerce de marchandises international, trouver un ensemble de variables de catégorie pouvant être utilisé pour satisfaire cette hypothèse est un défi et l’efficacité de la détection de valeurs aberrantes est alors réduite. L’objectif de ce projet était d’utiliser des méthodes d’apprentissage non supervisées capables de traiter une combinaison de variables quantitatives et qualitatives, afin d’exploiter la forte dimensionnalité des ensembles de données administratives. Plus précisément, l’objectif était d’examiner l’utilisation d’une sélection de fonctionnalités et d’une catégorisation hiérarchique des résultats pour isoler des répartitions modales comme prétraitement à la détection de valeurs aberrantes dans Banff, ainsi que pour comparer aux méthodes actuelles des méthodes de catégorisation des résultats de densité non paramétrique uniquement pour la détection des valeurs aberrantes.

Progrès :

Des études ont été entamées pour comprendre les diverses méthodes disponibles de sélection des fonctionnalités et de catégorisation des résultats ainsi que pour déterminer les meilleures options disponibles pour les données sur le commerce de marchandises. En fonction de ces études, trois approches distinctes ont été choisies pour effectuer une comparaison avec la méthode actuelle dans Banff; ces approches ont recours à une combinaison de méthodes de sélection de fonctionnalités et de catégorisation des résultats, soit en tant que méthode distincte de détection de valeurs aberrantes soit en tant que prétraitement pour Banff. Des programmes ont été créés pour détecter des valeurs aberrantes en utilisant chaque approche, puis mis à l’essai sur des données sur le commerce. Les résultats ont été comparés directement à la méthode actuelle. L’écart entre les résultats est en cours de caractérisation. Ce travail sera présenté à la conférence Joint Statistical Meetings 2018, et un compte rendu sera rédigé.

Pour plus de renseignements, communiquez avec :
Elizabeth Ayres (613 404-4102, elizabeth.ayres@canada.ca).

1.8 Recherche divisionnaire – Division des méthodes d’enquête auprès des ménages (DMEM)

Les sous-projets de recherche soumis pour ce projet doivent être en ligne avec le mandat de la Direction de la Méthodologie et plus particulièrement avec les objectifs de la Division des méthodes d’enquêtes auprès des ménages. Ainsi, les sous-projets doivent viser à 1) développer des procédures innovatrices qui permettent de suivre le pas avec les changements alors que les contraintes budgétaires et les demandes ne font qu’augmenter, 2) améliorer l’efficacité des plans d’enquête, et ainsi réduire les coûts, puis à 3) assurer la plus grande qualité des résultats produits en proposant des méthodes statistiques innovatrices et efficaces qui sont intégrées aux programmes statistiques de l’organisme.

Sous-projet : Utilisation de données de carte de crédit dans les enquêtes-ménages

Les données de cartes de crédit ou de débit sont l’une des sources de données de rechange les plus riches. À l’instar de nombreux autres organismes nationaux de statistique, Statistique Canada a commencé à explorer l’utilisation d’autres sources de données ainsi qu’un processus d’acquisition de données de cartes de crédit et de débit. L’objectif de ce projet est de relever les utilisations potentielles de ce type de données pour les enquêtes-ménages.

Progrès :

Une entente a été conclue avec Destination Canada pour recevoir des données brutes de terminaux de paiement, y compris une portion des paiements par cartes de crédit et de débit effectués par les visiteurs internationaux au Canada. Les données de paiement, agrégées par code de catégorie de commerçants, par région de tri d’acheminement (RTA) et par pays d’origine de la carte, ont été reçues en novembre 2017. En collaboration avec des plusieurs divisions (notamment la Division du tourisme et du Centre de la statistique de l’éducation), les forces et les faiblesses de ces données ont été relevées. Pour évaluer la qualité des données, y compris la couverture, différentes étapes de validation ont été effectuées. De plus, une analyse préliminaire a été menée pour déterminer les caractéristiques principales de ces données. Les données ont ensuite été comparées avec celles de l’Enquête sur les voyages internationaux (EVI), et différentes stratégies de modélisation, dont l’estimation sur petits domaines, ont été envisagées pour produire des estimations des dépenses touristiques. Les résultats provisoires de ces projets, ainsi que les difficultés que peut présenter l’utilisation des données de paiement aux fins de l’estimation des dépenses touristiques, ont été présentés au Comité technique de la Division des méthodes d’enquêtes auprès des ménages (DMEM) (Gagnon et Gravel, 2018).

Il convient de noter que la portée de l’analyse se limitait à l’Enquête sur les voyages internationaux, car l’ensemble de données actuel comprend uniquement les dépenses par cartes électroniques (crédit et débit) des visiteurs internationaux au Canada. Cependant, des négociations avec trois importantes sociétés émettrices de cartes de crédit sont en cours pour acquérir des données de carte de crédit nationales pouvant être utilisées dans d’autres enquêtes-ménages.

Pour plus de renseignements, communiquez avec :
François Gagnon (613-292-4645, francois.gagnon2@canada.ca).

Sous-projet : Enquête sur l’utilisation d’un appariement d’échantillons, afin de combiner des données d’échantillons probabilistes et non probabilistes

Étant donné le taux croissant de non-réponse aux enquêtes-ménages, la recherche d’approches autres que la façon traditionnelle de réaliser ces enquêtes suscite un regain d’intérêt. Une éventuelle solution est d’intégrer des données provenant de panels Web à des échantillons probabilistes et de profiter ainsi des caractéristiques positives des deux types d’enquêtes. Afin d’explorer cette option, une expérience a été menée avec des données provenant d’une plateforme numérique de caractère incitatif ainsi que des données d’enquête de l’Enquête sur la santé dans les collectivités canadiennes (ESCC). L’objectif de ce projet est de vérifier une méthode d’appariement d’échantillons due à Rivers (2007) sur ces données.

Progrès :

Nous avons calculé les estimations d’appariement d’échantillons pour différentes variables et comparé ces appariements avec trois estimations : estimation de l’ESCC (repère), estimation de panel non pondérée (estimation naïve) et estimation de panel poststratifiée (estimation naïve améliorée). Les résultats ont suggéré que le rendement de l’estimateur d’appariement d’échantillons dépendait des variables d’intérêt et variait selon les tranches d’âge. La différence entre les estimations de l’ESCC et de l’appariement d’échantillons pourrait découler de nombreux facteurs, comme la couverture de la population, un biais de sélection, des erreurs non dues à l’échantillonnage, un effet du mode d’enquête ou un biais de désirabilité sociale. La répartition selon l’âge des abonnés au panel est biaisée vers la droite, alors que les caractéristiques de composition du panel et des répondants à l’ESCC, comme l’état matrimonial et le niveau de scolarité, diffèrent de diverses manières. Les estimations d’appariement d’échantillons sont plus biaisées dans les tranches d’âge sous-représentées. L’application utilisée dans cette expérience est une plateforme à caractère incitatif selon laquelle les répondants reçoivent des points lorsqu’ils répondent aux enquêtes. Cette approche a des répercussions sur la qualité des données. Comparer les estimations par tranche d’âge montre que les estimations de la tranche d’âge des 18 à 34 ans sont plus biaisées, même si ce groupe est surreprésenté dans le panel. Une interprétation peut être que les personnes plus jeunes participent pour récolter des points (p. ex. pour une carte de cinéma) et ne répondent pas attentivement aux questions. De plus, le biais de désirabilité sociale est plus probable dans les données de l’ESCC que dans celles du panel.

Les résultats préliminaires du projet ainsi que les défis de combiner des données d’échantillons probabilistes et non probabilistes ont été présentés au Comité consultatif des méthodes statistiques (CCMS) en octobre 2017 (Chatrchi et Gambino, 2017). Les résultats finaux seront présentés lors de la conférence de la SSC en juin.

Pour plus de renseignements, communiquez avec :
Golshid Chatrchi (613-854-1886, golshid.chatrchi@canada.ca).

Sous-projet : Modéliser la distribution de revenu afin de mieux prédire la portion à faible revenu

Lors du projet sur la production d’une série historique sur le revenu à partir des données de l’Enquête sur la dynamique du travail et du revenu (EDTR) et des données provenant du fichier sur la famille T1 (FFT1), on s’est rendu compte que la distribution du revenu des familles provenant de l’EDTR était différente de celle provenant du FFT1, particulièrement dans la portion des faibles revenus. On voudrait modéliser le revenu des familles en utilisant une distribution paramétrique ainsi que des données d’enquête et se servir des données modélisées pour mieux « prédire » la distribution dans les centiles à faibles revenus du FFT1.

Les résultats obtenus serviraient à améliorer la qualité des variables de revenus du FFT1 et donc indirectement la qualité de la variable de revenu pour le service de base de sondage des enquêtes-ménages.

Progrès :

Le projet est maintenant en phase de documentation. Le rapport comprendra une discussion sur l’utilisation de la distribution GB2 (bêta généralisée de deuxième type) à des fins de modélisation de données de revenu provenant de l’EDTR ou du FFT1. Nous décrirons les étapes nécessaires pour utiliser cette distribution dans les différents domaines et nous présenterons une analyse des résultats (Jocelyn et Tam, 2018).

Pour plus de renseignements, communiquez avec :
Wisner Jocelyn (613-862-0341, wisner.jocelyn@canada.ca).

Sous-projet : Extension de la méthode Rao-Wu Rescaling Bootstrap aux plans de sondage à deux degrés sans remise

La mise en œuvre de la méthode Rao-Wu Rescaling Bootstrap est justifiée pour une enquête dont le plan est à plus d’un degré pour autant que l’échantillonnage de premier degré soit avec remise. Il est justifiable d’utiliser cette méthode lorsque cet échantillonnage se fait sans remise pour autant que la fraction de sondage employée soit négligeable. Or, cette méthode est parfois utilisée même si la fraction de sondage du premier degré n’est pas négligeable dans certaines strates. Tout récemment, en 2012, une extension du Rao-Wu Rescaling Bootstrap a été proposée afin de prendre en compte complètement la variance d’un estimateur sous un plan aléatoire simple sans remise à plusieurs degrés (Osiewicz et Pérez-Duarte, 2012). Les auteurs de ce document ont aussi proposé une extension similaire pour le cas où le tirage au premier degré est fait selon la procédure Rao-Hartley-Cochran (c.-à-d. proportionnel à la taille) (Osiewicz et Pérez-Duarte, 2012).

Progrès :

Nous avons démontré que l’extension proposée dans le cas aléatoire simple aux deux degrés fonctionne du point de vue théorique en développant la preuve que les conditions du bootstrap généralisé décrites par Beaumont et Patak (2012) sont satisfaites. Ces résultats ont été documentés (Charlebois et Laperrière, 2017). Nous nous sommes familiarisées avec la procédure d’échantillonnage Rao-Hartley-Cochran, l’estimation et l’estimation de la variance dans ce cas à l’aide des articles de Rao, Hartley, Cochran (1962), Ohlsson (1989), et Chaudhuri, Dihidar, Bose (2006). Nous avons ensuite exploré l’ébauche d’article d’Osiewicz et Perez-Duarte proposant l’extension au cas Rao-Hartley-Cochran (RHC). Nous avons programmé des simulations sur un jeu de données provenant de Särndal, Swenson et Wretman (1992) afin de confirmer que l’extension proposée fonctionne pour le cas RHC. Il serait intéressant de poursuivre les simulations pour inclure différents scénarios de fractions de sondage aux deux degrés et ensuite tester cette méthode avec des données d’une enquête ménage.

Pour plus de renseignements, communiquez avec :
Christiane Laperrière (613-854-0571, christiane.laperriere@canada.ca).

Sous-projet : Mieux comprendre la non-réponse à l’aide du Fichier des indicateurs socioéconomiques (FSE)

Des résultats d’une évaluation de 2015 par Justin Francis, Yves Lafortune et Jean-François Simard ont montré que les renseignements accessibles dans le FSE coïncident fortement avec ceux recueillis des ménages ayant répondu à l’Enquête sur la population active (EPA). Les résultats ont également indiqué que même en cas de différence de composition de ménage, souvent au moins la moitié des personnes âgées de 15 ans ou plus vivaient toujours à la même adresse. L’objectif de ce projet de recherche est d’étendre cette évaluation pour se concentrer davantage sur les non-répondants à l’EPA. Pour environ la moitié d’entre eux, nous pouvons obtenir des réponses à l’enquête pour des mois postérieurs (ce qui peut être considéré comme une réponse différée pour d’autres enquêtes ayant une fenêtre de collecte plus étendue). Nous souhaitons vérifier si, dans de tels cas, les membres des ménages sont les mêmes que ceux du FSE; en particulier si le taux de correspondance diffère de celui obtenu des répondants. Ces résultats seraient utiles pour les étapes de pondération et d’imputation, normalement utilisées pour tenir compte de la non-réponse.

Progrès :

Des fichiers adéquats ont été préparés en couplant certaines données de l’EPA à celles du FSE. Les résultats du couplage ont alors été examinés en reproduisant une partie de l’analyse effectuée sur les répondants dans l’étude de Francis, Lafortune et Simard (2015). Outre la comparaison des résultats de couplage entre les non-répondants et les répondants, les résultats de couplage des différentes catégories de non-réponse (absence de prise de contact, hors du champ de l’enquête, etc.) ont également été évalués, afin de déterminer si différents types de non-réponse pouvaient être couplés de manière plus fiable au FSE et comment cela pourrait influer sur la formation de groupes d’ajustement pour la non-réponse. Un rapport décrivant les étapes et l’analyse du couplage des non-répondants initiaux de l’EPA avec le FSE est en cours d’élaboration (Lafortune et Tam, 2018).

Pour plus de renseignements, communiquez avec :
Yves Lafortune (613-951-4772, yves.lafortune@canada.ca).

Sous-projet : Intervalles de confiance pour plans d’échantillonnage complexes

Ce projet présente deux objectifs. Le premier est de proposer des recommandations quant à la transmission de rapports sur la qualité des estimations, en particulier les proportions. Des préoccupations quant à la pratique actuelle d’utilisation des coefficients de variation pour mesurer la qualité des proportions ont mené à la recommandation de fournir des intervalles de confiance plutôt que des indicateurs de qualité fondés sur les coefficients. Du fait de cette recommandation, le deuxième objectif de ce projet est d’étudier des méthodes de création d’intervalles de confiance. En 2016, une étude a examiné plusieurs méthodes de création d’intervalles relatifs à des proportions (Neusy et Mantel, 2016). Le projet est d’étendre cette étude à d’autres types d’estimations, comme des différences de proportions et des dénombrements pondérés.

Progrès :

Des simulations préliminaires ont été exécutées pour évaluer l’efficacité des méthodes d’intervalles de confiance en matière de différences de proportions et de dénombrements pondérés. Les résultats préliminaires semblent indiquer que les intervalles de confiance relatifs aux dénombrements pondérés présentent le même type de problèmes de rendement que les intervalles de confiance relatifs aux proportions.

Il a été recommandé, dans le cadre d’une présentation au Comité des méthodes et des normes en novembre (Neusy, 2017), d’utiliser des intervalles de confiance pour mesurer et signaler la qualité des estimations en matière d’erreurs d’échantillonnage. Le comité a approuvé la recommandation d’adopter la pratique exemplaire d’utilisation d’intervalles de confiance afin de signaler la qualité.

Pour plus de renseignements, communiquez avec :
Elisabeth Neusy (613-863-3513, elisabeth.neusy@canada.ca).

Sous-projet : Examen de l’approche générale d’utilisation du Fichier des numéros de téléphone résidentiels comme base de sondage des enquêtes-ménages

Depuis plusieurs années, les enquêtes auprès des ménages comme l’Enquête sociale générale et l’Enquête canadienne sur le tabac, l’alcool et les drogues (ECTAD), qui ne sont pas fondées sur l’adresse, utilisent le Fichier des numéros de téléphone résidentiels (FNTR) comme base de sondage des numéros de téléphone. Étant donné le recours croissant aux questionnaires électroniques, l’utilisation du FNTR présente de nouveaux défis pour ces enquêtes, puisque l’invitation à remplir le questionnaire électronique, envoyé par la poste, peut parfois ne pas être associée à la bonne adresse. De plus, l’utilisation de la portion résiduelle du FNTR s’est avérée problématique lors de la collecte, entraînant des taux de réponse inférieurs et des taux supérieurs d’unités hors du champ de l’enquête. Cependant, cette portion résiduelle ne peut pas être exclue selon des études antérieures montrant qu’elle accroît significativement la couverture de la population cible.

Ce projet vise à examiner l’utilisation du FNTR, et en particulier de sa portion résiduelle, comme base de sondage des enquêtes auprès des ménages. On y évaluera tous les aspects, de la couverture aux problèmes de pondération. L’idée est de proposer des recommandations pour toutes les enquêtes ayant recours au FNTR comme base de sondage. Nous cherchons en particulier à savoir si une approche fondée sur l’adresse utilisant le Fichier de l’univers des logements (FUL) pourrait être utilisée à la place de l’approche actuelle fondée sur le FNTR.

Progrès :

Une évaluation du nouveau FUL a été effectuée pour mettre à jour certains des chiffres de couverture dérivés en 2012. Les améliorations apportées aux produits du service de la Base de sondage pour les enquêtes auprès des ménages (BSEM) nous incitent à penser que le nombre d’adresses ne pouvant être utilisées pour l’envoi par la poste serait considérablement réduit depuis 2012, peut-être suffisamment pour qu’une enquête sans IPAO puisse envisager l’utilisation du FUL comme base de sondage fondée sur l’adresse pour les enquêtes par interview téléphonique assistée par ordinateur et questionnaire électronique (ITAO et QE). Même si les adresses ne pouvant être utilisées pour l’envoi par la poste sont en effet moins problématiques dans la nouvelle version du FUL, il existe toujours des régions géographiques où l’utilisation du FUL présenterait un sous-dénombrement significatif, sauf si des IPAO pouvaient être envisagées. Des simulations ont été effectuées pour évaluer le biais potentiel des estimations lors de l’exclusion de la population cible de ces logements ne pouvant faire l’objet d’un envoi par la poste.

Les résultats de cette étude ont été présentés au Comité technique de la DMEM (Caron et Chabot-Hallé, 2018). Un certain nombre d’approches ont été présentées et ont fait l’objet de discussions en vue d’appuyer l’utilisation d’un échantillonnage fondé sur l’adresse. Parmi celles-ci figurent l’approche d’IPAO ciblées pour les régions problématiques et l’approche de courrier de quartier pour atteindre les logements non accessibles par envoi postal. Il a été recommandé de mettre ces approches à l’essai dans un avenir proche.

Pour plus de renseignements, communiquez avec :
Pierre Caron (613-612-6910, pierre.caron@canada.ca).

Sous-projet : Données de compteurs intelligents sur l’électricité pour le Manitoba

L’objectif ultime est de produire des estimations de la consommation électrique résidentielle au niveau de l’aire de diffusion du recensement pour le Manitoba (un peu plus de 2 000 aires de diffusion au recensement). Nous recevons les données de consommation électrique mensuelle de Manitoba Hydro depuis 2015. Nous aimerions comprendre la couverture de ces données relativement aux ménages. Le premier objectif est d’attribuer une aire de diffusion de recensement à chaque compteur, puis de comparer le nombre de compteurs (données d’Hydro Manitoba) au nombre de ménages (données du Recensement de 2016) au sein de chaque aire de diffusion.

Progrès :

Après avoir exploré diverses options pour obtenir les aires de diffusion (AD), la meilleure solution a été d'utiliser le logiciel ARCGIS pour superposer les points de Manitoba Hydro et les fichiers des limites du recensement. Parmi les autres options étudiées, mentionnons un couplage avec le registre des adresses et l’utilisation du Fichier de conversion des codes postaux (FCCP); ils auraient moins de succès en raison d'un manque d'adresse civique dans les zones rurales ou d'une imprécision par rapport aux aires de diffusion.

Une fois ce problème de région géographique résolu, nous avons comparé le nombre de compteurs au nombre de ménages pour mai 2016 (analyse transversale). Nous avons découvert que si une AD était principalement composée de logements individuels non attenants, une relation approximative de 1:1 existait entre le nombre de compteurs électriques et le nombre de ménages. Cette relation ne se retrouve pas aussi bien, malheureusement, lorsque l’AD comprend des blocs d’appartements. L’un des défis est de trouver le nombre de ménages associés à un compteur donné.

Un résultat surprenant a été que des compteurs associés à des blocs d’appartements n’étaient souvent pas classés comme des compteurs résidentiels, mais comme des compteurs commerciaux. La raison en est que ces compteurs sont associés à une entreprise. Cela peut correspondre aux objectifs de Manitoba Hydro, mais cela signifie que cette consommation d’électricité n’est pas incluse dans les estimations de la consommation résidentielle. Les résultats sont documents dans une présentation (Duddek, 2018).

Pour plus de renseignements, communiquez avec :
Christopher Duddek (613-862-9234, christopher.duddek@canada.ca).

Bibliographie

Beaumont, J.-F., et Patak, Z. (2012). On the generalized bootstrap for sample surveys with special attention to Poisson sampling. Revue Internationale de Statistique, 80, 127-148.

Chaudhuri, A., Dihidar, K. et Bose, M. (2006). On the feasibility of basing Horvitz and Thompson’s estimator on a sample by Rao, Hartley, and Cochran’s scheme. Communications in Statistics - Theory and Methods, 35, 12, 2239-2244.

Francis, J., Lafortune, Y. et Simard, J.-F. (2015). What Can Be Learned by Combining the Socio-Economic File (SEF) and the Labour Force Survey (LFS)? Document interne, Division des méthodes d’enquêtes auprès des ménages (DMEM).

Neusy, E., et Mantel, H. (2016). Confidence intervals for proportions estimated from complex survey data. Proceedings of the Survey Methods Section, Annual Meeting of the Statistical Society of Canada, mai 2016

Ohlsson, E. (1989). Variance estimation in the Rao-Hartley-Cochran procedure. Sankhya, Series B, 51, 3, 348-361.

Osiewicz, M., et Pérez-Duarte, S. (2012). Flexible and homoegeneous variance estimation in a cross-country survey under confidentiality constraints. Q2012 Conference, Athènes Grèce.

Osiewicz, M., et Pérez-Duarte, S. (2012). Flexible variance estimation in complex sample surveys: Rescaled bootstrap in multistage, pps surveys – ébauche.

Rao, J.N.K., Hartley, H.O. et Cochran, W.G. (1962). On a simple procedure of unequal probability sampling without replacement. Journal of the Royal Statistical Society, Series B, 24, 2, 482-491.

Rivers, D. (2007). Sampling for web surveys. Proceedings of the Joint Statistical Meeting, Salt Lake City, Utah, 2007.

Särndal, C.-E., Swenson, B. et Wretman, J. (1992). Model Assisted Survey Sampling. Springer Series in Statistics.

1.9 Recherche divisionnaire - Division des méthodes d’enquête sociales (DMES)

Sous-projet : Formation sur le SCANCIR pour méthodologistes

Un budget a été alloué à l’unité de CI, afin de créer une formation sur le SCANCIR qui serait offerte aux méthodologistes souhaitant étudier ce système ou améliorer leurs connaissances de ce système qui fait maintenant partie de la trousse d’outils de StatCan. Cette formation serait ajoutée à la liste des formations au sein de la Direction de la méthodologie.

Progrès :

Deux formations sur le SCANCIR ont été créées; l’une en anglais et l’autre en français. Le format de chacune de ces formations est un cours de deux jours assisté par ordinateur. Les participants y apprendront comment développer des modules d’imputation déterministe et d’imputation par donneur et se familiariseront avec les divers paramètres du SCANCIR. Des dates ont été fixées à l’automne 2018 et nous prévoyons d’offrir chaque formation une fois par an (en fonction de la demande).

Pour plus de renseignements, communiquez avec :
Lyne Guertin (613-862-6772, lyne.guertin@canada.ca).

1.10 Recherche divisionnaire – Division de la coopération internationale et des méthodes statistiques institutionnelles (DCIMSI)

Sous-projet : Élaboration d’un prototype robuste d’estimation

Dans le cadre de procédures traditionnelles d’estimation, la présence d’unités influentes dans l’échantillon peut avoir des répercussions négatives sur les estimations par domaine. Divers auteurs ont mis sur pied des méthodes d’estimation robustes pour atténuer l’instabilité de ces estimations. Dans le présent projet, nous cherchons à créer un programme permettant de mettre ces méthodes en œuvre. Cela nous permettra d’étudier leur efficacité en les appliquant à certaines de nos enquêtes.

Progrès :

Nous avons défini les spécifications et avons terminé les modules de calcul du biais conditionnel estimé pour l’échantillonnage à deux phases avec srswor stratifié à chaque phase ainsi que pour l’échantillonnage à deux phases avec srswor à la première étape et échantillonnage de Poisson à la deuxième étape. Nous développons actuellement les modules pour l’échantillonnage à une étape à partir de ces deux programmes plus complexes. Nous avons également créé deux modules permettant d’établir une cohérence des estimations robustes par domaine pour les totaux, en produisant des estimations par domaine cohérentes satisfaisant à divers types de contraintes. Un module porte sur la cohérence à dimension simple, alors que l’autre gère la cohérence à deux dimensions, comme par province selon le Système de classification des industries de l’Amérique du Nord (SCIAN). Ces modules peuvent gérer l’absence de valeurs (pour les cellules sans échantillon) et des lacunes structurelles (pour les cellules sans population). Il est possible de demander que les estimations finales satisfassent à l’une ou plusieurs des contraintes suivantes : 1) les totaux estimés doivent satisfaire aux contraintes de borne; 2) les totaux estimés doivent satisfaire aux relations linéaires entre les variables d’intérêt (y1=y2+y3); et 3) les totaux estimés pour chaque marge (dimension) doivent être la somme des estimations des cellules correspondantes.

Sous-projet : Consultation sur l’utilisation de méthodes d’estimation sur petits domaines

Nous avons offert des consultations et du soutien à des méthodologistes explorant la possibilité d’utiliser des méthodes d’estimation sur petits domaines dans le cadre de diverses enquêtes. Nous avons en particulier fourni du soutien pour la combinaison de données de terminaux de paiement (opérations par crédit/débit agrégées) à des données provenant de l’Enquête sur les voyages internationaux. L’objectif est d’estimer les dépenses totales pour chaque région touristique à l’aide des données de paiement comme information auxiliaire dans des modèles pour petits domaines.

Progrès :

Nous avons fourni aux utilisateurs des renseignements et des manuels existants, le cas échéant, sur le composant du système d’estimation sur petits domaines du logiciel d’estimation généralisé. Nous avons participé à des réunions visant à offrir des suggestions sur la manière d’améliorer les modèles en fonction de particularités d’ensembles de données. Nous avons en outre mis SAS et R code à disposition pour des explorations dépassant le système pour petits domaines. Ces consultations se poursuivront probablement, en particulier celles relatives à l’Enquête sur les voyages internationaux, jusqu’à l’établissement de modèles valides à utiliser pour des estimations sur petits domaines.

Sous-projet : Renforcement des capacités statistiques

Diverses formations ont été préparées ou offertes au cours de l’année :

Des consultations sur divers sujets méthodologiques ont été offertes à des méthodologistes de la Direction et, à l’occasion, n’appartenant pas à la Direction. Exemples de sujets couverts : problèmes de plan d’échantillonnage, pondération, traitement de la non-réponse, estimation de la variance bootstrap, analyse de données et estimations sur petits domaines.

Pour plus de renseignements, communiquez avec :
Jean-François Beaumont (613-863-9024, jean-francois.beaumont@canada.ca).

Sous-projet : Méthodes automatisées de collecte de données, points de vente au détail et centres commerciaux de Vancouver

Pour compléter les données recueillies par l’enquête mensuelle sur le commerce de détail (EMTC), le type de centre commercial a été ajouté comme attribut à la base de sondage des magasins du commerce de détail de la région de Vancouver. L’ajout a été réalisé en utilisant une approche essentiellement manuelle de références croisées avec de l’information disponible en ligne. Ce sous-projet de recherche propose une solution technologique pour rationaliser ce processus; réduire les cas d'interventions manuelles; permettre d’imiter l’approche pour d'autres régions et explorer d'autres méthodes de collecte de données ainsi que des méthodes de validation ou d’amélioration de la base de sondage.

La solution proposée se fonde sur les exigences recueillies auprès de divers partenaires dans l’ensemble de Statistique Canada. Cette solution-pilote est une nouvelle application Web qui intègre une interface de programme d’application (IPA) des services Google, le moissonnage Web comme première étape et SAS comme outil de gestion de base de données (composante de sortie). Elle se fonde sur des travaux de Chang (2018) et Chen (2018). La nouvelle application utilise des données de référence recueillies manuellement par Olineck (2017) auprès de la RMR de Vancouver depuis juin 2017 et des données Web récemment extraites afin de créer un prototype. Ce prototype a recours à des services aux entreprises automatisés issus des services en ligne de Google, à des recherches à proximité, à des recherches textuelles ainsi qu’à des outils de moissonnage Web, comme Scrapy et Selenium, afin d’extraire des informations à partir d’Internet. Ensemble, ces technologies fournissent un accès direct à des données publiquement disponibles et réduisent les interventions manuelles d’acquisition de données.

Progrès :

 Nous avons montré qu’en général l’application prototype a effectivement repéré un nombre de points de vente au détail comparable à celui du processus manuel, de façon plus efficace et rentable. De plus, l’application a effectué le processus de collecte en quelques heures par rapport à plusieurs mois pour le processus manuel. Ces résultats suggèrent que les méthodes de collecte en ligne permettent de gagner en efficacité opérationnelle par rapport aux processus manuels.

Pour plus de renseignements, communiquez avec :
Paul Holness (613-866-0367, paul.holness@canada.ca).

Sous-projet : Modèle Générique du Processus de Production Statistique (MGPPS)

La version 5.0 (2014) actuelle du MGPPS a été adoptée dans plus de 50 secteurs de compétence, notamment Statistique Canada. La première version 1.0 du modèle a été introduite en 2008. Depuis lors, le modèle a fait l’objet de modifications majeures quant à son accent stratégique et sa conception. Cependant, au cours des dix dernières années, nous avons assisté à une hausse considérable du développement, de la consommation et de l’intégration de données. Cette demande d’accès à des données détaillées en temps réel connaît une croissance très rapide. Parallèlement au volume accru de données, on a observé une hausse significative de la variété des sources de données d’entrée, notamment l’Internet des objets, le moissonnage Web, les données de lecteurs, les questionnaires électroniques et une augmentation supplémentaire de l’utilisation de données administratives. La hausse du volume et de la variété des données a en outre été accélérée par l’évolution et la prolifération d’une multitude de nouvelles technologies qui ont accru la rapidité de la génération des données. Ces changements entraînent la nécessité d’une meilleure gestion des données, en particulier lors de la préparation de statistiques officielles.

Progrès :

Le présent article examine le Modèle générique du processus de production statistique (MGPPS) et présente la façon dont des modifications de la mise en correspondance de ses composantes pourraient améliorer la transparence du cycle de vie des données et fournir la base d’une meilleure gestion des données. Le modèle proposé étend la fonctionnalité des sous-processus existants et décompose la « phase de traitement » complexe en composantes distinctes : profil et découverte, nettoyage et transformation, et enfin intégration (joindre, coupler et modéliser). Il capture les produits de chaque phase ainsi que des mesures de rendement et des indicateurs de la qualité des données. Le résultat est un cadre plus souple, transparent et accessible de production de statistiques officielles; cadre qui encourage l’automatisation complète et la mise en œuvre de nouvelles techniques puissantes de science des données contribuant à l’amélioration de la qualité des données, à l’accroissement du rendement des programmes et à la création d’une communauté de pratique plus efficace. Le modèle a été présenté à l’atelier ModernStats (Holness and Mayda, 2018).

Pour plus de renseignements, communiquez avec :
Paul Holness (613-866-0367, paul.holness@canada.ca).


Date de modification :