Projets de recherche

Consulter la version la plus récente.

Imputation et estimation robuste
Échantillonnage et estimation
Projet d’intégration des données
Estimation sur petits domaines
Recherche sur l’analyse des données
Collecte des données
Centre de ressources sur le contrôle de la divulgation

Pour plus de renseignements sur le programme dans son ensemble, s’adresser à
Mike Hidiroglou (613-951-0251, mike.hidiroglou@statcan.gc.ca).

Imputation et estimation robuste

Progrès :

Recherche sur l’estimation de la variance en présence d’imputation

On a complété la recherche sur l’estimation de la variance quand on utilise l’imputation par donneur. On a étudié une extension de la méthode de Särndal (1992, Techniques d’enquête) et développé un nouvel estimateur de la variance d’échantillonnage. On a aussi montré empiriquement que l’utilisation de méthodes non-paramétriques pour l’estimation des moyennes et variances sous le modèle apporte de la robustesse par rapport à une mauvaise spécification du modèle d’imputation. Les résultats ont été présentés lors de la conférence ICES-III et un article a été écrit pour le recueil (Beaumont and Bocci, 2007a). Une version améliorée a aussi été soumise pour publication dans une revue. Finalement, la méthode a été programmée dans la version 2.0 de SEVANI.

On a trouvé une méthode simple pour tenir compte de la situation dans laquelle plusieurs méthodes d’imputation sont utilisées pour imputer une seule variable; cas que l’on appelle souvent « imputation composite ». L’idée de base consiste à réaliser que la plupart des méthodes d’imputation utilisées en pratique conduisent à des estimateurs imputés linéaires dans les observations. Une extension simple de la méthode de Särndal (1992, Techniques d’enquête) devient alors possible. Le développement méthodologique est terminé et a été présenté lors de l’Atelier sur le calage et l’estimation dans les enquêtes. Un article a aussi été écrit pour le recueil (Beaumont et Bissonnette, 2007) et la méthode a été programmée dans la version 2.0 de SEVANI. Il reste à effectuer une étude empirique pour confirmer la validité de la méthode.

On a raffiné un article sur l’estimation de la variance quand on fait de l’imputation par valeur auxiliaire, parfois aussi appelé « imputation cold-deck ». L’article a été soumis pour publication dans une revue (Beaumont, Haziza et Bocci, 2008).

Recherche sur le traitement de poids extrêmes et l’estimation robuste

On a étudié le problème des poids de sondage variables et, plus particulièrement, des poids extrêmes ou aberrants. On a considéré une approche dans laquelle on utilise un modèle pour les poids de sondage pour les lisser et ainsi améliorer l’efficacité des estimateurs traditionnels basés sur le plan de sondage. On a terminé la révision d’un article qui paraîtra dans Biometrika (Beaumont, 2008). On a aussi appliqué cette méthodologie pour le traitement des « stratum jumpers » en utilisant les données de l’Enquête sur le milieu du travail et les employés et on a obtenu des améliorations significatives. Cette application a été présentée lors de la conférence de la SSC à St-John’s et un article, co-écrit avec Louis-Paul Rivest de l’université Laval, a été écrit et paraîtra dans le recueil (Beaumont et Rivest, 2007). Cette application sera également publiée dans une section d’un chapitre du prochain « Handbook of Statistics » sur le sondage (Beaumont et Rivest, 2008). Ce chapitre contient également une revue des méthodes d’estimation robuste dans les enquêtes. La méthode pour traiter les « stratum jumpers » est considérée aux enquêtes post-censitaires.

Nous avons aussi étudié le problème des facteurs de calage extrêmes ou aberrants. Une méthode consiste à utiliser des fonctions de distance qui bornent les facteurs de calage, comme celles proposées dans Deville et Särndal (1992, Journal of the American Statistical Association). Ce sont des méthodes itératives qui peuvent éprouver des problèmes de convergence. Le calage « ridge » est une alternative qui consiste à relâcher le moins possible les contraintes de calage de telle sorte que les facteurs de calage soient bornés. Nous avons montré une correspondance entre le calage ridge et la méthode de Chen, Sitter et Wu (2002, Biometrika). Nous avons également justifier le calage ridge sous un autre angle, ce qui permet de le favoriser lorsqu’on le compare à la méthode de Chen, Sitter et Wu. Nous avons complété l’écriture d’un article qui décrit nos résultats théoriques et nous avons ajouté un exemple numérique en utilisant les données de l’Enquête sur la dynamique du travail et du revenu. L’exemple numérique montre les bénéfices qu’on peut obtenir en utilisant le calage ridge. L’article (Beaumont et Bocci, 2008) sera publié dans le premier numéro de 2008 de Metron; un numéro spécial sur les méthodes d’enquête.

Variance due à l’imputation et à la modélisation pour les enquêtes‑entreprises auxquelles sont appliquées des stratégies de remplacement par des données sur la TPS

Pour les besoins de la simulation, certaines parties du module de contrôle et d’imputation de l’Enquête mensuelle sur le commerce de gros et de détail (EMCGD) ont dû être reprogrammées pour satisfaire à l’exigence selon laquelle un répondant ne peut être utilisé que dans une seule classe d’imputation. La routine de détection des valeurs aberrantes par la régression multiple a également été intégrée dans le module (pour remplacer le module de contrôle) et a produit toutes les estimations ponctuelles et de variance robustes des paramètres que requiert une approche assistée par modèle en vue du calcul de la variance due à l’imputation ou à la modélisation. Le module de remplacement par des données sur la TPS a également été modifié parce que des estimations robustes de la variance étaient nécessaires. Nous sommes en train de développer le programme permettant d’obtenir la variance totale afin de l’appliquer aux données de l’EMCGD correspondant à deux phases distinctes, à savoir 1) quand on exécute seulement une imputation et 2) quand on exécute une imputation ainsi qu’un remplacement par des données sur la TPS pour des unités simples. La méthode de détection des valeurs aberrantes a été présentée à la troisième Conférence internationale sur les enquêtes‑établissements (CIEE‑III) et un article a été rédigé pour publication dans les actes de la conférence (Phillips, 2007). Le document de travail sur la variance due à l’imputation et à la modélisation dans lequel sont intégrées les données de l’EMCGD est également en cours de préparation.

SEVANI

SEVANI est le Système pour l’estimation de la variance due à la non-réponse et à l’imputation. La version 2.0 de SEVANI a été programmée. Elle constitue un changement radical par rapport à la version précédente (version 1.10). Non seulement des méthodes plus à jour ont été programmées suite à nos recherches mais également la vitesse d’exécution a été améliorée significativement. Un guide détaillé pour les utilisateurs a été écrit mais il nous reste à compléter le guide de la méthodologie. Nous avons également terminé la plus grande partie de nos tests et commencé à diffuser la version bêta du Système à quelques enquêtes avec l’aide requise pour son utilisation. Il est à noter que les agences statistiques de la Nouvelle-Zélande et de l’Australie ont entamé les procédures pour acquérir le Système.

Système pour la détection des valeurs aberrantes

Le but du projet est de rendre disponibles les méthodes les plus usuelles de détection de valeurs aberrantes à toutes les enquêtes et d’agir comme support pour l’implantation de nouvelles méthodes. Un autre objectif est de fournir un outil permettant de visualiser les valeurs aberrantes et de comparer graphiquement les méthodes entre elles afin de choisir de façon plus éclairée la méthode qui conviendrait le mieux pour chacune des enquêtes.

Présentement, il y a 5 méthodes de détections de valeurs aberrantes qui ont été programmées et mises à l’essai : Sigma-gap, la méthode des quartiles, Hidiroglou-Berthelot, les méthodes les plus courantes dans la littérature (Dffits, Dfbeta, Hat matrix, CovRatio, distance de Cook et RStudent) et une méthode multivariée développée par Robert Phillips pour l’Enquête mensuelle sur le commerce de gros et de détail. Chacune des méthodes est utilisable individuellement et un module supplémentaire a été créé pour faire des comparaisons entre deux méthodes choisies. De surcroît, une première version d’interface a été développée en utilisant le progiciel SAS. Par contre, elle n’est pas encore opérationnelle. D’autres méthodes seront éventuellement développées, comme celles utilisant la distance de Malahanobis et l’estimation M.

L’enquête mensuelle sur les services de restauration et débits de boissons (MFSS) utilise déjà le système, principalement la méthode d’Hidiroglou-Berthelot, pour faire la sélection des paramètres d’entrées pour BANFF et aussi comme outil pour présenter des résultats aux clients. D’autres enquêtes ont montré un fort intérêt dans l’utilisation du système comme, entre autres, l’Enquête sur la qualité de l’eau et l’Enquête unifiée auprès des entreprises. On a aussi montré un intérêt pour le système dans le contexte de la détection des données aberrantes dans les données T1.

Bulletin sur l’imputation

Le Bulletin sur l’imputation fournit divers renseignements sur la théorie de l’imputation, les logiciels, les bonnes pratiques, les articles récents et les conférences. Chaque bulletin, qui contient trois ou quatre courts articles sur des questions d’actualité, est distribué gratuitement aux personnes intéressées. Un numéro du Bulletin a été produit durant l’année et un autre paraîtra bientôt.

Pour plus de renseignements, communiquer avec
Jean-François Beaumont (613‑951‑1479, jean-francois.beaumont@statcan.gc.ca).

Échantillonnage et estimation

Progrès :

Optimisation du chevauchement des échantillons pour les enquêtes‑entreprises

Nous avons étendu la méthode en vue d’obtenir une coordination optimale de l’échantillon après la restratification. Nous trouvons la solution en deux étapes, comme dans le cas de la méthode de la règle du coin nord‑ouest (RCNO), mais nous n’obtenons pas celle de la première étape au moyen de l’algorithme RCNO. Nous utilisons plutôt deux procédures SAS/OR, à savoir PROC LP et PROC INTPOINT, pour résoudre notre problème de transport réduit. L’article intitulé « Optimal Coordination of Samples in Business Surveys » a été présenté à la troisième Conférence internationale sur les enquêtes‑établissements (CIEE‑III), qui a eu lieu en juin 2007 à Montréal et a été soumis pour publication dans les actes de cette conférence (Mach, L., Şchiopu‑Kratina, I., Reiss, P.T. et Fillion, J.‑M., 2007).

Au sujet de la répartition de l’échantillon et de l’estimation dans le cas de données d’enquête à base de sondage double

L’étude a permis de déterminer les tailles d’échantillon « optimales » qui minimisent le coût sous des contraintes imposées aux variances des estimateurs à base de sondage double des totaux, pour une ou plusieurs caractéristiques d’intérêt. Nous avons aussi étudié les estimateurs calés sur des tailles de base de sondage connues et des estimateurs à base de sondage double basés sur des ajustements multiples des pondérations, afin de tenir compte de la non‑réponse, des multiplicités et du calage sur des totaux auxiliaires connus. Un article a été rédigé et soumis pour publication dans les actes de la Section on Survey Research Methods des Joint Statistical Meetings qui ont eu lieu au Utah en août 2007 (Demnati et coll., 2007).

Échantillonnage et estimation dans les enquêtes‑entreprises

Un article (Hidiroglou et Lavallée, 2008) résumant les étapes fondamentales de la conception d’une enquête‑entreprise sera inclus dans le Handbook No. 29, Sample Surveys: Theory, Methods and Inference.

Estimation de la variance sous échantillonnage à deux phases

L’échantillonnage à deux phases est souvent utilisé pour estimer un total ou une moyenne de population quand le coût par unité de la collecte de données sur des variables auxiliaires est beaucoup plus faible que celui de la mesure d’une caractéristique d’intérêt. À la première phase, un grand échantillon est tiré conformément à un plan d’échantillonnage particulier et des données auxiliaires sont observées pour les unités sélectionnées. Partant de l’échantillon de première phase, un échantillon de deuxième phase est sélectionné conformément à un plan d’échantillonnage particulier et les données sur les variables d’intérêt et les variables auxiliaires sont observées pour les unités qui le constituent. Des estimateurs de variance de type Horvitz‑Thompson peuvent être utilisés pour l’estimation de la variance. Cependant, dans le cas de l’échantillon à une seule phase, cet estimateur de variance est très instable et peut prendre des valeurs négatives quand les unités sont sélectionnées avec probabilités inégales. Par ailleurs, l’estimateur de variance de Sen‑Yates‑Grundy est relativement stable et non négatif pour plusieurs plans d’échantillonnage avec probabilités inégales pour des tailles d’échantillon fixes. Hidiroglou, Rao et Haziza (2008) ont étendu l’estimateur de variance de Sen‑Yates‑Grundy (Sen, 1953; Yates et Grundy, 1953) à l’échantillonnage à deux phases, en supposant que la taille d’échantillon de première phase est fixe et que la taille d’échantillon de deuxième phase est fixe sachant l’échantillon de première phase. Ils ont appliqué les nouveaux estimateurs de variance à des plans d’échantillonnage à deux phases avec stratification à la deuxième phase ou aux deux phases. Ils ont aussi élaboré des estimateurs de variance de type Sen‑Yates‑Grundy des estimateurs par la régression à deux phases qui s’appuient sur les données auxiliaires de première phase et les totaux de population connus de certaines variables auxiliaires.

Haziza, Hidiroglou et Rao (2008) adaptent les résultats d’Hidiroglou, Rao et Haziza (2008) de manière à prendre en considération l’estimateur de Hajèk. Ils ont étudié les propriétés des estimateurs de variance connexes en ce qui concerne la stabilité, ainsi que la tendance de l’estimateur de variance de type HT à prendre des valeurs négatives. Ils fournissent des résultats par simulation concernant la performance relative des estimateurs de variance SYG et HT sous un plan d’échantillonnage à deux phases, en se basant sur un échantillonnage aléatoire simple à la première phase pour observer une variable de taille et sur l’échantillonnage avec probabilité proportionnelle à la taille sans remise à la deuxième phase.

Traitement de la non‑réponse totale pour les enquêtes‑établissements

La non‑réponse est l’une des nombreuses erreurs qui peuvent affecter la qualité des enquêtes. Elle a pour effet de rendre les estimations connexes inefficaces et, dans certains cas, biaisées (si les caractéristiques des non‑répondants diffèrent de celles des répondants). La non‑réponse est répartie en deux grandes catégories, la non‑réponse totale et la non‑réponse partielle. La non‑réponse totale a lieu lorsqu’une unité échantillonnée ne fournit aucun renseignement. La non‑réponse partielle a lieu si l’unité échantillonnée répond à certaines questions mais pas à toutes. L’article porte sur le traitement de la non‑réponse totale.

La meilleure façon de limiter les effets indésirables de la non‑réponse totale consiste à la réduire au minimum. Cependant, il est très difficile d’obtenir une réponse complète, même si l’on effectue un suivi rigoureux auprès des unités non répondantes. Il existe deux grands moyens de traiter la non‑réponse totale résiduelle, à savoir la pondération et (ou) l’imputation. Hidiroglou et Yung (2007) décrivent un certain nombre de méthodes de correction pour tenir compte de la non‑réponse totale afin de réduire les effets négatifs de celle‑ci.

Un bref historique de l’estimateur par la régression dans le contexte de l’échantillonnage

L’estimation par la régression n’a été utilisée à grande échelle par les organismes statistiques que récemment. La moyenne d’échantillon et l’estimateur par le ratio classique sont des cas particuliers de cet estimateur. Tous deux ont une longue histoire qui remontre à la Grèce antique ou encore plus loin. Par exemple, l’estimateur par le ratio a été utilisé par les Égyptiens et les Babyloniens pour calculer la circonférence d’un cercle étant donné le rayon de celui‑ci et une constante approximant la fameuse valeur π. On trouve en physique et en génie de multiples exemples de l’utilisation de l’estimateur par le ratio comme moyen de calculer indirectement une mesure d’intérêt. L’estimateur par le ratio a également été utilisé par le passé pour estimer les chiffres de population au recensement, quand les administrations d’alors n’avaient pas la capacité d’obtenir des dénombrements exacts (par exemple John Graunt, 1662 et Laplace à la fin du XVIII^e siècle).

Hidiroglou (2007) retrace l’évolution de l’estimation par la régression en échantillonnage des années 1930 à aujourd’hui. Il décrit les avantages et les inconvénients de la méthode.

Estimation de la variance pour les estimateurs par calage

L’objectif était d’établir une méthode de calcul efficace en vue d’obtenir des estimations presque sans biais des erreurs‑types des estimations produites d’après les données de recensement pouvant être utilisées par les employés de Statistique Canada, ainsi que dans les Centres de données de recherche. Des études Monte‑Carlo antérieures ont montré que nos estimations de variance (Bankier, 2004) produites pour le Recensement de 2001 devaient être multipliées par deux pour être relativement sans biais. Ce biais à la baisse important pourrait tenir au fait que l’approximation par le développement en série de Taylor n’est pas particulièrement bonne quand on essaye de procéder au calage sur environ 28 variables auxiliaires dans chacun des 6 000 secteurs de pondération. Le fait de ne pas tenir compte dans le calcul de la variance de ce que les variables auxiliaires retenues pour le calage pourraient différer d’un échantillon à l’autre est un facteur également susceptible de contribuer à ce biais. Il était prévu de comparer les estimations de la variance obtenues en utilisant un logiciel du commerce pour l’analyse des données d’enquête à celles obtenues à l’aide d’un logiciel de Statistique Canada qui calcule les effets de plan du recensement et qui tient compte de toutes les complexités du plan d’échantillonnage et de la repondération. Michael Ornstein, de l’Université York, collabore avec nous à l’obtention de divers scénarios réalistes sous lesquels nous pourrions comparer les diverses approches d’estimation de la variance. Nous avons rencontré Michael Ornstein le 6 décembre pour discuter des genres d’études qui seront exécutées dans les Centres de données de recherche (CDR) en utilisant l’échantillon 2B du Recensement de 2001 et de quels estimateurs il faudra estimer la variance. Un rapport provisoire décrivant certains problèmes dans les grandes lignes a été diffusé avant la réunion. Le gros des travaux sera effectué durant l’exercice 2008‑2009 et ne sera donc pas imputé au code PRACAS du CRDM.

Moyenne bootstrap : propriétés, choix des paramètres et efficacité

Cette année, le principal objectif était d’évaluer le comportement du bootstrap moyen des totaux, des moyennes, des ratios, des coefficients de régression et des centiles en se basant sur les résultats d’expériences exécutées durant l’exercice 2006‑2007. Les propriétés de l’estimation de la variance par le bootstrap moyen ont été analysées en détail pour les médianes estimées. Dans le cas idéal d’un EAS avec une grande taille d’échantillon, mais une faible fraction d’échantillonnage afin que l’on puisse supposer que l’échantillonnage se fait avec remise (AR) (N = 100 000, n = 1 000, n/N = 0,01), nous avons constaté que :

• pour les proportions et les moyennes estimées, la variance bootstrap est sans biais quel que soit le paramètre R (R est le nombre d’échantillons bootstrap utilisés pour produire un jeu des poids moyens bootstrap; donc, pour le bootstrap ordinaire de Rao‑Wu, R = 1, et pour le bootstrap moyen, R > 1);
• pour les médianes, le bootstrap moyen ne doit pas être utilisé. La variance bootstrap ordinaire de Rao‑Wu pour les médianes n’est pas très stable et devient encore beaucoup plus instable à mesure qu’augmente la valeur de R. Il convient de souligner que nous nous sommes servis de SAS pour estimer la médiane, ce qui entraîne des discontinuités dans la distribution des répliques bootstrap.

Yves Lafortune a présenté l’étude et ses résultats à l’occasion d’un séminaire intitulé « How to avoid being bitten by the “MEAN” bootstrap? » (Lafortune, 2007).

Estimation de la variance par le bootstrap dans le cas de plans de sondage complexes avec fractions d’échantillonnage élevées

Nous avons comparé le biais, la stabilité et les distributions d’échantillonnage empiriques de la version avec remise de l’estimateur de variance bootstrap de Rao‑Wu aux propriétés empiriques des estimateurs de variance analytiques sous divers scénarios. Les résultats ont été présentés à la conférence de la SSC de 2007 et un article a été rédigé pour publication dans les actes de la Section des méthodes d’enquête de la SSC. La principale conclusion de Mach, Saïdi et Pettapiece (2007) se résume comme il suit :

Pour divers estimateurs lisses, nous avons constaté que le degré de surestimation de l’estimateur de variance bootstrap, vBS, dépend de la taille et de la composition du domaine d’estimation. Dans le cas extrême où le domaine ne contient qu’une seule strate, le biais relatif peut être grand pour n/N > 0,1. Par ailleurs, pour un cas plus réaliste où le domaine est composé d’un certain nombre de strates avec fractions d’échantillonnage variables nh/Nh, le biais de vBS pourrait être négligeable, même si n/N > 0,1. Nous avons également constaté que, pour les grands domaines, vBS donne de meilleurs résultats que l’estimateur de Sen‑Yates‑Grundy sous échantillonnage avec remise.

Bootstrap général pour les enquêtes pour l’établissement des indices des prix et les enquêtes postcensitaires

Nous avons élaboré une méthode bootstrap générale qui peut être appliquée à n’importe quel plan d’échantillonnage. L’idée consiste à produire des poids bootstrap de manière à refléter les deux premiers moments du plan d’échantillonnage sans devoir procéder à un rééchantillonnage bootstrap. La méthode est appliquée aux enquêtes pour l’établissement des indices des prix et nous sommes en train de rédiger un rapport provisoire qui résume les constatations (Beaumont et Patak, 2008). L’extension de cette méthode aux plans d’échantillonnage à deux phases utilisés dans les enquêtes postcensitaires a été élaborée et sera présentée au Comité consultatif des méthodes statistiques en mai (Langlet, Beaumont et Lavallée, 2008).

Estimation de la variance pour les plans de sondage non probabilistes à deux degrés dans les enquêtes pour l’établissement des indices de prix

Dans les enquêtes pour l’établissement des indices de prix, le plan d’échantillonnage de premier degré est souvent choisi en s’appuyant sur un mécanisme de sélection probabiliste, comme l’échantillonnage de Poisson, mais le plan d’échantillonnage de deuxième degré est habituellement choisi de manière déterministe. L’estimation de la variance pour de tels plans d’échantillonnage n’est pas un problème trivial, à cause du deuxième degré d’échantillonnage. Pour traiter cette situation, nous élaborons une approche fondée sur un modèle de l’erreur de mesure. Un rapport décrivant cette méthode d’estimation de la variance a été rédigé (Beaumont, 2007a).

Intégration de l’Enquête sur la production cinématographique à l’EUE

Nous avons décrit une approche qui permet d’intégrer facilement l’Enquête sur la production cinématographique (EPC) dans les systèmes de traitement et d’estimation de l’Enquête unifiée auprès des entreprises (Beaumont, 2007b). L’échantillon de l’EPC est sélectionné par échantillonnage indirect. Dans ce contexte, une méthode appropriée de pondération est celle du partage des poids. Nous avons montré comment appliquer la méthode du partage des poids sans procéder effectivement au partage des poids. Cela nous permet d’appliquer la méthode en utilisant les systèmes existants.

Nouvelles applications des fonctions d’estimation à l’estimation ponctuelle, à l’estimation de variance et à l’estimation d’intervalle pour des échantillons de taille modérée

L’idée fondamentale consiste à créer des estimations imputées obtenues en résolvant la fonction d’estimation normalisée rendue égale à des valeurs de recentrage tirées au hasard de la distribution normale standard. La méthode, dite des équations d’estimation recentrées aléatoirement (EERA) consiste à approximer la distribution d’un estimateur par la distribution empirique des estimateurs répliqués. Cette distribution empirique fournit, à son tour, de nouvelles estimations ponctuelles, de variance et d’intervalle. Un article général a été présenté par Singh (2007) à la Conférence sur la recherche du FCSM. La méthode des EERA a été appliquée en vue d’améliorer la méthode de Fieller pour l’estimation de l’intervalle du ratio de moyennes (avec M. Tam) en ce qui concerne les propriétés de couverture, ainsi que la méthode de Woodruff d’estimation des quantiles (avec O. Phillips) en ce qui concerne l’obtention d’un estimateur de variance de rechange. Ce dernier se compare favorablement à la méthode du carré ajusté de la demi‑largeur (adjusted squared half width method) de Francisco et Fuller, mais ne requiert pas la spécification ponctuelle du niveau de confiance.

Bases de sondage multiples

Lorsque l’on utilise trois bases de sondage ou plus, il se peut, pour des raisons de confidentialité (par exemple dans le cas de la population de sans‑abri), que l’on ne connaisse l’appartenance d’un individu à toutes les bases de sondage que jusqu’à un chiffre de multiplicité et que l’on ne sache pas exactement à quelle base de sondage cet individu appartient ou non. Cependant, dans le cas de certains répondants, il pourrait être possible de savoir à quelles autres bases de sondage ils appartiennent. Ici, nous ne pouvons pas utiliser des estimateurs distincts selon la base de sondage à moins de connaître sans erreur la situation d’appartenance de chaque répondant à chaque base de sondage. Le but de ce projet de recherche est de développer des estimateurs de type Horvitz‑Thompson généralisés pour la base de sondage combinée en utilisant un poids d’échantillonnage de type multiplicité ou un poids d’échantillonnage de type HT selon l’information disponible au sujet de l’appartenance aux bases de sondage. Le projet est mené en collaboration avec la professeure Fulvia Mecatti de l’Université de Milan à Bicocca et a débuté durant la visite de cette dernière à Statistique Canada en juillet 2007. Le cadre de l’étude a été spécifié, ainsi que la classe d’estimateurs et un plan pour une étude par simulation ressemblant à celui décrit dans l’article de Mecatti (2007, Techniques d’enquête). Il est prévu de poursuivre cette collaboration durant l’été 2008.

Probabilités d’inclusion par la méthode Monte‑Carlo

Le but de ce sous‑projet est d’élaborer une approximation Monte‑Carlo calée des probabilités d’inclusion de deuxième ordre pour estimer les variances des estimations d’Horvitz‑Thompson quand il est impossible de justifier l’hypothèse que les UPE sont tirées avec remise. L’idée fondamentale consiste à simuler la sélection de l’échantillon un grand nombre de fois afin d’obtenir une loi empirique raisonnable des probabilités d’inclusion conjointes. Puis, nous avons élaboré une méthode de calage afin que les valeurs de marge connues servant de contrôle pour les probabilités d’inclusion de deuxième ordre soient satisfaites. Ces travaux sont exécutés en collaboration avec Harold Mantel.

Pour plus de renseignements, s’adresser à
Susana Rubin‑Bleuer (613‑951‑6941, susana.rubin-bleuer@statcan.gc.ca).

Projet d'intégration des données

Progrès :

Le PIdD est constitué de quatre équipes de projet touchant (1) les concepts et définitions, (2) l’échantillonnage et l’estimation, (3) les mesures de qualité, et (4) l’harmonisation des enquêtes infra-annuelles et annuelles. On retrouve aussi le sous-projet relié à l’application des concepts et méthodes proposés à l’EUE.

Concepts et définitions 

L’équipe « Concepts et définitions » a présenté son rapport final en mars 2007 et ne fait donc pas partie de ce rapport d’avancement.

Échantillonnage et estimation 

Cette année, l’équipe « Échantillonnage et estimation » a étudié plusieurs aspects de l’échantillonnage et de l’estimation en cherchant à optimiser l’utilisation des données fiscales.

Au niveau de l’estimation, l’équipe a étudié le problème de l’approche micro et macro pour présenter les microdonnées. L’approche dite « micro » est celle où on produit un fichier contenant les données provenant de l’enquête et les données prédites pour le reste de la population (forme d’imputation massive), tandis que l’approche dite « macro » est celle où on présente les données de l’enquête avec un poids de calage permettant d’estimer pour l’ensemble de la population. L’avantage de l’approche micro est qu’on peut procéder variable par variable et prédire les valeurs des unités hors échantillon en utilisant le « meilleur » modèle pour chaque variable. Avec l’approche macro, on dispose d’un seul poids de calage pour l’ensemble des variables et ainsi, la pondération n’est pas nécessairement optimale pour toutes les variables.

Pour les variables financières, il a été convenu qu’une approche micro pourrait être appropriée car elle permet d’utiliser les données fiscales pour toutes les unités dans la population. Cette approche permet donc d’utiliser les données fiscales le plus efficacement. Pour les variable non financières, il a été convenu d’utiliser une approche macro; i.e., de créer un poids de calage unique qui servira dans l’estimation de toutes les variables (financière et non-financière). Les variables de calage comprendront les estimations pour les variables financières de manière à ne pas altérer les estimations qui, croit-on, sont de très bonne qualité. Un travail sur l’estimation de la variance a commencé. L’estimation pour des domaines a également été étudiée.

Un rapport final sur tous les aspects de l’échantillonnage et de l’estimation est cours d’écriture. Il devrait être prêt au cours des prochains mois.

Mesures de qualité 

L’équipe « Mesures de qualité », aussi connu sous le nom de « Comité sur les mesures de qualité », a été formé pour se pencher sur les deux aspects suivants: (i) l’estimation de la variance en présence d’imputation et (ii) le calcul des taux de réponse quand on a un mélange de données administratives et de données d’enquête. Les membres du Comité sont : Mike Bankier, Jean-François Beaumont, Joël Bissonnette, François Brisebois, David Haziza, Mike Hidiroglou, Claude Julien, Pierre Lavallée, Carlos Léon, Chris Mohl, Claude Nadeau, Eric Rancourt, Julie Trépanier et Wesley Yung.

Le problème de l’estimation de la variance en présence d’imputation est particulièrement important dans le contexte de l’Enquête unifiée auprès des entreprises (EUE) lorsqu’on fait du remplacement direct mais aussi pour tenir compte des valeurs manquantes à cause de la non-réponse ou de réponses incohérentes. Un des buts importants du Comité est d’étudier et comprendre les approches existantes et d’écrire un rapport qui sera utile à tout méthodologiste désirant en apprendre sur le sujet et voulant implanter une méthode dans une enquête particulière.

Le Comité sur les mesures de la qualité a continué de se rencontrer régulièrement bien qu’il n’y ait eu qu’une seule présentation à l’équipe durant la période couverte. Les tâches du Comité sont orientées maintenant sur l’écriture d’un rapport qui porte principalement sur l’estimation de la variance en présence d’imputation. On traite des sujets suivants:
1)     La raison d’être du Comité
2)     Qu’est-ce que la variance totale en présence d’imputation?
3)     Pourquoi estimer cette variance totale plutôt que la variance due à l’échantillonnage?
4)     Différentes méthodes d’imputation utilisées aux enquêtes entreprises
5)     Méthodes pour estimer la variance totale
6)     Systèmes pour estimer la variance totale
7)     Cas de l’EUE
8)     Recommandations

Certaines des sections de ce document sont déjà écrites. On devrait avoir une ébauche assez complète prochainement. Dans le cas de l’EUE, on vise de bien décrire la situation et d’en arriver à des conclusions pour le futur, mais probablement pas une solution finale puisque la stratégie d’estimation n’est pas encore complètement finalisée.

Une approche pour calculer des taux de réponse quand on a un mélange de données d’enquête et de données administratives a aussi été développée par Carlos Léon et présentée, entre autres, lors d’une réunion du Comité sur les mesures de la qualité. Durant la période couverte, la méthode a été implantée à l’EUE et un rapport sera produit.

Il reste maintenant à compléter le rapport sur l’estimation de la variance en présence d’imputation, à le réviser et à le traduire.

Harmonisation des enquêtes infra-annuelles et annuelles 

L’équipe « Harmonisation des enquêtes infra-annuelles et annuelles » est contituée de François Brisebois, Guylaine Dubreuil, Susie Fortier, Julie Girard, Joanne Leung, Caroline Rondeau (à noter aussi la contribution de plusieurs autres méthodologistes travaillant sur les données fiscales, les enquêtes infra-annuelles et au Centre de recherche et d’analyse sur les séries chronologiques).

Suite à l’analyse de cohérence faite pour la Division de la Statistique du Commerce (DSC) en 2006-07, un exercice semblable a été entrepris pour les enquêtes sur les industries manufacturières de la Division de la fabrication, de la construction et de l’énergie. L’étude consistait à identifier les différents éléments pouvant expliquer les différences entres les estimations annualisées de l’enquête mensuelle, et celles produites par l’enquête annuelle, et ce afin d’évaluer le bien-fondé du processus d’étalonnage. Malgré que cette étude ne relève pas directement du Projet d’intégration des données, plusieurs membres de l’équipe d’harmonisation ont contribué à celle-ci grâce à leurs expertises sur les données fiscales. Un document de travail (« Should Sub-Annual Surveys be Benchmarked to their Annual Counterparts? A Case Study of Manufacturing Surveys ») a été écrit suite à cette étude et inclut plusieurs recommandations en égard à la cohérence et l’étalonnage.

Parallèlement, une vaste étude se concentrant uniquement sur les données fiscales a été menée. Il s’agissait d’une comparaison entre les données mensuelles de la Taxe sur les produits et services (TPS), puis les données annuelles T2 (des entreprises incorporées). L’objectif de cette comparaison était d’examiner la cohérence entre ces deux sources de données et d’explorer leurs potentiels d’intégration. Un rapport détaillant les analyses a été écrit sous forme de document de travail (« Comparaison du revenu T2 au revenu de la TPS ») et le tout a fait l’objet de plusieurs présentations. Cette étude représentait en fait la première phase d’un projet plus large à la Division des données fiscales et visant à expliquer les différences entre les diverses sources de données fiscales. Des études subséquentes inspirées des résultats obtenus à ce moment seront donc menées par la DDF en collaboration avec son équipe de méthodologistes.

Finalement, des analyses préliminaires ont été réalisées afin de commencer à évaluer la pertinence de calendariser les données T2. Pour faire une évaluation adéquate, il faudrait d’abord être en mesure de calendariser ces données pour ensuite les comparer aux données non calendarisées. Ce n’est pas une comparaison possible pour le moment. Par contre, des analyses descriptives sur le profil des déclarations T2, en particulier sur la distribution des périodes fiscales, ont été effectuées. Le pourcentage des déclarations fiscales pour une année donnée se rapportant exactement à l’année calendrier (janvier à décembre) varie d’une industrie à l’autre, mais semble toutefois passablement constant dans le temps. En utilisant les données calendarisées de la TPS et les périodes fiscales des données T2, l’impact de la calendarisation sur un niveau total simulé a été calculé pour l’année 2004. Des études plus détaillées incluant entre autres, un raffinement au niveau industriel et un plus grand nombre d’années, sont nécessaires pour conclure en la nécessité ou non de calendariser les données T2.

Les travaux exécutés par l’équipe du sous‑projet de l’EUE ont vraiment progressé. L’article sur le plan d’échantillonnage et la répartition de l’échantillon dans le cas de l’utilisation conjointe de données fiscales et de données d’enquête rédigé par David Haziza et Gordon Kuromi a été évalué dans le contexte de l’EUE. À la suite de discussions concernant un remaniement éventuel de l’EUE, un bref document a été rédigé afin de résumer les résultats du projet d’intégration des données qui sont directement applicables à l’EUE. Ce document décrit le plan d’échantillonnage et les approches d’estimation utilisés à l’heure actuelle dans l’EUE et donne un bref aperçu de la façon dont on pourrait les modifier pour tirer parti des conclusions découlant du PID.

Les travaux d’évaluation de l’effet de l’utilisation d’autres estimateurs que l’estimateur à facteur d’extension direct se poursuivent. Puisque la relation entre les données fiscales et les variables d’enquête correspondantes est bien établie, l’utilisation de l’estimateur par la régression généralisée (GREG) est également évaluée. Nous examinons un certain nombre d’options de pondération dans le cadre de l’estimateur GREG. Des tests ont été réalisés en utilisant le Système généralisé d’estimation (SGE).

Les taux combinés proposés pour communiquer la non‑réponse quand des données fiscales ainsi que des données d’enquête sont utilisées ont été testés pour l’EUE. Ils sont maintenant mis en application et utilisés en production à compter de l’année de référence 2006.

Les approches concernant les options et les méthodes pour l’étalonnage des enquêtes mensuelles en se basant sur les enquêtes annuelles correspondantes ont été présentées au Comité consultatif des méthodes statistiques.

Pour plus de renseignements, s’adresser à
Pierre Lavallée (613‑951‑2892, Pierre.Lavallée@statcan.gc.ca).

Estimation sur petits domaines

Progrès :

Estimation sur petits domaines pour une approche de R‑D orientée vers le produit statistique (EPD‑RDOPS)

Ce projet part du principe qu’une approche de la R‑D orientée vers le produit est plus profitable qu’une approche orientée vers l’outil. Contrairement à un outil statistique (dont l’utilisation requiert généralement des compétences statistiques), un produit statistique est fondamentalement un système logiciel piloté par menus qui peut être utilisé par un utilisateur non technique n’ayant besoin que de connaissances élémentaires de la statistique et produire l’information spécifiée par l’utilisateur.

À l’heure actuelle, il n’existe aucun produit logiciel possédant les caractéristiques souhaitées pour permettre aux utilisateurs de produire des estimations sur petits domaines (EDP) à partir de données d’enquête. La méthodologie actuelle bien connue de Fay‑Herriot (FH) pour les données d’enquête peut servir de modèle élémentaire de départ, car les praticiens la trouvent intéressante en raison de sa simplicité. Par conséquent, plusieurs améliorations de la méthode FH élémentaire ont été planifiées. Elles comprennent la fusion de domaines selon une méthode de groupement de type Hosmer‑Lemeshow pour traiter les domaines ne comptant que très peu d’observations, voire aucune, le lissage de la matrice de covariance des estimations directes pour éliminer l’instabilité, l’étalonnage à l’aide d’estimations directes sur grand domaine pour la robustesse, la convergence sous le plan au niveau d’agrégation de domaine plus élevé cible, tout en modélisant au niveau plus faible, et le contrôle du degré de rétrécissement pour éviter le rétrécissement excessif des estimateurs synthétiques.

Une version 1.0 du produit, nommée BUPF (pour best unbiased prediction via filtering, meilleure prédiction sans biais par filtrage) est achevée et les résultats ont été présentés aux clients de StatCan en juin 2007, à l’atelier sur la surveillance et la prévision de l’offre de main‑d’œuvre du Forum des ministres du marché du travail (FMMT) à Vancouver en octobre 2007 et à la réunion du Groupe de travail sur l’information sur le marché du travail (IMT) du FMMT à Gatineau en février 2008. La version révisée BUPF 1.1 est presque terminée. Ces travaux ont été exécutés en collaboration avec Pin Yuan (étudiant de doctorat), Claude Nadeau et François Verret.

Évaluation des estimateurs sur petits domaines pour l’Enquête sur l’emploi, la rémunération et les heures (EERH)

L’objectif était de déterminer si certaines méthodes d’estimation sur petits domaines (EPD) plus récentes pourraient produire des estimateurs sur petits domaines dont la mesure de l’erreur quadratique moyenne (EQM) est acceptable. Nous avons comparé diverses méthodes d’estimation sur petits domaines transversales, y compris la méthode du meilleur prédicteur linéaire sans biais empirique (EBLUP) à l’aide de mesures de la performance fondées sur le plan approprié. La caractéristique d’intérêt était la rémunération hebdomadaire moyenne (RHM), qui est une moyenne pondérée en prenant pour coefficients de pondération les parts de l’emploi. Les divers estimateurs ont été évalués, en premier lieu, en ce qui concerne les mesures de performance fondées sur le plan calculées à l’aide de données provenant de la population entière de l’EERH simulée et, en deuxième lieu, en ce qui concerne d’autres propriétés, comme l’auto‑étalonnage, qui ont été prouvées pour un type d’estimateur pseudo‑EBLUP (Rao, 2003). Du point de vue d’une mise en œuvre éventuelle, les résultats les plus importants sont que 1) les estimateurs pseudo‑EBLUP sont ceux qui, parmi tous les estimateurs directs et indirects, produisent les EQM les plus faibles sous le plan de sondage, même si le modèle n’est pas bien ajusté et 2) leurs EQM sous le plan sont comprises dans les limites acceptables pour la publication. Divers aspects pratiques et théoriques de l’étude ont été présentés au Comité technique de la DMEE, à la conférence annuelle de 2007 de la Société statistique du Canada, à la conférence satellite sur l’estimation sur petits domaines de 2007 (SAE, 2007) de l’Institut international de statistique et à la dernière réunion du Comité consultatif des méthodes statistiques. Un article a été rédigé pour publication dans les actes de la Section des méthodes d’enquête de la SSC (Rubin-Bleuer et coll., 2007 et Yung et coll., 2007).

Estimation sur petits domaines pour le projet des indicateurs de la mondialisation

Notre but était de produire des statistiques pertinentes sur des variables économiques clés afin de mesurer l’effet de la mondialisation sur l’économie canadienne. Des indicateurs de la mondialisation, comme le pays de propriété de l’établissement et la question de savoir si celui‑ci exporte et (ou) importe des biens et (ou) des services, ont été ajoutés à la base de sondage de l’Enquête unifiée auprès des entreprises (EUE) de 2003. Des totaux et des moyennes au niveau du groupe de commerce selon la province et selon les caractéristiques des échanges internationaux étaient requis pour l’analyse. Durant cet exercice, nous avons étudié la faisabilité de la production d’estimations sur petits domaines à l’aide de modèles au niveau du domaine. Comme la variabilité des estimations aux niveaux des petits domaines causait de nombreuses valeurs aberrantes, nous avons testé l’utilisation des estimations ordinaires d’après les données d’enquête (moyennes d’Horvitz‑Thompson) et des moyennes de Hajek comme réponses dans les modèles. Nous nous sommes servis de la procédure Survey Means de SAS pour calculer les variances d’échantillonnage. Nous avons créé une application pour produire les prédicteurs EBLUP en utilisant des modèles non linéaires au besoin, sous la forme de splines pénalisées ne comportant pas plus d’un ou deux nœuds. Nous avons étudié les propriétés des estimateurs provenant des modèles avec splines pénalisées, en adaptant la théorie du modèle mixte linéaire généralisé (Rao, 2003) à notre cas. Nous avons achevé la codification des algorithmes et avons également progressé dans l’analyse des résultats. Un article fondé sur cette étude sera présenté à la conférence annuelle de 2008 de la SSC (Dochitoiu et Rubin‑Bleuer, 2008).

Pratique courante de l’estimation sur petits domaines et problèmes à Statistique Canada

Les problèmes pratiques que pose la mise en œuvre de l’estimation sur petits domaines ont été étudiés et présentés durant une discussion d’experts sollicitée sur « l’estimation sur petits domaines dans les statistiques officielles » qui a eu lieu à la conférence SAE 2007. Un article a été rédigé en collaboration avec les autres membres du groupe d’experts et soumis à l’examen par les pairs. Un article plus détaillé, ne portant que sur les problèmes rencontrés à Statistique Canada, a été rédigé et téléchargé sur le site Web de la DRIS (Rubin‑Bleuer, 2007 a et b).

Estimation de la santé pour la production de statistiques sur petits domaines

Nous avons étudié et évalué divers modèles spatiaux pour l’analyse de données sur la santé et proposé un modèle de petit domaine spatial à titre d’extension du modèle de Fay‑Herriot pour l’analyse des données de l’Enquête sur la santé dans les collectivités canadiennes (ESCC). Nous avons élaboré une procédure d’échantillonnage de Gibbs avec pas d’échantillonnage de Metropolis pour obtenir des estimations a posteriori de statistiques sur la santé au niveau de la région sociosanitaire dans les provinces. Nous avons appliqué les modèles proposés à l’analyse des données du cycle 1.1 de l’ESCC et comparé les estimations hiérarchiques bayésiennes (HB) sous le modèle aux estimations directes sous le plan. Nos résultats ont montré que les estimations HB sous le modèle sont nettement meilleures que les estimations directes en ce qui concerne la réduction du coefficient de variation (CV). En outre, les modèles spatiaux au niveau du domaine proposés ont un CV plus petit que le modèle de Fay‑Herriot, particulièrement pour les domaines comprenant trois quartiers ou plus. Notre modèle a montré qu’un plus grand nombre de domaines voisins peut offrir plus d’informations dans les modèles spatiaux et, par conséquent, donner lieu à une réduction plus importante du CV que le modèle de Fay‑Herriot (Zhou et You, 2007; You, 2008).

Article en l’honneur du 70e anniversaire et des 50 années de contribution de J.N.K. Rao

L’estimation sur petits domaines (EPD) a été étudiée pour la première fois à Statistique Canada durant les années 70. Des estimations sur petits domaines ont été produites à l’aide de fichiers de données administratives ou de données d’enquête renforcées par des données auxiliaires administratives depuis le début des années 80. Le présent article résume les méthodes utilisées à l’heure actuelle pour produire des estimations sur petits domaines officielles à Statistique Canada, ainsi que les travaux de recherche en cours. L’utilisation de ces méthodes est décrite pour un certain nombre d’applications à Statistique Canada, dont l’estimation de statistiques sur la santé, l’estimation des gains hebdomadaires moyens, l’estimation du sous‑dénombrement au recensement et l’estimation des taux de chômage. Nous mettons aussi en relief les problèmes que pose la production d’estimations sur petits domaines dans le contexte des enquêtes auprès des entreprises (Hidiroglou, 2007).

Pour plus de renseignements, s’adresser à
Avi Singh (613-951-2616, avi.singh@statcan.gc.ca).

Recherche sur l'analyse des données

Progrès :

En 2007‑2008, la recherche sur l’analyse des données a porté principalement sur les problèmes que pose l’inférence statistique au sujet des paramètres d’une population finie et la modélisation des données d’enquête. Cette recherche a été exécutée dans le cadre d’un certain nombre de projets indépendants décrits ci‑après.

Modélisation multiniveaux des données d’enquête

Dans un grand nombre de secteurs spécialisés, comme ceux de la santé, du développement de l’enfant et de l’éducation, les analystes s’intéressent à l’utilisation de modèles multiniveaux pour décrire et expliquer les relations entre les variables. Alors que les méthodes statistiques et les logiciels pour ajuster ce genre de modèle et s’en servir pour faire des inférences sont bien établies en dehors du contexte des enquêtes, peu d’attention a été accordée à l’extension de ces méthodes au cas des données d’enquête complexe. L’intention de ce projet pluriannuel est de s’attaquer à plusieurs aspects de l’extension des méthodes de modélisation multiniveaux aux données d’enquête, en tenant compte du genre de modèles et de données qui intéresse les analystes des données d’enquête de Statistique Canada. Cette année, l’une des activités a consisté à consolider la plateforme de simulation développée antérieurement en un système de macros SAS pour les études empiriques des propriétés de diverses approches de l’inférence au sujet des paramètres des modèles multiniveaux. Cette consolidation devrait accroître l’efficacité, l’intelligibilité et la répétabilité des futurs travaux de simulation. Une deuxième activité avait pour but d’étendre les modèles étudiés à des modèles de courbe de croissance et à des modèles de trajectoire en tant que modèles longitudinaux multiniveaux spéciaux. Trois séminaires fondés sur ces travaux de recherche ont été donnés, le premier à l’intention des analystes des CDR durant leur réunion de novembre 2007 tenue à Ottawa (Kovačević, 2007), le deuxième en tant que séminaire de méthodologie au Bureau australien de la statistique en février 2008 et le troisième en tant que séminaire analytique au ministère de la Santé de la Nouvelle‑Zélande, à Wellington, en mars 2008. En outre, en nous appuyant sur les résultats des travaux de recherche, nous avons mis au point un cours d’une demi‑journée sur l’analyse des données d’enquête hiérarchiques qui a été donné à la conférence des CDR de l’Atlantique en octobre 2007. Nous avons développé et testé une macro SAS pour l’estimation bootstrap de la variance pour les paramètres estimés des modèles hiérarchiques linéaires. Cette macro utilise le progiciel indépendant HLM6 pour estimer les paramètres du modèle hiérarchique et SAS pour l’estimation bootstrap de la variance. Un document technique décrivant l’outil de programmation a été rédigé (Pierre et Saidi, 2008) et une communication libre sera présentée à la conférence des JSM de 2008.

Modélisation des données d’enquête longitudinale incomplètes

Un grand nombre de projets analytiques réalisés à Statistique Canada et dans les Centres de données de recherche ont pour source de données l’une des enquêtes longitudinales de Statistique Canada (par exemple, ELNEJ, EDTR, ENSP). L’objectif de ces enquêtes est de recueillir des renseignements auprès du même échantillon d’unités à divers points dans le temps — souvent à un ou deux ans d’intervalle. Cependant, la collecte des données n’est jamais complète, certaines unités omettant entièrement de répondre à un ou à plusieurs cycles de collecte des données et d’autres ne fournissant que des réponses incomplètes. Les méthodes pour tenir compte des données manquantes dans l’analyse constituent à l’heure actuelle un important thème de recherche pour toutes sortes de données longitudinales, que celles‑ci proviennent ou non d’une enquête à plan de sondage complexe, puisque ne pas tenir compte des données manquantes peut donner lieu à des inférences incorrectes. Le projet de modélisation des données d’enquête longitudinale incomplètes comprend la participation d’employés de Statistique Canada, ainsi que d’un étudiant du programme MITACS qui fait un stage à Statistique Canada et de son conseiller universitaire. Cette année, nous avons exploré une approche fondée sur les équations d’estimation généralisées (EEG) pour analyser des données incomplètes dans un contexte longitudinal. Lorsque les données longitudinales manquent au hasard (MAR pour missing at random), l’approche classique des équations d’estimation généralisées (EEG) produit des estimations incohérentes des paramètres moyens dans les modèles de régression. Pour surmonter ce problème, une approche fondée sur des équations d’estimation généralisées pondérées (EEGP) en prenant comme poids l’inverse des probabilités pour obtenir une estimation cohérente ainsi qu’efficace des effets de régression a été proposée par Robins et coll. (JASA, 1995), ainsi que par Carillo et Kovačević (2006) dans un contexte d’enquête longitudinale. Dans le cas de l’analyse de données binaires longitudinales, Sutradhar et Mallick (2007) ont démontré que l’approche existante ne produit pas d’estimations cohérentes. Pour corriger ce problème, une approche de quasi‑vraisemblance généralisée conditionnelle pondérée (QVGCP) basée sur une équation d’estimation sans biais a été proposée. Cette approche produit des estimations cohérentes pour les effets de régression moyens. Elle tient également compte de la structure de corrélation des données répétées, ce qui en fait une approche efficace d’estimation des effets de régression. Une étude par simulation dans laquelle ont été comparées les propriétés relatives des deux approches a révélé que l’approche QVGCP donne de meilleurs résultats que l’approche EEGP existante en ce qui concerne tant la convergence que l’efficacité. L’estimation QVGCP proposée a été illustrée en analysant les données de l’Enquête sur la dynamique du travail et du revenu (EDTR). Une communication ayant pour thème l’analyse de données binaires d’enquête longitudinale incomplètes par la quasi‑vraisemblance généralisée conditionnelle pondérée (Sutradhar et coll., 2007) a été présentée à l’assemblée annuelle de la SSC à St. John’s. Une étude par simulation dans des conditions de population finie avec échantillonnage à deux degrés a été réalisée pour étudier les propriétés de l’approche QVGCP appliquée à des données d’enquête longitudinale. Ces travaux ont été exécutés à titre de projet MITACS par Taslim Mallick. Un rapport technique a été rédigé.

Méthodes fondées sur le plan de sondage pour l’analyse des données d’enquête

Une approche fondée sur le plan est fréquemment recommandée pour analyser les données d’enquête complexe, aussi bien quand l’analyse ne porte que sur les paramètres descriptifs d’une population finie que quand les quantités d’intérêt sont les paramètres d’un modèle considéré comme vérifié dans une population infinie. Une approche fondée sur le plan de sondage comprend l’utilisation d’estimations pondérées par les poids de sondage de grandeurs de la population finie et d’estimations de variance fondées sur le plan comme mesure de la variabilité. Bien que le développement des approches fondée sur le plan ait été étendu à de nombreuses situations analytiques, de nouveaux problèmes sont constamment découverts, particulièrement par les analystes qui utilisent les microdonnées d’enquête de Statistique Canada. Le projet pluriannuel consacré aux méthodes fondées sur le plan de sondage pour l’analyse de données d’enquête intègre les travaux de recherche relatifs à plusieurs de ces problèmes, et englobera différents problèmes chaque année. De temps à autre, certains de ces problèmes justifieront la création d’un projet qui leur est propre. Au cours d’une année antérieure, des travaux ont été exécutés en vue de trouver une autre approche — nommée l’approche du bootstrap de fonctions d’estimation — en vue d’utiliser des échantillons bootstrap pour l’estimation de la variance, en réponse à un problème décelé par un analyste qui ajustait des modèles logistiques à des données d’enquête. Cette année, nous avons amélioré un article traitant du bootstrap de fonctions d’estimation en prévision de sa soumission pour publication à une revue avec comité de lecture. Une étude a également été effectuée afin de déterminer s’il est possible d’appliquer la méthode bootstrap classique d’estimation de la variance pour données d’enquête, ainsi que la méthode du bootstrap de fonctions d’estimation pour l’estimation de la variance en vue de réduire les risques individuels et agrégés. Les travaux ont été effectués en réponse à la demande d’un analyste qui développe un modèle pour des données sur la santé provenant d’une population et souhaite l’utiliser pour prédire le comportement d’une autre population (Kovačević et coll., 2007). Une communication libre concernant ces travaux sera faite aux Joint Statistical Meetings de 2008 à Denver.

Analyse spatiale de données géocodées

La recherche à ce sujet a été motivée par les travaux effectués pour le compte du Centre canadien de la statistique juridique en vue d’élaborer des modèles appropriés pour expliquer les taux de criminalité dans les quartiers en tenant compte d’une autocorrélation spatiale éventuelle des taux de criminalité entre les quartiers. À l’heure actuelle, les résultats de la recherche n’ont été appliqués qu’aux données sur la criminalité, mais nous nous attendons à découvrir des applications dans d’autres secteurs spécialisés où des données ont été géocodées, comme celui de la santé. Le projet porte sur des données qui ont été agrégées au niveau régional (appelées treillis ou données régionales) et sur l’approche autorégressive simultanée pour la modélisation de ce type de données. Dans ce cadre analytique, on distingue deux méthodes généralement reconnues pour tenir compte des effets spatiaux dans les données, à savoir le « modèle à décalage spatial » et le « modèle à erreur spatiale ». L’objectif principal de la recherche était de procéder à un examen plus théorique du phénomène spatial, afin de s’assurer que les méthodes analytiques appropriées sont utilisées et qu’elles sont mises à la disposition des analystes. Nous avons étudié l’utilisation des fonctions d’estimation et de variables instrumentales optimales, ainsi que l’utilisation de modèles de Poisson et de modèles binomiaux négatifs. En outre, nous avons examiné le recours à l’analyse en composantes principales et à l’analyse factorielle pour réduire la dimensionnalité des variables explicatives. Des travaux ont également débuté sur les effets de l’utilisation de diverses agrégations spatiales des données. Les diverses méthodes étudiées seront testées à l’aide de données sur la criminalité provenant de diverses villes canadiennes. Un rapport et un exposé sur l’état d’avancement des travaux et sur les défis à relever ont été présentés au Comité consultatif des méthodes statistiques en mai 2007 (Collins et Babyak, 2007), et certaines recommandations formulées par les membres du Comité ont été intégrées dans la recherche. La rédaction de deux articles portant sur l’application des résultats de la recherche (Savoie et coll., 2008 et Perrault, 2008) est en cours en vue de leur diffusion dans la série de documents de recherche du Centre canadien de la statistique juridique, et un document de travail méthodologique (Collins et coll., 2008) continue d’être mis à jour à mesure que de nouveaux résultats de recherche sont obtenus. Les futurs travaux qui seront entrepris dans le cadre de ce projet comprendront l’étude de l’effet de l’erreur de spécification du modèle spatial et ses répercussions sur l’analyse.

Estimation des courbes de croissance

L’utilisation des courbes de croissance pour étudier les changements anthropométriques au cours du temps (par exemple, changement de taille, de poids et d’IMC) est une approche utilisée par les professionnels de la santé pour évaluer le bien‑être général de l’enfant ou du fœtus. Les courbes de croissance de référence utilisées au Canada sont fondées sur des données anthropométriques américaines et pourraient être inappropriées, parce que les courbes de répartition anthropométriques ne sont pas les mêmes dans les deux pays. Donc, étant donné la disponibilité récente de données anthropométriques canadiennes grâce à l’ESCC, le moment a semblé opportun de rechercher des méthodes appropriées pour créer des courbes de croissance à l’aide de données canadiennes. La première phase du projet d’estimation des courbes de croissance, financée durant l’exercice 2005‑2006, était axée sur l’estimation de courbe de croissance descriptive des enfants au Canada à l’aide des données provenant des cycles 2.2 et 3.1 de l’ESCC, ainsi que de la National Health and Nutrition Examination Survey (NHANES) à l’aide d’un logiciel appelé lmsChartMaker. Ces travaux ont permis aux chercheurs d’acquérir de l’expérience dans ce domaine et de déterminer les limites méthodologiques des données, des méthodes et du logiciel utilisés. Par exemple, certaines de ces limites concernent la robustesse de la validation du modèle dans le cas de poids de sondage extrêmes, l’hypothèse d’une distribution normale imposée par la méthode d’estimation (LMS pour least mean square ou moindres carrés moyens), la variabilité des effets de lisière et la difficulté à ajouter des effets de plan dans la courbe de variance. La première phase de ce projet de recherche a été réalisée au moment où ont été diffusés les résultats de l’étude multicentrique de l’OMS sur la référence de croissance. La deuxième phase du projet, réalisée cette année, a porté sur la plupart des limites susmentionnées concernant les hypothèses distributionnelles, les méthodes de lissage et le traitement des effets de lisière. Nous avons utilisé des procédures nouvelles et existantes (en R et en S+) et le logiciel GAMLSS pour accroître la capacité diagnostique et la souplesse des modèles. Nous avons estimé une densité de probabilité non paramétrique de l’IMC en utilisant les poids de sondage pour chaque âge comme outil d’analyse descriptive avant de tenter de modéliser les données. Nous avons proposé, pour produire les courbes de croissance canadiennes, un algorithme qui comprend diverses procédures de validation et stratégies d’estimation. Les premières courbes de croissance descriptives canadiennes — IMC en fonction de l’âge, taille en fonction de l’âge et poids en fonction de l’âge — ont été produites, mais leur aplatissement (kurtosis) n’a pas encore été entièrement corrigé. Nous avons publié un article intitulé « Effects of Physical Activity on Pediatric Reference Data for Obesity » (Katzmarzyk et coll., 2007), rédigé un article faisant suite à une communication libre présentée au Symposium 2006 et donné une communication libre intitulée « Methods for Constructing Canadian Growth Curves » aux JSM de 2007 et l’avons soumise pour publication dans les actes de la conférence (Tremblay et Tremblay, 2007). La production de documentation concernant les méthodes a débuté.

Modèles à risques proportionnels pour les données d’enquête complexe

La fonction de score de vraisemblance partielle de l’échantillon pondéré a été utilisée par de nombreux analystes pour ajuster le modèle de régression à risques proportionnels aux données d’enquêtes à plan de sondage complexe. L’estimateur du maximum de vraisemblance partielle d’échantillon est la solution de la fonction de score de vraisemblance partielle d’échantillon (SVPE). Cependant, les conditions nécessaires pour que les résultats asymptotiques respectifs soient vérifiés n’ont pas été suffisamment étudiées. L’objectif du projet est d’évaluer ces conditions. Nous avons mis au point une méthodologie des processus de dénombrement pour un espace conjoint plan‑modèle et avons élaboré une preuve rigoureuse de l’approximation du SVPE de Binder (1992), ainsi que la preuve de la faible convergence des processus de SVPE et de la normalité asymptotique de l’estimateur du maximum de vraisemblance sous les contraintes de modèle et de plan suffisantes énoncées. Une note brève sur la distribution conditionnelle des variables d’échantillon a été rédigée pour la série de documents sur les travaux en cours de la Direction de la méthodologie (Rubin‑Bleuer, 2007c) afin d’expliquer aux statisticiens non spécialisés dans les enquêtes la méthode d’utilisation des poids de sondage pour l’estimation des paramètres du modèle. Une communication a été établie avec le professeur Breslow de l’Université de Washington, car ce dernier, le professeur Wellner et leur équipe de recherche s’intéressent aussi à la théorie de l’ajustement du modèle à risques proportionnels aux données provenant d’enquêtes complexes. Ils se servent de données provenant d’enquêtes avec plan EASSR stratifié dont la taille d’échantillon des strates est grande et d’une théorie asymptotique semblable à celle de Fuller (1975). Par contre, les travaux réalisés dans le cadre de notre projet sont fondés sur des enquêtes pour lesquelles la taille d’échantillon des strates est de deux ou de trois et s’appuient sur un théorème central limite différent. L’article rédigé en 2006 pour le Laboratoire de recherche en statistique et probabilités a été révisé et raccourci, et un document sur les travaux en cours (Rubin‑Bleuer, 2007d) a été envoyé à une revue pour examen par les pairs. Les examinateurs ont demandé que les résultats soient étendus d’une population de cycles de vie indépendants et d’un plan d’échantillonnage à plusieurs degrés à une superpopulation en grappes de cycles de vie et à un plan d’échantillonnage à plusieurs degrés. Des travaux relatifs à cette extension sont en cours.

Utilisation de la théorie des copules pour estimer la distribution multivariée des apports de nutriments habituels

Ce projet a pour objectif de déterminer s’il est possible d’appliquer la théorie des copules à la modélisation de la relation entre les apports habituels de divers nutriments dans la population canadienne. Les distributions marginales de l’apport des nutriments individuels sont obtenues à l’aide de modèles de l’erreur de mesure fondés sur les observations des apports quotidiens seulement auprès d’un échantillon de personnes participant à une enquête à plan de sondage complexe (ESCC 2.2). La théorie des copules devrait offrir un moyen de combiner ces distributions afin d’estimer la distribution conjointe réelle. Celle‑ci nous permettrait alors de déterminer quelles sont les populations à risque en ce qui concerne plusieurs nutriments simultanément (plutôt qu’un seul à la fois, comme cela se fait habituellement). Les premiers travaux réalisés cette année ont consisté en une étude bibliographique sur l’estimation des copules quand le modèle contient un terme d’erreur, les tests de vérification d’hypothèse en vue de comparer l’ajustement des familles de copules et les méthodes d’estimation des paramètres des familles de copules. L’étape suivante a été l’étude du modèle sous l’hypothèse d’une distribution normale bivariée des apports habituels de nutriments et des erreurs. Des progrès ont été réalisés en ce qui a trait à l’élaboration d’une méthode d’estimation du paramètre de dépendance (coefficient de corrélation de Pearson), à la dérivation de la densité conjointe correspondant au modèle, au développement d’un programme informatique destiné à être utilisé par les analystes qui exécutent toutes les étapes de l’estimation sur le modèle choisi et au calcul des apports habituels prévus sous le modèle univarié et sous le modèle multivarié afin d’effectuer des tests d’adéquation du modèle. Des généralisations et des extensions de ces travaux sont prévues pour l’année prochaine, afin qu’elles puissent être appliquées aux données du cycle 2.2 de l’ESCC.

Tests d’hypothèse bootstrap pour les données d’enquête

Nous avons présenté un article sur l’application des tests d’hypothèse à des données d’enquête en utilisant les poids bootstrap (Beaumont et Bocci, 2007b). L’idée consiste à comparer la distribution d’une statistique de test bootstrap appropriée à celle d’une statistique de test standard obtenue en utilisant les poids originaux. Nous avons également commencé à réviser un article soumis pour publication dans Techniques d’enquête et nous avons présenté le projet dans le cadre d’une séance de présentation d’affiche à la troisième Conférence internationale sur les enquêtes‑établissements.

Chapitre sur l’analyse des données catégoriques pour le manuel sur l’échantillonnage

Avi Singh a achevé l’ébauche du chapitre sur l’analyse des données catégoriques pour le livre intitulé Handbook on Sampling: Theory and Methods (sous la dir. de D. Pfeffermann et C.R. Rao).

Pour plus de renseignements, s’adresser à
Milorad Kovačević (613-951-9891, kovamil@statcan.gc.ca).

Collecte des données

Utilisation de la méthode du score de propension pour vérifier l’existence d’un effet du mode de collecte par Internet dans le Recensement de 2006

En 2006, les ménages canadiens ont eu pour la première fois la possibilité de répondre au recensement par Internet. Près d’un ménage sur cinq (18,3 %) ont choisi cette option. Étant donné l’introduction de ce nouveau mode de collecte, nous souhaitons vérifier s’il existe un effet de mode de collecte dans les données. Dans les expériences randomisées, les résultats observés chez les deux groupes de traitement sont souvent comparables, parce que les unités qui forment les groupes sont vraisemblablement similaires. Par contre, dans notre cas, cette comparaison directe pourrait produire des résultats trompeurs, parce que les unités qui choisissent de répondre par Internet diffèrent de celles qui choisissent de répondre à l’aide du questionnaire imprimé.

Une méthode fondée sur le score de propension appliquée au moyen d’un modèle de régression logistique peut être utilisée pour déterminer s’il existe un effet de mode. Un autre moyen de le faire consisterait à normaliser la distribution des personnes qui répondent par Internet de façon qu’elle concorde avec celle des personnes utilisant le questionnaire imprimé (considérées ici comme formant le groupe de référence) et à faire des comparaisons globales. Toutefois, dans le cadre du présent projet, cette méthode présente deux limites importantes qui tiennent à l’effet de la réponse par personne interposée et à la source des données qu’il faut utiliser pour la modélisation.

Malgré ses limites, cette méthode a produit des résultats fort intéressants. Nous avons repéré les écarts les plus importants entre les distributions des réponses par Internet et sur support papier (en excluant la non‑réponse) avant de procéder à tout ajustement. Puis, nous avons recalculé ces écarts après avoir appliqué l’ajustement fondé sur le score de propension et nous avons examiné les résultats. Après ajustement des données, la plupart de ces écarts deviennent beaucoup plus faibles. Cependant, nous avons dégagé un certain effet de mode de collecte pour certaines variables. En général, il existe un effet de mode pour les variables de revenu quand il s’agit de répondre ou non à une question. Les personnes qui répondent par Internet sont davantage portées à cocher la case « Non », tandis que celles qui répondent sur papier sont plus susceptibles de laisser la question en blanc.

Les travaux réalisés jusqu’à présent dans le cadre du projet sont les suivants. Un certain nombre de variables ont été recodées afin de réduire le nombre de catégories. Des variables au niveau du ménage ou à un niveau plus élevé ont été utilisées pour compenser les limites suivantes : variables géographiques, taille ou composition du ménage, présence d’enfants, langue parlée à la maison, etc. La probabilité d’opter pour Internet a été modélisée en utilisant un échantillon aléatoire systématique d’enregistrements sélectionnés dans les fichiers du recensement. L’effet de plusieurs variables a été testé. L’échantillon 2B d’adultes a été utilisé au complet pour faire la mise au point du modèle. Nous avons obtenu un modèle final et estimé le score de propension pour chaque répondant. Les répondants ont été répartis en dix sous‑groupes et les données recueillies par Internet ont été normalisées afin que leur distribution concorde avec celles des données recueillies sur support papier dans les dix sous‑groupes. Les résultats ont été présentés durant le séminaire sur la qualité des données du recensement. Un rapport écrit sera prêt durant l’été.

Recherche sur le nombre idéal d’entrevues et les étapes souhaitables lors d’essais qualitatifs

Grâce à leur participation plus précoce à l’élaboration du questionnaire ou au nouveau processus d’enquête, les employés du Centre d’information sur la conception des questionnaires ont pu tester de nouveaux thèmes d’enquête en utilisant des méthodes cognitives mieux adaptées à chaque étape du processus d’élaboration du questionnaire. Les clients ont pu ainsi faire rapidement les changements appropriés, ce qui a évité la bousculade de dernière minute et les erreurs qui pourraient être commises en s’efforçant d’apporter des changements nécessaires et importants fondés sur des tests effectués trop tard dans le déroulement du processus.

La démonstration du coût d’un essai qualitatif utilisant toutes les approches qualitatives versus un essai qualitatif comportant uniquement plusieurs interviews en profondeur et quelques groupes de discussion est commencée et devrait être terminée à la fin février. Cette recherche sera présentée à la Nouvelle-Orléans en mai dans le cadre de la 63ième conférence annuelle de AAPOR.

Projet de recherche sur les enquêtes menées sur Internet

Nous avons achevé une revue bibliographique comprenant le document intitulé « Using Web and Paper Questionnaires for Data Based Decision Making, From Design to Interpretation of the Results » publié par Susan J. Thomas, plusieurs articles de Statistique Canada traitant des questionnaires électroniques et l’ouvrage intitulé « Mail and Internet Surveys, The Tailored Design Method, deuxième édition, 2007 » de Don A. Dillman. Nous avons rassemblé un très grand nombre de notes sur les meilleures pratiques concernant les questionnaires électroniques et les méthodes de collecte sur Internet.

Pour plus de renseignements, s’adresser à
Paul Kelly (613-951-6998, paul.kelly@statcan.gc.ca).

Centre de ressources sur le contrôle de la divulgation

Progrès :

Consultations et conseils : Dans le cadre de son mandat, le Centre de ressources sur le contrôle de la divulgation (CRDC) a prodigué aux programmes de Statistique Canada, y compris celui des Centres de données de recherche, des conseils et un soutien concernant les méthodes d’évaluation et de contrôle du risque de divulgation. Il a aussi donné des conseils et de l’information sur les pratiques de contrôle de la divulgation à d’autres ministères et organismes, dont le Census Bureau des États‑Unis, l’Energy Information Administration des États‑Unis, l’Australian Bureau of Statistics, le Bureau national de la statistique de la Chine, l’Institut de la statistique du Québec, l’Educational Policy Institute et l’Université de La Laguna (Espagne). Un article a été examiné pour le Journal of Privacy and Confidentiality et un autre, pour l’Institut de recherche du CHEO. Un cours sur la protection des renseignements personnels a été donné dans le cadre du programme INFO747 à l’Université Cornell. Des cours sur le contrôle de la divulgation statistique ont été donnés dans le cadre de la formation donnée à l’interne sur la confidentialité, le respect de la vie privée et la sécurité. Le CRDC entreprend et coordonne également des travaux de recherche sur les méthodes de contrôle de la divulgation adaptées aux programmes de Statistique Canada.

Développement du logiciel CONFID : Les travaux de reconception du programme pour la protection des données tabulaires par suppression des cellules (CONFID) sont en cours. D’après les spécifications de la Méthodologie, la Division du développement des systèmes a développé une version prototype du logiciel qui est mise à l’essai à l’heure actuelle. Le programme utilise les procédures LP de SAS pour repérer les suppressions de cellules complémentaires. Un ensemble de problèmes de programmation linéaire « difficiles » a été envoyé au SAS Institute afin qu’il évalue la performance du logiciel. Il nous a expédié par la suite une nouvelle version de SAS/OR qui a donné d’excellents résultats en ce qui concerne le temps d’exécution.

Bruit aléatoire dans les microdonnées pour protéger les estimations : Dans les enquêtes-entreprises, Statistique Canada recourt à la suppression de cellules pour protéger les estimations publiées. Une autre méthode, élaborée par le Census Bureau des États‑Unis, consiste à ajouter un bruit aléatoire aux microdonnées sous‑jacentes afin que les données puissent être diffusées sans danger. Nous avons étudié l’effet de cette approche sur la protection et sur la qualité des estimations. L’analyse des données de l’Enquête unifiée auprès des entreprises en vue de comparer l’ajout d’un bruit aléatoire à l’approche habituelle de suppression de cellules est achevée. Nous rédigerons un rapport final présentant les résultats de l’analyse et contenant des recommandations sur l’utilisation d’un bruit aléatoire en ce qui a trait à la protection ainsi qu’à la qualité des données.

Contrôle de la divulgation par MASSC : La méthode MASSC (pour MicroAgglomération avec Substitution, Sous‑échantillonnage et Calage) est une méthode fondée sur l’échantillonnage qui a été élaborée par Singh (2002, 2006) pour protéger la confidentialité et la qualité analytique des données d’enquête. Le but du projet est de considérer une version simplifiée de la méthode MASSC dans le contexte de la création d’un fichier de données à grande diffusion à partir de données administratives, en particulier les données du Registre canadien du cancer. L’étape de microagglomération de la méthode MASSC revient à créer des strates de risque définies par le caractère unique ou non unique des enregistrements en ce qui concerne un ensemble donné de variables d’identification que l’intrus pourrait connaître au sujet de la cible. Pour chaque strate de risque, des taux appropriés de substitution et de sous‑échantillonnage sont déterminés de manière à introduire une incertitude au sujet de l’identité et de la présence de la cible, tout en contrôlant le biais et la variance dans les estimations résultantes pour les variables étudiées. La dernière étape, celle du calage, est exécutée pour être certain que les estimations pour un ensemble clé de variables étudiées basées sur le fichier traité concordent avec celles basées sur le fichier original. Dans le cas des données administratives, nous pensons qu’étant donné la taille relativement grande de l’ensemble de données, il pourrait suffire d’introduire une petite quantité de perturbation (ou de substitution) et de suppression (ou de retrait d’enregistrements de l’échantillon) pour créer une incertitude suffisante, tout en maintenant la qualité analytique. En collaboration avec Jean‑Louis Tambay et Isabelle Michaud, le problème a été spécifié en termes de variables d’identification et de variables délicates dans le cas des données du Registre canadien du cancer. La conception d’une étude par simulation en vue d’évaluer le risque de divulgation et la perte d’information est en cours. Il est prévu de rédiger un article qui sera soumis pour publication dans une revue.

Pour plus de renseignements, s’adresser à
Jean-Louis Tambay (613-951-6959, jean-louis.tambay@statcan.gc.ca).