Guide des concepts et méthodes
7. Qualité des données

Passer au texte

Début du texte

7.1 Aperçu de l’évaluation de la qualité des données

L’objectif de l’Enquête auprès des peuples autochtones (EAPA) de 2017 est de produire des estimations de qualité dans les domaines de l’emploi, de la santé, de l’éducation et d’autres indicateurs de base pour les Premières Nations vivant hors réserve, les Métis et les Inuits âgés de 15 ans et plus.

Les sections 7.2 et 7.3 ci-après expliquent les deux types d’erreurs qui se produisent dans les enquêtes : erreurs d’échantillonnage et erreurs non dues à l’échantillonnage. Chaque type d’erreur est évalué dans le contexte de l’EAPA de 2017. L’erreur d’échantillonnage est la différence entre les données obtenues à partir de l’échantillon de l’enquête et les données qui auraient été obtenues d’un recensement complet de l’ensemble de la population mené dans des conditions similaires. Ainsi, l’erreur d’échantillonnage correspond aux différences engendrées par la variabilité d’un échantillon à l’autre. Les erreurs non dues à l’échantillonnage sont toutes les autres erreurs qui ne sont pas liées à l’échantillonnage. Les erreurs non dues à l’échantillonnage peuvent se produire à n’importe quelle étape du processus d’enquête et comprennent la non-réponse à l’enquête, ainsi que les erreurs qui se sont produites pendant la collecte des données ou le traitement informatique. Il se peut que des erreurs figurent dans les réponses des répondants qui tentent de se rappeler des faits du passé, par exemple, ou qu’elles se produisent lorsque la réponse est obtenue par personne interposée. Il se peut qu’une réponse soit saisie de façon incorrecte en raison de la fatigue de l’intervieweur ou d’un problème informatique. Une erreur peut avoir été faite au moment de la programmation, lorsque les données ont été traitées ou totalisées. Ce sont tous là des exemples d’erreurs non dues à l’échantillonnage.

La présente section décrit les diverses mesures adoptées pour prévenir les erreurs dans la mesure du possible et pour corriger les erreurs qui se sont produites aux différentes étapes de l’EAPA. Les domaines où il convient d’interpréter avec prudence les données de l’EAPA sont aussi notés.

7.2 Erreurs d’échantillonnage et méthode bootstrap

Les estimations qui peuvent être calculées à partir de l’EAPA de 2017 sont fondées sur un échantillon de personnes. Des estimations quelque peu différentes auraient pu être obtenues si l’on avait procédé à un recensement complet au moyen des mêmes questionnaires, intervieweurs, superviseurs, méthodes de traitement, etc. que ceux utilisés. La différence entre une estimation obtenue à partir d’un échantillon et celle résultant d’un dénombrement complet effectué dans des conditions similaires est appelée « erreur d’échantillonnage » de l’estimation.

Afin de fournir des estimations de l’erreur d’échantillonnage pour les statistiques produites dans le cadre de l’EAPA, on a eu recours à une méthode bootstrap particulière (le bootstrap étant elle-même une méthode de ré-échantillonnage particulière). Plusieurs méthodes bootstrap existent dans la littérature, mais aucune d’elles n’était appropriée pour le plan d’échantillonnage de l’EAPA. Les particularités du plan d’échantillonnage qui rendaient difficile l’estimation des erreurs d’échantillonnage étaient les suivantes :

• Un plan d’échantillonnage à deux phases dans lequel des ménages (ou logements) ont été sélectionnés à la première phase et des personnes l’ont été à la deuxième (sous-section 3.2.3).
• La fraction de sondage de l’échantillon de la première phase (échantillon du questionnaire détaillé du recensement) était non négligeable (environ le quart dans le cas des questionnaires 2A-L) et la fraction de sondage de l’EAPA était généralement assez élevée dans la plupart des strates.
• Les strates de l’EAPA (combinaisons de domaines d’estimation, type de questionnaire 2A-L ou 2A-R, répondant ayant rempli lui-même son questionnaire ou répondant au suivi des cas de non-réponse (SCNR), identité par rapport à ascendance seulement) étaient non imbriquées dans les strates du recensement (unités de collecte).
• La méthode utilisée devait être suffisamment souple pour produire des statistiques standards, comme des proportions, des totaux, des moyennes et des ratios, mais aussi des statistiques plus poussées, y compris des centiles, des coefficients de régression logistique, etc.

Plusieurs méthodes bootstrap existent dans la littérature en ce qui à trait à l’échantillonnage à une phase et à l’échantillonnage à plusieurs degrés. La plus courante est appelée bootstrap avec remise (en anglais, « with-replacement bootstrap ») et consiste à sélectionner M sous-échantillons avec remise à partir de l’échantillon principal et à produire des estimations pour chaque sous-échantillon. L’estimation de la variance bootstrap est par la suite calculée comme fonction du carré des différences entre les estimations provenant de chacun des M sous-échantillons bootstrap et l’estimation provenant de l’échantillon de l’enquête.

L’utilisation de poids bootstrap simplifie grandement le calcul de la variance. Pour chaque sous-échantillon (répétition bootstrap), on doit ajuster les poids d’échantillonnage initiaux en fonction du sous-échantillonnage bootstrap, ce qui produit ce que l’on appelle les « poids bootstrap initiaux ». Étant donné que chaque échantillon bootstrap est le résultat d’une sélection d’unités avec remise, une unité peut se retrouver plusieurs fois dans un échantillon bootstrap particulier. On peut démontrer que les poids bootstrap sont une fonction du poids d’échantillonnage initial de l’observation multiplié par ce que l’on appelle « la multiplicité » de l’unité dans l’échantillon bootstrap, c’est-à-dire le nombre de fois où l’unité est sélectionnée dans l’échantillon bootstrap. La multiplicité d’une unité dans l’échantillon bootstrap est une variable aléatoire qui suit ce que l’on appelle une « distribution multinomiale ». Ainsi, les poids bootstrap peuvent être considérés comme le produit des poids d’échantillonnage initiaux par un facteur d’ajustement aléatoire (qui est, dans ce cas-ci, une fonction de la multiplicité de l’unité). Une fois les poids bootstrap initiaux calculés, tous les ajustements de poids appliqués aux poids d’échantillonnage initiaux sont appliqués aux poids bootstrap initiaux en vue d’obtenir les poids bootstrap finaux, qui rendront compte de la variance liée non seulement au plan d’échantillonnage particulier, mais aussi à tous les ajustements de poids appliqués à l’ensemble de l’échantillon pour calculer les poids finaux.

Pour l’EAPA de 2006, une méthode bootstrap généralisée pour un plan d’échantillonnage à deux phases^Note a été élaborée. En 2006, la première phase de l’échantillonnage correspondait à l’échantillon des questionnaires détaillés du Recensement de 2006, et la deuxième phase, à celui de l’EAPA de 2006. Tel que mentionné précédemment, les poids bootstrap peuvent être considérés comme le produit des poids d’échantillonnage initiaux et d’un facteur d’ajustement aléatoire. Il s’agit du concept qui sous-tend la méthode bootstrap généralisée utilisée en 2006. Dans le cas d’un échantillon à deux phases, la variance peut être décomposée en deux composantes, chacune étant associée à une phase de l’échantillonnage. La méthode bootstrap généralisée à deux phases produit un facteur d’ajustement aléatoire pour chaque phase d’échantillonnage. Dans le cas de l’EAPA de 2006, le poids bootstrap initial d’une unité était le produit du poids d’échantillonnage initial par ces deux facteurs d’ajustement aléatoires.

Pour l’EAPA de 2012, on a adapté cette méthode bootstrap généralisée pour tenir compte du plan d’échantillonnage de l’Enquête nationale auprès des ménages (ENM), qui comprenait lui-même deux phases : l’échantillon initial d’environ 1 logement sur 3, à la première phase, et le sous-échantillon des non-répondants auprès desquels un suivi des cas de non-réponse (SCNR) avait été effectué, à la deuxième phase. Une description plus détaillée du plan d’échantillonnage de l’ENM se trouve au chapitre 3 du Guide de l’utilisateur de l’Enquête nationale auprès des ménages. Dans l’EAPA de 2012, aux fins du calcul des variances seulement, les répondants au SCNR ont été considérés comme un échantillon de troisième phase. Ces trois phases de l’ENM ont été combinées en une seule phase pour ensuite utiliser la méthode bootstrap généralisée à deux phases (une phase à l’ENM et une phase à l’EAPA). De plus amples détails se trouvent dans le document Enquête auprès des peuples autochtones, 2012 : Guide des concepts et méthodes.

Avec le retour du questionnaire détaillé du Recensement de 2016, on aurait pu utiliser la méthode bootstrap généralisée pour l’EAPA de 2017, comme on l’avait fait en 2006. La première phase aurait été constituée de l’échantillon des questionnaires détaillés du recensement, et la deuxième, de l’échantillon de l’EAPA de 2017. Toutefois, afin d’augmenter la précision de l’estimation de la variance, une version modifiée de l’approche de 2012 a été utilisée. Aux fins du calcul des variances seulement, on a considéré que le Recensement de 2016 comportait deux phases : l’échantillon initial d’environ 1 logement sur 4 à la première phase et les répondants au recensement à la deuxième phase. Même si le taux de réponse final était élevé pour le Recensement de 2016 (97,8 % pour le questionnaire détaillé), cette deuxième phase fait en sorte que le calcul de la variance tient compte de la non-réponse qui s’est produite.

Pour l’EAPA de 2017, on a combiné les deux phases du recensement en une phase unique au moyen de la même méthodologie qu’en 2012. La méthode bootstrap généralisée à deux phases (une phase pour le recensement et une phase pour l’EAPA) a par la suite été appliquée, comportant le calcul de deux ensembles de facteurs d’ajustement aléatoires, c’est-à-dire un ensemble pour chaque phase.

La présence de ces deux ensembles de facteurs d’ajustement aléatoires comportait un avantage majeur. Le premier ensemble pouvait être utilisé pour les estimations fondées sur la première phase seulement, c’est-à-dire, les estimations fondées sur l’échantillon du questionnaire détaillé du recensement. Ces estimations ont été utilisées lorsque les poids ont été ajustés en fonction des totaux du recensement lors de la poststratification (voir la section 6.5). Cette méthode a produit des totaux du recensement variables pour chaque échantillon bootstrap, ce qui tenait compte du fait que les totaux du recensement utilisés étaient fondés sur un échantillon et non sur des totaux fixes connus.

Dans le cas de l’EAPA, 1 000 ensembles de poids bootstrap ont été produits au moyen de la méthode décrite précédemment. La méthode utilisée est légèrement biaisée à la hausse, en ce sens qu’elle surestime légèrement la variance. Cependant, l’ampleur de la surestimation est considérée comme négligeable pour l’EAPA. La méthode peut aussi produire des poids bootstrap négatifs. Pour remédier à ce problème, une transformation des poids bootstrap a été effectuée. Par contre, elle a également réduit leur variabilité. Par conséquent, la variance calculée à partir de ces poids bootstrap transformés doit être multipliée par un facteur qui est une fonction d’un certain paramètre appelé phi. La valeur de ce paramètre correspond au plus petit nombre entier faisant en sorte que tous les poids bootstrap soient positifs. Pour l’EAPA, ce paramètre a une valeur de 4. Les variances calculées à partir des poids bootstrap transformés doivent donc être multipliées par 4² = 16. De plus, les coefficients de variation obtenus (racine carrée de la variance divisée par l’estimation proprement dite) doivent être multipliés par 4. Toutefois, la plupart des logiciels qui produisent des estimations de l’erreur d’échantillonnage à partir de poids bootstrap comportent une option permettant de préciser ce facteur d’ajustement, afin que la bonne estimation de la variance soit obtenue sans la nécessité d’une étape additionnelle de multiplication par la constante.

À noter que si C est le facteur multiplicatif de la variance, certains logiciels utilisent plutôt le paramètre k tel que k = 1 - 1 ⁄ √C. Dans le cas présent, puisque C = 16, alors k = 0,75. Pour des exemples de procédures utilisant l’ajustement de Fay, voir l’Enquête auprès de peuples autochtones de 2017 : Guide d’utilisation du fichier analytique.

La mesure de l’erreur d’échantillonnage utilisée pour l’EAPA est le c.v. de l’estimation, c’est-à-dire l’erreur type de l’estimation divisée par l’estimation proprement dite. Lorsque le c.v. d’une estimation est inférieur ou égal à 16,6 %, celle-ci peut être utilisée sans restriction. Si le c.v. est supérieur à 16,6 %, mais inférieur ou égal à 33,3 %, l’estimation est accompagnée de la lettre « E», ce qui indique que les données doivent être utilisées avec prudence. Lorsque le c.v. d’une estimation est supérieur à 33,3 % ou lorsque l’estimation est basée sur moins de 10 unités, l’estimation de la cellule est remplacée par la lettre « F », ce qui indique que l’estimation a été supprimée pour des raisons de fiabilité.

7.3 Erreurs non dues à l’échantillonnage

Outre l’échantillonnage, un certain nombre de facteurs à presque toutes les étapes d’une enquête peuvent entraîner des erreurs dans les résultats. Les erreurs non dues à l’échantillonnage sont attribuables principalement aux causes suivantes : la non-réponse, la couverture, la mesure et le traitement. Pour chacun de ces domaines, les sous-sections qui suivent examinent les diverses mesures utilisées pour réduire et corriger les erreurs. Par exemple, les erreurs de mesure peuvent être dues à une mauvaise compréhension des questions par les répondants et aux réponses inexactes qui s’en suivent; par ailleurs, il se peut que les réponses soient entrées de façon incorrecte pendant la saisie des données et que des erreurs se produisent au moment du traitement et de la totalisation des données. Le fait d’avoir utilisé la méthode de l’interview assistée par ordinateur (IAO) en 2017 a réduit le nombre d’erreurs non dues à l’échantillonnage, parce que l’IAO permet la saisie directe des réponses, des enchaînements automatisés entre les questions, des contrôles intégrés qui éliminent les incohérences et les valeurs aberrantes, etc. (Pour plus de renseignements sur l’IAO, voir la section 2.1).

En présence d’un grand nombre d’observations, les erreurs aléatoires auront peu d’effet sur les estimations de l’enquête. Toutefois, les erreurs qui se produisent systématiquement contribueront au biais dans les estimations de l’enquête. Ainsi, beaucoup de temps et d’énergie ont été consacrés à la réduction du nombre d’erreurs non dues à l’échantillonnage dans l’enquête, comme décrit aux sous-sections suivantes.

7.3.1. Erreurs dues à la non-réponse

Les erreurs dues à la non-réponse surviennent lorsqu’il est impossible d’obtenir des données complètes pour toutes les unités de l’échantillon sélectionné. La non-réponse produit des erreurs dans les estimations d’enquête de deux façons. Tout d’abord, les non-répondants ont souvent des caractéristiques différentes des répondants, ce qui peut donner lieu à des estimations d’enquête biaisées si la non-réponse n’est pas corrigée de façon appropriée. Plus le taux de non-réponse est élevé, plus le risque de biais possible sera élevé. En deuxième lieu, le fait d’avoir un plus grand nombre de non-répondants réduit la taille réelle de l’échantillon. Par conséquent, la précision des estimations diminue (l’erreur d’échantillonnage des estimations augmente). Ce deuxième aspect peut être évité grâce à la sélection d’un échantillon plus important au départ. Toutefois, cela ne réduira pas le biais possible dans les estimations.

Il existe de nombreux types de non-réponse. L’une des formes de non-réponse est la non-réponse partielle, c’est-à-dire un répondant qui ne répond pas à une ou plusieurs questions, mais qui répond à la majeure partie du questionnaire. La non-réponse partielle peut être attribuable à la difficulté à comprendre une question particulière.

En général, l’étendue de la non-réponse partielle a été relativement faible dans l’EAPA. Des examens qualitatifs exhaustifs et une mise à l’essai des questionnaires ont eu lieu avant l’enquête, ce qui a réduit l’étendue de la non-réponse partielle. Une réponse à des questions clés déterminées au préalable était requise pour classer un cas comme « répondant », conformément à la description de la sous-section 5.3.1. On retrouvait un nombre important de cas, toutefois, pour lesquels il manquait une proportion importante des réponses à des questions clés. Ces cas ont été éliminés de la base de données des répondants (ils ne répondaient pas à la définition de répondant) et ont été traités pendant la pondération comme des cas spéciaux de non-réponse totale (voir la section 6.4). Enfin, il y a non-réponse totale lorsque la personne sélectionnée pour participer à l’enquête n’a pu être contactée ou n’a pas participé une fois qu’elle a été contactée. Les poids des répondants ont été augmentés, afin de compenser ceux qui n’ont pas répondu, conformément à la description de la section 6.3.

Afin d’atténuer le nombre de cas de non-réponse, de nombreuses initiatives ont été entreprises. Au cours des mois précédant l’enquête, une stratégie de communication exhaustive, décrite à la section 4, a été mise en œuvre pour encourager la participation. En outre, les intervieweurs ont reçu une formation approfondie, colligée dans des manuels à leur intention et offerte par des formateurs expérimentés de Statistique Canada qui ont également supervisé les activités sur le terrain. Des efforts pour joindre les non-répondants, sous forme de rappels et de suivis, ont aussi été faits par des intervieweurs principaux pour encourager les répondants à participer à l’enquête. Dans la mesure du possible, des numéros de téléphone additionnels ont été fournis pour maximiser les probabilités de joindre un répondant pendant la collecte. Ces numéros ont été obtenus à l’aide de fichiers administratifs, ainsi que de la version la plus récente du fichier de numéros de téléphone résidentiels^Note de Statistique Canada. Des intervieweurs employant l’IPAO ont aussi assuré un suivi sur le terrain dans de nombreuses régions particulières.

Un tableau détaillé des taux de réponse finaux obtenus pour l’EAPA de 2017 figure à la section 3.3 du présent guide (tableau 4).

7.3.2. Erreurs de couverture

Tel que mentionné à la section 3.1, la population cible de l’EAPA 2017 comprenait la population d’identité autochtone du Canada âgée de 15 ans et plus au 15 janvier 2017 et vivant dans des logements privés. Les personnes vivant dans des établissements indiens ou des réserves et dans certaines communautés des Premières Nations au Yukon et dans les Territoires du Nord-Ouest ont été exclues. La population échantillonnée ou couverte par l’enquête correspondait aux répondants du questionnaire détaillé du Recensement de 2016 ayant déclaré soit une ascendance soit une identité autochtone (voir la sous-section 3.1.1) avec les mêmes restrictions que celles concernant la population cible en ce qui a trait à l’âge et à la géographie. Pour des données sur les Premières Nations vivant dans les réserves, on conseille aux chercheurs d’utiliser les données du Recensement de 2016.

Des erreurs de couverture se produisent lorsqu’il y a des différences entre la population cible et la population échantillonnée (population couverte par la base de sondage). Le surdénombrement n’est généralement pas problématique, étant donné que les unités de l’échantillon hors du champ de l’enquête sont habituellement déterminées pendant la collecte des données et peuvent être estimées pour l’ensemble de la base de sondage. Il pourrait toutefois y avoir sous-dénombrement. Comme l’échantillon de l’EAPA a été sélectionné à partir des personnes qui avaient participé au Recensement de 2016, les personnes qui n’ont pas participé au Recensement n’ont pas pu être échantillonnées pour l’EAPA. Si ce groupe de personnes est significativement différent des autres qui ont participé au Recensement du point de vue des caractéristiques mesurées dans le cadre de l’EAPA, cela pourrait entraîner un biais. On présume que ce biais est relativement faible compte tenu du taux de réponse très élevé obtenu au moment du recensement (taux de réponse de 97,8 % pour le questionnaire détaillé) et des ajustements apportés aux poids d’échantillonnage initiaux du recensement.

7.3.3. Erreurs de mesure

Des erreurs de mesure se produisent lorsqu’une réponse fournie diffère de la valeur réelle. Ces erreurs peuvent être attribuables aux répondants, à l’intervieweur, au questionnaire, à la méthode de collecte ou au système de conservation des dossiers du répondant. Des efforts exhaustifs ont été déployés afin d’élaborer des questions pour l’EAPA de 2017 qui seraient compréhensibles, pertinentes et adaptées sur le plan culturel.

Suite à la diffusion des données de l’EAPA de 2012, un examen exhaustif du contenu a été mené pour les questions de l’EAPA de 2012. Cet examen a bénéficié de l’expertise d’un groupe diversifié de chercheurs et de spécialistes du domaine provenant de Statistique Canada et de l’extérieur. Une analyse a été effectuée au sujet des questions qui fonctionnaient le mieux et qui étaient les plus efficaces pour produire des indicateurs valides. Ce processus s’est aussi prolongé par une recherche exhaustive de questions pertinentes à partir d’autres questions d’enquête uniformisées à Statistique Canada.

Les questions sélectionnées pour une possible inclusion dans le questionnaire de 2017 ont par la suite fait l’objet de plusieurs rondes d’essais qualitatifs au moyen d’interviews individuelles avec les répondants dans dix communautés différentes de diverses régions du Canada, y compris Iqaluit et Yellowknife. La mise à l’essai a touché les Premières Nations, les Métis et les Inuits. Des essais qualitatifs du questionnaire d’enquête ont été menés par le Centre de ressources en conception de questionnaires (CRCQ) de Statistique Canada. À partir des résultats de ces essais, des ajustements ont été apportés au libellé des questions et aux enchaînements en vue de réduire l’erreur de mesure.

De nombreux autres moyens ont aussi été pris pour réduire de façon particulière l’erreur de mesure, y compris le recours à des intervieweurs qualifiés, la formation exhaustive des intervieweurs en ce qui a trait aux procédures et au contenu de l’enquête, ainsi que l’observation et la supervision des intervieweurs, afin de déceler les problèmes de conception du questionnaire ou de mauvaise compréhension des instructions.

7.3.4. Erreurs de traitement

Des erreurs de traitement peuvent se produire à diverses étapes du processus d’enquête, y compris la saisie des données, le codage et le contrôle. Des procédures de contrôle de la qualité ont été appliquées à chaque étape du traitement des données de l’EAPA afin de réduire ce type d’erreur.

À l’étape du traitement des données, un ensemble détaillé de procédures et de règles de vérification a servi à déterminer et à corriger les incohérences entre les réponses fournies. Un ensemble de procédures rigoureuses et systématisées a été élaboré pour évaluer la qualité de chaque variable et pour apporter des corrections à chaque erreur décelée. Un instantané des fichiers de sortie a été pris à chaque étape et une vérification a été effectuée en comparant les fichiers de l’étape en cours et de l’étape précédente. La programmation de toutes les règles de vérification a fait l’objet d’un essai exhaustif avant d’être appliquée aux données. Parmi les exemples de vérifications du traitement des données figurent :

• l’examen de l’enchaînement des questions, y compris les séquences très complexes, afin de faire en sorte que les valeurs de sauts de questions ont été attribuées avec exactitude et qu’elles se distinguent des différents types de valeurs manquantes;
• le double codage de contrôle de la qualité des réponses « Autre — Précisez »;
• la supervision par du personnel expérimenté du codage des classifications types; et
• l’examen des variables dérivées par rapport aux variables de leur composante, afin d’assurer la programmation adéquate de la logique de calcul, y compris les calculs très complexes.

Voir la section sur le traitement des données du présent guide pour obtenir plus de détails (section 5).

• Précédent
• Suivant