Qualité des données, concepts et méthodologie : Méthodologie et qualité des données

Consulter la version la plus récente.

Introduction

La présente section donne un aperçu de la méthodologie sur laquelle s’appuie l’enquête ainsi que des aspects essentiels de la qualité des données. Elle fournit des renseignements qui faciliteront la compréhension des points forts et des limites des données. Ces renseignements peuvent s’avérer particulièrement utiles lorsqu’il s’agit d’établir des comparaisons avec les données d’autres enquêtes ou d’autres sources d’information et de tirer des conclusions relatives à des séries chronologiques.

Période de référence

On a demandé aux participants à l’Enquête sur les ménages et l’environnement (EME) de se reporter aux comportements et aux activités du ménage durant la période de référence de 12 mois précédant la date de l’interview.

Population cible

La population cible de l’enquête était composée des ménages au Canada, à l’exclusion des ménages situés au Yukon, dans les Territoires du Nord-Ouest et au Nunavut, des ménages vivant dans les réserves indiennes ou les terres publiques et de ceux formés entièrement de membres à temps plein des Forces canadiennes. Ont aussi été exclus les établissements et les ménages installés dans certaines régions éloignées.

Variables mesurées

De façon générale, l’EME de 2011 était conçue pour mesurer des variables permettant d’explorer les thèmes suivants : 

1. Les préoccupations des ménages au sujet de la qualité de l’eau
2. La consommation d’eau et la conservation de l’eau
3. La conservation d’énergie
4. Le chauffage et la climatisation des habitations
5. L’environnement intérieur
6. L’utilisation d’équipement ménager pour l’entretien des pelouses et le jardinage
7. L’utilisation d’équipement récréatif alimenté à l’essence
8. L’utilisation de pesticides et d’engrais pour l’entretien des pelouses et des jardins
9. Les pratiques de compostage et d’élimination des déchets dangereux
10. L’importance de la nature

Élaboration de l’instrument

Le questionnaire a été conçu par Statistique Canada en consultation avec les intervenants qui ont participé au projet des Indicateurs canadiens de durabilité de l’environnement (ICDE) et tient compte des besoins en matière de données de l’équipe du projet et des collectivités plus larges de la recherche et de l’élaboration des politiques. La mise à l’essai du questionnaire a été effectuée par le Centre d’information sur la conception des questionnaires (CICQ) de Statistique Canada. Le CICQ a tenu des séances de discussion individuelles en anglais et en français à Ottawa en avril et mai 2011.

Le questionnaire a été conçu de manière à se conformer aux pratiques courantes et au libellé standard, le cas échéant, dans un environnement d’interview téléphonique assistée par ordinateur. Cela comprenait le contrôle automatisé de l’énoncé et de l’enchaînement des questions en fonction des réponses données aux questions antérieures, ainsi que l’utilisation de vérifications en ligne en vue de détecter les incohérences logiques et les erreurs de saisie flagrantes.

L’application informatique de collecte de données a été soumise à des essais rigoureux avant d’être utilisée dans l’enquête.

Échantillonnage

L’Enquête sur les ménages et l’environnement (EME) a été réalisée d’octobre à novembre 2011 auprès d’un sous-échantillon de logements qui faisaient partie de l’échantillon de l’Enquête sur la santé dans les collectivités canadiennes – composante annuelle, 2011 (ESCC 2011) entre le 1^er janvier et le 30 juin 2011. Les détails du plan d’échantillonnage de l’ESCC sont disponibles sur demande. La taille de l’échantillon pour l’EME était de 20 000 logements.

Collecte des données

La collecte des données s’est faite par interview téléphonique d’octobre à novembre 2011. La participation à l’enquête était volontaire et les données ont été recueillies directement auprès d’un représentant du ménage sélectionné. Selon la disponibilité de la personne, l’interview de l’EME a été achevée immédiatement ou bien l’intervieweur a pris rendez-vous pour un nouvel appel en vue d’achever l’interview. Un ordonnanceur d’appels automatisé a géré les appels de suivi afin d’essayer de communiquer avec le répondant à divers moments de la journée au cours de la période de collecte.

Les interviews dans le cadre de l’EME ont été effectuées à partir des bureaux régionaux de Statistique Canada en employant une application d’interview téléphonique assistée par ordinateur (ITAO). En tout, 14 862 ménages ont répondu à l’enquête, ce qui a donné un taux de réponse final de 74,3 %.

Détection des erreurs

Le questionnaire de l’EME comportait de nombreuses caractéristiques permettant de maximiser la qualité des données recueillies. De multiples contrôles étaient intégrés au questionnaire d’interview assistée par ordinateur (IAO) afin de comparer les données inscrites aux valeurs inhabituelles ainsi que les incohérences logiques entre les sections du questionnaire. Lorsqu’une réponse était rejetée à la vérification, l’intervieweur était invité à corriger l’information, avec l’aide du répondant. En outre, l’intervieweur pouvait inscrire la réponse « Ne sait pas » ou « Refus » si le répondant ne fournissait pas de réponse à une question.

Estimation

Des estimations représentatives des ménages faisant partie du champ d’observation de l’enquête ont été produites en attribuant un facteur de pondération à chaque ménage échantillonné. Ce poids indiquait le nombre de ménages de la population cible représentés par le ménage en question. Le poids initial a été extrait à partir du fichier de l’ESCC et reflétait la probabilité de sélectionner l’unité dans l’échantillon, de même que d’autres corrections, dont le traitement de la non-réponse à l’ESCC.

Afin de produire les poids pour l’EME, une première correction de la pondération initiale a été effectuée pour tenir compte du fait qu’un sous-échantillon seulement de l’ESCC était utilisé. Une deuxième correction a été faite pour tenir compte de la non-réponse à l’EME. Enfin, une troisième et dernière correction a été faite pour produire le poids final. Cette dernière correction consistait en une poststratification qui était fonction des projections du recensement. La qualité des estimations a été évaluée au moyen de leur coefficient de variation estimé (c.v.). Étant donné la complexité du plan d’échantillonnage de l’EME, il n’était pas possible de calculer ces c.v. à l’aide d’une simple formule; par conséquent, des poids de rééchantillonnage bootstrap ont été utilisés pour les obtenir.

Évaluation de la qualité

À des fins d’uniformité, toutes les données publiées ont été comparées aux données des cycles précédents de l’enquête. Des spécialistes en la matière ont comparé les données à celles provenant d’autres sources et ont recherché toutes les valeurs ne concordant pas avec d’autres dans le même domaine.

Contrôle de la divulgation

La loi interdit à Statistique Canada de rendre publique toute donnée susceptible de révéler de l’information obtenue en vertu de la Loi sur la statistique et se rapportant à toute personne, entreprise ou organisation reconnaissables sans que cette personne, entreprise ou organisation le sachent ou y consentent par écrit. Diverses règles de confidentialité s’appliquent à toutes les données diffusées ou publiées afin d’empêcher la publication ou la divulgation de toute information jugée confidentielle. Au besoin, des données sont supprimées pour empêcher la divulgation directe ou par recoupement de données reconnaissables.

Erreur de couverture

L’erreur de couverture de l’ESCC, dont l’EME est un sous-échantillon, est estimée à moins de 2 %.

Taux de réponse et erreur d’échantillonnage

Le taux de réponse à cette enquête a été de 74,3 %. Les taux de réponse provinciaux se situaient entre 68,9 % et 78,7 %.

L’erreur d’échantillonnage correspond à une erreur découlant de l’estimation d’une caractéristique de la population selon laquelle une partie de la population est mesurée au lieu de sa totalité. Des méthodes de calcul de l’erreur d’échantillonnage s’appliquent à l’enquête-échantillon probabiliste.

Le coefficient de variation fournit une telle mesure. C’est le rapport entre l’erreur-type de l’estimation de l’enquête et la valeur moyenne de l’estimation elle-même, pour tous les échantillons possibles. Le coefficient de variation est habituellement calculé comme l’estimation de l’erreur-type de l’estimation de l’enquête par rapport à l’estimation elle-même Cette mesure relative de l’erreur d’échantillonnage est habituellement exprimée en pourcentage (10 % au lieu de 0,1). Elle est très utile pour comparer la précision des estimations de l’échantillon lorsque leurs tailles ou échelles sont différentes l’une de l’autre.

L’importance de cette erreur d’échantillonnage est quantifiée par le coefficient de variation en appliquant les lignes directrices suivantes : 

1. 16,5 % et moins : estimation acceptable;
2. entre 16,6 % et 33,3 % : estimation limite qui nécessite une mise en garde aux utilisateurs;
3. 33,3 % et plus : estimation inacceptable.

Les estimations dont le niveau de qualité n’est pas acceptable sont marquées d’un indicateur signalant qu’elles doivent être utilisées avec prudence ou sont supprimées. Statistique Canada produit des tableaux des coefficients de variation qui sont mis à la disposition des utilisateurs pour qu’ils puissent mieux comprendre la qualité des estimations individuelles.

Par exemple, les c.v. pour la proportion de ménages qui ont donné une description correcte du radon en 2011 pour le Canada et les provinces sont les suivants : 

Comparabilité des données dans le temps

Sujet : Sensibilisation au radon