Publications

    Statistique Canada : Lignes directrices concernant la qualité

    Évaluation de la qualité des données

    Warning Consulter la version la plus récente.

    Information archivée dans le Web

    L’information dont il est indiqué qu’elle est archivée est fournie à des fins de référence, de recherche ou de tenue de documents. Elle n’est pas assujettie aux normes Web du gouvernement du Canada et elle n’a pas été modifiée ou mise à jour depuis son archivage. Pour obtenir cette information dans un autre format, veuillez communiquer avec nous.

    Portée et objet
    Principes
    Lignes directrices
    Indicateurs de qualité
    Bibliographie

    Portée et objet

    Chaque étape d'une enquête est marquée par le souci d'appliquer des méthodes saines capables de garantir la qualité des données; d'ailleurs, tous les chapitres de ce document en témoignent. L'évaluation de la qualité des données sert à déterminer dans quelle mesure le produit final satisfait aux objectifs initiaux de l'activité statistique, notamment sous l'angle de la fiabilité (exactitude, actualité et cohérence). De plus, elle facilite l'interprétation, pour les utilisateurs, des résultats de l'enquête, et permet à l'organisme statistique d'accroître la qualité de ses enquêtes.

    Généralement parlant, il existe deux types d'évaluation de la qualité des données :

    • Certification ou validation : les données sont analysées avant leur diffusion officielle, afin d'éviter les erreurs évidentes et d'éliminer les données de piètre qualité; à cette étape de l'enquête, on privilégie la comparaison des données à des sources de données externes ou auxiliaires
    • Étude des sources d'erreur : cette démarche permet généralement d'obtenir des renseignements quantitatifs sur les sources précises des erreurs présentes dans les données.

    L'évaluation de la qualité des données repose sur des indicateurs établis à chacune des étapes de l'enquête. Ces méthodes d'évaluation sont exposées dans différentes sections du présent document. Plusieurs considèrent qu'il est impossible d'établir un indice de qualité unidimensionnel et unique; or, on peut résumer les différents indicateurs de la qualité et les comparer, sur le plan de leur importance relative et de leurs conséquences.

    Principes

    Il est essentiel d'évaluer la qualité des données, pour déterminer dans quelle mesure elles sont pertinentes et représentatives. Les utilisateurs sont rarement capables d'exécuter cette tâche. La plupart du temps, elle incombe à l'organisme statistique, qui s'en acquitte et en communique les résultats aux utilisateurs, le plus rapidement possible et sous la forme la plus pratique possible.

    Outre la pertinence des données, l'évaluation de la qualité permet de vérifier s'il existe un lien entre certains types d'erreurs et certaines étapes du processus d'enquête. Cette démarche permet – lorsque c'est nécessaire – d'augmenter la qualité d'une prochaine édition de l'enquête ou d'enquêtes similaires.

    Les évaluations de la qualité des données menées à Statistique Canada doivent satisfaire aux exigences minimales énoncées dans la Politique visant à informer les utilisateurs sur la qualité des données et la méthodologie (Statistique Canada, 2000). Afin d'y satisfaire, on doit mesurer ou évaluer les erreurs de couverture, les taux de réponse et d'imputation, ainsi que les erreurs d'échantillonnage en fonction des caractéristiques clés (pour une enquête-échantillon).

    Lignes directrices

    Conception

    • Déterminer l'ampleur requise, pour l'évaluation de la qualité des données, en fonction du programme ou du produit soumis à l'évaluation. Pour ce faire, il faut considérer les facteurs suivants : usages et utilisateurs des données; risque d'erreur et incidence des erreurs sur l'usage des données; variation de la qualité, au fil du temps; coût de l'évaluation par rapport au coût total du programme; amélioration de la qualité; augmentation de l'efficience et de la productivité; degré d'utilité des mesures, pour les utilisateurs, et degré de facilité à les interpréter; possibilités que l'enquête soit répétée.
    • L'information requise par les évaluations de la qualité des données est souvent recueillie durant le processus d'enquête. Il faudrait donc inclure le plan d'évaluation dans le plan d'enquête; les rapports sur la qualité des données devraient également figurer dans le calendrier de diffusion de l'enquête.
    • S'assurer que les résultats de l'évaluation de la qualité sont valides et qu'ils sont assez récents pour contribuer à l'amélioration des données diffusées. Si cela se révèle impossible, s'assurer, à tout le moins, que les résultats sont assez récents, afin que les utilisateurs puissent analyser les données plus facilement et que les concepteurs des enquêtes puissent améliorer le plan des éditions subséquentes de l'enquête ou d'enquêtes similaires.

    Exécution

    • Évaluer la qualité en se fondant sur l'opinion d'experts ou sur une analyse subjective lorsque l'évaluation de la qualité des données ne peut fournir des mesures quantitatives, à cause de la nature du produit, de l'utilisateur, des contraintes de temps, du coût ou de la faisabilité technique.
    • En ce qui concerne les enquêtes ou les activités statistiques répétées, il se peut qu'il ne soit pas nécessaire, ou possible, d'évaluer (dans le détail) la qualité de manière constante. Il faut néanmoins le faire périodiquement, pour s'assurer que les activités statistiques atteignent leurs objectifs (sans attendre qu'un problème survienne).
    • Impliquer les utilisateurs des résultats d'évaluation – qu'ils viennent d'un organisme statistique ou d'ailleurs – dans la définition des objectifs du programme d'évaluation de la qualité des données. Faire de même pour le processus d'évaluation, lorsque les circonstances le permettent.
    • Pour pouvoir mener l'ensemble de ces évaluations, le gestionnaire – ou l'équipe de gestion – de l'enquête doit préalablement identifier les normes qu'il veut respecter et les objectifs qu'il désire atteindre.

    Certification ou validation

    • Certifier ou valider l'information statistique chaque fois qu'il est possible ou approprié de le faire.
    • Veiller à ce que la certification ou la validation interroge les données au lieu de les rationaliser. Pour ce faire, il est bon d'impliquer des analystes qui n'ont pas pris part à la production des données dans le processus.
    • Vérifier la cohérence des données par rapport à des sources de données externes, comme d'autres enquêtes, d'autres éditions de la même enquête ou des données administratives.
    • Vérifier la cohérence interne, en calculant des ratios dont les limites probables sont connues (ratio hommes-femmes, valeurs moyennes des biens, etc.), par exemple.
    • Analyser la contribution (sur un plan individuel) des grandes unités aux estimations globales (généralement dans le cadre d'enquêtes-entreprises).
    • Examiner et interpréter les indicateurs de qualité des données présentés dans les autres sections de ce document et les comparer aux objectifs de production.
    • Organiser des rencontres de rétroaction avec le personnel affecté à la collecte et au traitement des données.
    • Mandater des spécialistes de l'externe qui sont familiarisés avec l'enquête, pour qu'ils vérifient si ses résultats sont plausibles et qu'ils rédigent un rapport sur les travaux en cours, avant la diffusion des résultats.

    Examen des sources d'erreurs

    • Examiner fréquemment les sources d'erreurs, dans le cas des programmes statistiques annuels ou pluriannuels, et occasionnellement, dans le cas des programmes repris à intervalles rapprochés.
    • Évaluer, entre autres, les erreurs de couverture et d'échantillonnage, les erreurs attribuables à la non-réponse, ainsi que les erreurs de mesure et de traitement, à la lumière des analyses d'autres étapes de l'enquête.

    Indicateurs de qualité

    • Chacune des sections qui précèdent présente des indicateurs de la qualité adaptés aux caractéristiques des sujets qu'elle aborde. Or, il est bon de recourir à des indicateurs portant sur l'ensemble du projet au lieu de se concentrer sur l'une de ses étapes. Bien souvent, on ne peut pas mesurer ces indicateurs avant la diffusion du produit et il arrive même que l'attente se prolonge au-delà de cette étape. Lorsque c'est le cas, les indicateurs sont exclus de la documentation connexe; ils permettent toutefois de déterminer, approximativement, quelle serait la qualité d'une nouvelle édition du programme ou d'un programme similaire. Voici des exemples de ce genre d'indicateur :

    Actualité

    • Combien de temps le projet a-t-il demandé, du lancement à la clôture? Combien de temps s'est-il écoulé entre la conclusion du projet et la période de référence?
    • Combien de temps s'est-il écoulé entre l'étape de la collecte des données et le moment où les estimations relatives aux caractéristiques principales sont devenues accessibles?

    Pertinence

    • Les résultats de l'enquête répondent-ils à ses objectifs et aux besoins analytiques de la collectivité?
    • Est-il possible que des populations aient été omises ou que des questions écartées à cause de certaines étapes ou contraintes opérationnelles
    • Comparer les résultats prévus et ceux qui ont été obtenus; justifier d'éventuels écarts.

    Intelligibilité

    • Vérifier que la documentation est complète.
    • Calculer le nombre de demandes de renseignements, plus particulièrement celles qui visent à clarifier des informations. Cette mesure s'avère encore plus importante, dans le cas des enquêtes répétées. Tenter de déterminer si ces demandes révèlent une faille dans les fondements du cadre théorique ou de la documentation de l'enquête.

    Exactitude

    • Le projet a-t-il permis de produire des estimations de qualité satisfaisante, et ce, pour chacun des domaines et pour chacune des variables que l'on a prévu étudier? La réponse à cette question peut s'exprimer en pourcentage; par exemple, 86 % des estimations prévues concordent avec les objectifs concernant les c.v.
    • Dans le cas d'enquêtes répétées, comparer les estimations principales et leur niveau de qualité (c.v.) aux résultats des versions antérieures. Il faut s'assurer de pouvoir expliquer d'éventuels changements. Traduire les changements relatifs aux c.v. sous forme de pourcentage (plus ou moins élevé que les pourcentages des éditions précédentes). Il est possible de produire des statistiques similaires pour les taux d'imputation, d'erreur, etc.
    • Dans le cas d'enquêtes non répétées, envisager de comparer les estimations de l'enquête à des données administratives connexes ou aux estimations d'autres enquêtes. Évidemment, les populations de ces sources peuvent différer les unes des autres; il se peut donc qu'il faille justifier de tels écarts.

    Cohérence

    • Comparer les résultats de l'enquête à ceux d'éditions antérieures; tenter de repérer d'éventuelles différences, d'en identifier les causes et de les quantifier (p. ex. : « l'enquête inclut maintenant les territoires; s'ils avaient été exclus de l'enquête, comme c'était le cas dans les éditions précédentes, les estimations nationales auraient été de 31,4 % plutôt que de 31,5 % »).
    • Comparer les résultats de l'enquête aux résultats de sources externes et tenter d'expliquer d'éventuels écarts.

    Accessibilité

    • Décrire les types et les formats des produits de l'enquête.
    • Indiquer le nombre de fois qu'un produit d'enquête a été consulté sur un site Internet accessible au public.
    • Mentionner si les données de l'enquête sont stockées dans un fichier de microdonnées à grande diffusion, si certains de leurs produits sont gratuits et si elles sont accessibles dans des centres de données de recherche.

    Bibliographie

    Biemer, P., R.M. GROVES, N.A. Mathiowetz, L. Lyberg et S. Sudman. 1991. Measurement Errors in Surveys, New York, Wiley.

    Biemer, P. et L. Lyberg. 2003. Introduction to Survey Quality, New York, Wiley.

    Fuller, W. 1987. Measurement Error Models, New York, Wiley.

    Lessler, J.T. et W.D. Kalsbeek. 1992. Nonsampling Errors in Surveys, New York, Wiley.

    Lyberg, L., P. Biemer, M. Collins, E. de Leeuw, C. Dippo, N. Schwarz, et D. Trewin. 1997. Survey Measurement and Process Quality, New York, Wiley.

    Statistique Canada. 2000d. « Politique visant à informer les utilisateurs sur la qualité des données et la méthodologie », Manuel des politique de Statistique Canada, /about-apercu/policy-politique/info_user-usager-fra.htm.

    Statistique Canada. 2002. « Le cadre d'assurance de la qualité de Statistique Canada 2002 », produit no12-586-XIF au catalogue de Statistique Canada, Ottawa.

    Statistique Canada. 2003.  Méthodes et pratiques d'enquête, produit no 12-587-XIF, Ottawa.

    Date de modification :