Statistique Canada : Lignes directrices concernant la qualité
Lignes directrices pour assurer la qualité des données

Passer au texte

Début du texte

Dans le système statistique canadien, la qualité des données produites est définie au moyen des six dimensions de la qualité : la pertinence, l’exactitude, l’actualité, l’accessibilité, l’intelligibilité et la cohérence. Ces dimensions sont mentionnées dans l’un des huit principes directeurs du CAQ, qui décrit les stratégies mises en œuvre pour faciliter et assurer une gestion efficace de la qualité dans tous les programmes statistiques et toutes les initiatives organisationnelles. Ces six dimensions sont abordées dans le CAQ de façon à décrire ce que les producteurs de statistiques officielles doivent faire pour assurer la qualité à l’échelle de leur institution. Dans les présentes lignes directrices, elles sont abordées de telle sorte qu’elles permettent d’évaluer l’adéquation des données produites. La figure ci-après illustre l’étendue des lignes directrices et montre que, quel que soit le type de données à produire, leur mise en application sert à assurer le respect des dimensions de la qualité.

Illustration de l’étendue de la portée des lignes directrices concernant la qualité

Description de la figure 1

La figure 1 illustre l’idée selon laquelle le respect des six dimensions de la qualité permet l’obtention de produits de qualité, peu importe le type de données à produire. Tout d’abord, l’illustration est séparée en deux parties : la partie de droite représente la dimension données et la partie de gauche représente la dimension utilisateur. Dans la section de droite, les données entrent dans une sphère qui contient plusieurs mots clés reliés à une amplitude de sujets divers sur lesquelles des statistiques sont produites. Bien que les mots clés ne soient pas une liste exhaustive des sujets pour lesquels des statistiques sont produites, ils donnent des exemples de sujets tels que :

  • Construction
  • Économiques
  • Développement durable
  • Finances publiques
  • Sociales
  • Bâtiments
  • Éducation
  • Mines
  • Tourisme
  • Pêches
  • Agriculture
  • Justice
  • Santé
  • Gouvernement
  • Consommation
  • Démographiques
  • Comptes nationaux
  • Emploi
  • Énergie
  • Données volumineuses
  • Transport
  • Entreprises
  • Enfants et jeunes
  • Commerce de détails
  • Prix
  • Impôts
  • Revenu
  • Langues
  • Technologiques
  • Immigration
  • Géographie
  • État civil
  • Recensement
  • Familles et ménages
  • Environnement.

Cette sphère est entourée d’un cercle qui illustre les lignes directrices concernant la qualité s’applique à tous ces sujets et sont utiles pour assurer le respect des dimensions de la qualité. Ce cercle englobant tous les sujets pour lesquels des statistiques peuvent être développées renvoient quant à lui aux six dimensions de la qualité, soit la pertinence, l’exactitude, la cohérence, l’intelligibilité, l’actualité et l’accessibilité. La dimension utilisateurs est illustrée par de multiples symboles de personne. Finalement, une flèche à double sens illustre que la relation entre la dimension données et la dimension utilisateur est une relation dans les deux sens.

Les sections suivantes décrivent les façons, dans le système statistique canadien, dont la qualité des données produites est assurée, à savoir la prise en charge et la gestion efficace des six dimensions. Chaque section porte sur une dimension. La première sous-section présente une définition, suivie d’une courte explication sur l’importance de la dimension (le pourquoi) et les objectifs visés. La deuxième sous-section fournit des lignes directrices visant à guider le personnel des organismes producteurs de données dans l’accomplissement de leurs tâches. Finalement, puisque la gestion des dimensions de la qualité a une incidence directe sur la qualité des produits statistiques, la troisième sous-section propose des indicateurs de la qualité permettant non seulement de mesurer la dimension en question, mais également de l’évaluer par rapport aux objectifs à atteindre.

Pertinence

Définition, importance et objectifs

Par « pertinence des données statistiques », on entend la mesure dans laquelle les besoins réels des utilisateurs sont satisfaits. Pour être qualifiées de pertinentes, les données doivent éclairer les utilisateurs sur les questions les plus importantes à leurs yeux. C’est par cette dimension que les instituts nationaux de statistique (INS) ajustent la direction de leurs programmes lorsque cela s’avère nécessaire. Toutefois, son évaluation est subjective étant donné qu’elle dépend des divers besoins des utilisateurs.

C’est dans cette dimension qu’on tient généralement compte des ressources humaines, matérielles et financières qui doivent être utilisées pour chaque programme. Ainsi, le grand défi de tout INS est de jauger les besoins conflictuels des utilisateurs actuels et potentiels afin de concevoir un programme qui répond le mieux possible aux principaux besoins compte tenu des contraintes en matière de ressources. Les mécanismes qui servent à assurer la pertinence permettent non seulement d’exercer un contrôle de base sur les autres aspects de la qualité, mais également d’évaluer les besoins des utilisateurs par rapport aux autres dimensions.

Il faut donc jauger l’importance relative des besoins en données et explorer les différentes alternatives. Cette notion est importante puisqu’elle permet de déterminer l’équilibre optimal entre le besoin en données des utilisateurs et le besoin de protection de la vie privée des répondants. Bien qu’il puisse être ardu d’évaluer cet aspect, il est primordial d’y consacrer un effort approprié.

Lignes directrices pour assurer la pertinence des données

  • Établir et tenir à jour la liste des utilisateurs actuels et potentiels de tous les produits statistiques de l’organisme producteur de données;
  • Maintenir des liaisons bilatérales et multilatérales avec les principaux utilisateurs;
  • Procéder à des évaluations périodiques des programmes statistiques;
  • Confirmer et réajuster les priorités des programmes dans le cadre d’un processus de planification stratégique en examinant les besoins en matière d’information émergente et la pertinence des programmes courants;
  • Tenir compte de l’incidence qu’auront sur d’autres programmes connexes les rajustements et les modifications apportés à un programme statistique;
  • Énoncer clairement les buts et les objectifs des activités statistiques;
  • Mesurer les utilisations des données et le niveau de satisfaction des utilisateurs;
  • Déterminer les paramètres en vue d’établir l’équilibre optimal entre le besoin en données et l’impact sur la vie privée des canadiens, et choisir la meilleure option parmi celles considérées.

Indicateurs de la qualité de la pertinence

  • Existence d’une liste actualisée des utilisateurs des données du programme;
  • Niveau de conformité des données du programme avec les normes régionales et internationales;
  • Nombre de consultations en ligne des produits du programme;
  • Taux de satisfaction des utilisateurs des produits du programme;
  • Pourcentage d’utilisateurs qui utilisent réellement le produit statistique.

Actualité et ponctualité

Définition, importance et objectifs

Par « actualité des données statistiques », on entend le délai entre le point de référence (ou la fin de la période de référence) auquel se rapporte l’information et la date à laquelle les données sont disponibles. La ponctualité, quant à elle, se définit comme la différence entre le moment planifié pour sa disponibilité et sa disponibilité réelle.

Une gestion efficace de cette dimension permet aux données produites et diffusées d’être en phase avec la réalité présente. L’actualité de l’information doit être planifiée dès l’étape de la conception de l’activité statistique. Sa planification est très souvent basée sur des compromis entre la précision recherchée, le coût que l’organisme producteur consent à assumer et la disponibilité des données. L’actualité est donc une caractéristique importante. On doit assurer un suivi régulier du calendrier et du déroulement des activités afin de prévenir certaines détériorations et de détecter des manquements aux bonnes pratiques pouvant mener à des cas extrêmes de non-ponctualité.

Lignes directrices pour assurer l’actualité des données

  • En premier lieu, s’assurer qu’il n’y a pas de mandat législatif rattaché à la diffusion des données. S’il y en a un, cela peut diminuer la flexibilité du calendrier de mise en œuvre et la capacité de le modifier;
  • Planifier et élaborer un calendrier pour chacune des étapes du processus de production et avoir des mécanismes de suivi réguliers de leur mise en œuvre;
  • Négocier des ententes de partage avec les fournisseurs de données qui permettent un transfert à récurrence planifiée et ponctuelle;
  • S’entendre avec les fournisseurs de données sur un calendrier de disponibilité de leurs bases de données;
  • Tenir compte des facteurs externes dans la planification et l’élaboration du calendrier de diffusion;
  • Annoncer, au préalable, le calendrier de diffusion et les changements de dates prévus à long terme;
  • Adopter, dans le cas de certains programmes, la stratégie de diffusion des données préliminaires, suivie de la diffusion de chiffres révisés et définitifs qui sont plus actuels;
  • Utiliser les nouvelles technologies pour raccourcir les délais de diffusion;
  • Évaluer la faisabilité de diffuser des données d’abord provisoires, puis révisées;
  • Informer les utilisateurs au sujet des contraintes associées à l’actualité;
  • Dans le cas d’un décalage du calendrier prévu, donner des explications et fixer à l’avance une nouvelle date de parution;
  • Évaluer l’importance des besoins des utilisateurs en fonction du moment auquel ces besoins doivent être comblés.

Indicateurs de la qualité de l’actualité

  • Existence d’une date de début et de fin pour chaque étape du processus de production;
  • Existence d’un calendrier de diffusion;
  • Existence d’un plan de suivi et de contingence;
  • Existence de documentation sur l’évaluation des besoins;
  • Degré de ponctualité selon le calendrier de diffusion prévu (exprimé en nombre de jours, de mois ou d’années de retard par rapport à la date de diffusion initiale);
  • Période entre la date de référence et la date de diffusion;
  • Période entre la date de diffusion provisoire et la date de diffusion de la version définitive.

Exactitude et fiabilité

Définition, importance et objectifs

Par « exactitude des données statistiques », on entend la mesure dans laquelle l’information décrit correctement le phénomène qu’elle doit mesurer. L’exactitude est habituellement caractérisée en fonction de l’erreur dans les estimations statistiques et elle est traditionnellement décomposée en biais (erreur systématique) et en variance (erreur aléatoire). On peut aussi la définir par rapport aux sources principales d’erreurs susceptibles de mener à des données imprécises (p. ex. la couverture, l’échantillonnage, la non-réponse). Liée à la notion d’exactitude, la fiabilité correspond à la mesure dans laquelle l’information statistique décrit correctement, et uniformément dans le temps, le phénomène qu’elle doit servir à mesurer.

Le principal objectif dans cette dimension est que les données produites rendent compte de la réalité avec le plus de justesse possible. Ainsi, la gestion de l’exactitude nécessite une attention particulière durant les phases de conception, de mise en œuvre et d’évaluation de l’activité statistique. Le niveau d’exactitude atteint est donc fonction des méthodes et des processus adoptés pour détecter et contrôler les erreurs potentielles dans les diverses étapes de la mise en œuvre de l’activité statistique.

En ce qui a trait au degré d’exactitude acceptable, sa détermination et la justification de son choix découlent de l’équilibre optimal entre les besoins des utilisateurs et le niveau de protection de la vie privée nécessaire afin de satisfaire ces besoins, des contraintes en matière de ressources budgétaires, matérielles et humaines, ainsi que de la prise en considération des facteurs contextuels relatifs à l’activité statistique à entreprendre.

Lignes directrices pour assurer l’exactitude des données

  • Appliquer les méthodes appropriées de contrôle de qualité et mettre en œuvre des processus d’assurance de la qualité pour détecter et contrôler les erreurs éventuelles dans les diverses étapes du processus de production;
  • Consulter les producteurs de données administratives pour valider les concepts et pour comprendre le traitement des données dans le cadre d’affaire d’où elles proviennent (utilisation, couverture, cycle de collecte et de réconciliation, valeurs manquantes ou de faible qualité) et faire les ajustements requis;
  • Faire des suivis auprès des producteurs de données si des variables ou des données semblent manquantes ou erronées;
  • Mesurer la qualité de l’appariement des enregistrements provenant de différents fichiers (p. ex. l’appariement de données administratives aux registres statistiques);
  • Minimiser et évaluer les erreurs de couverture et de classement des unités statistiques dans la base utilisée;
  • Effectuer des prétests et des mises à l’essai de toutes les versions des instruments d’acquisition des données (questionnaire, plateforme de saisie, module de transfert, programmes ou logiciel d’imputation et d’estimation, etc.);
  • Privilégier les méthodes d’échantillonnage sans biais ou avec biais minimes, comme les méthodes d’échantillonnage probabilistes;
  • Considérer des méthodes non probabilistes uniquement s’il est possible de le faire dans un cadre d’inférence valide (Beaumont, 2018) ou s’il n’y a aucune autre possibilité;
  • Sélectionner un plan de sondage qui permet d’optimiser l’exactitude des données produites;
  • Vérifier l’échantillon finalement enquêté par rapport au plan initial;
  • Vérifier la représentativité des données produites;
  • Avoir un plan de suivi quant à la collecte pour améliorer les taux de réponse et la qualité des données;
  • Minimiser et évaluer les erreurs de traitement (erreurs de saisie, erreurs de vérification et d’imputation des données, erreurs de manipulation des fichiers, etc.);
  • Vérifier que le calcul des poids correspond à un total connu;
  • Déterminer et décrire les raisons principales de la non-réponse (aucune communication, refus, inadmissibilité, etc.);
  • Évaluer l’ampleur des erreurs dues à la non-réponse;
  • Donner une estimation de la variance qui tient compte du plan d’échantillonnage et des diverses manipulations effectuées sur les données d’enquête (ajustement de la non-réponse, imputation, calibration, etc.);
  • Valider les modèles utilisés et les hypothèses de départ;
  • Utiliser d’autres sources pour comparer, évaluer et valider les estimations calculées;
  • Utiliser les nouvelles technologies pour automatiser le plus possible les procédures et ainsi minimiser les erreurs introduites par les manipulations et l’incohérence des données;
  • Évaluer l’importance relative des besoins des utilisateurs des données et celui en protection de la vie privée des répondants afin d’en déterminer l’équilibre optimal.

Indicateurs de la qualité de l’exactitude

Des sept indicateurs précisés ci-après, les cinq premiers sont généralement liés à l’exactitude de données issues des processus d’enquêtes par échantillonnage. Statistique Canada réalise actuellement des travaux de recherche afin d’élaborer des indicateurs pour les données provenant des autres processus de production statistique. Ces travaux permettront également de vérifier la pertinence d’avoir recours à certains indicateurs utilisés pour mesurer les données d’enquêtes. Les résultats de ces travaux feront partie de la prochaine édition des lignes directrices.

  • Taux de couverture;
  • Taux de réponse;
  • Variance (coefficient de variation);
  • Taux et ratio d’imputation;
  • Variance due à l’imputation;
  • Erreurs de mesure;
  • Erreurs de précocité ou de fin de période (pour les estimations de population).

Accessibilité et clarté

Définition, importance et objectifs

Par « accessibilité et clarté des données statistiques », on entend la facilité avec laquelle les utilisateurs peuvent connaître l’existence de l’information (incluant les métadonnées), la localiser, la visualiser et l’importer dans leur propre environnement de travail. Il s’agit également du caractère approprié de la présentation de l’information ou du média au moyen duquel on peut avoir accès aux données. Pour certains utilisateurs, le coût peut également être un aspect de l’accessibilité.

C’est au moyen de cette dimension que les utilisateurs peuvent prendre connaissance du contenu de leurs demandes d’information et savoir si cette information répond bien à leurs besoins. L’accessibilité est très liée à la pertinence dans la mesure où la satisfaction des utilisateurs à l’égard d’un produit statistique doit être mesurée non seulement sur son contenu, mais également sur son mode de diffusion.

L’objectif dans le système statistique canadien en matière de diffusion est d’optimiser l’utilisation de l’information qu’il produit tout en s’assurant que les coûts de diffusion ne réduisent pas sa capacité à recueillir et à traiter les données. Les politiques de diffusion des organismes producteurs et les systèmes de livraison déterminent la plupart des aspects de l’accessibilité.

Lignes directrices pour assurer l’accessibilité des données

  • Mettre en œuvre un système de documentation et d’archivage des données statistiques;
  • Concevoir les produits statistiques en s’assurant qu’ils sont bien intégrés aux systèmes de catalogage de l’organisme producteur;
  • Vérifier périodiquement les dossiers archivés pour s’assurer de leur accessibilité aux utilisateurs;
  • Établir des procédures dès le début du cycle de vie des enquêtes à caractère répétitif pour s’assurer que tous les fichiers importants sont conservés;
  • Produire et mettre en œuvre des procédures pour distribuer des fichiers à usage restreint, s’il y a lieu;
  • Appliquer une méthodologie de contrôle de la divulgation qui minimise les suppressions;
  • Proposer de multiples méthodes d’accès et d’extraction;
  • Mettre à profit les nouvelles technologies de visualisation des données;
  • Rendre les fichiers de données accessibles en prévision des activités analytiques futures;
  • S’assurer que les produits sont conformes aux exigences des politiques et des normes établies par l’organisme en matière d’accessibilité. Sinon, se référer aux politiques en vigueur à Statistique Canada (Politique sur l’accès à l’information, Politique sur l’accès aux microdonnées et Politique sur les faits saillants des publications);
  • S’assurer que les produits sont conformes aux exigences de l’organisme. Sinon, consulter celles mentionnées dans la Politique visant à informer les utilisateurs sur la qualité des données et la méthodologie de Statistique Canada;
  • Informer les utilisateurs sur les publications disponibles, leur fréquence ainsi que leurs principaux modes de diffusion;
  • Organiser des séances de diffusion officielles de résultats des processus statistiques;
  • Rédiger et diffuser des communiqués clairs et concis qui renvoient au produit statistique;
  • Effectuer des enquêtes sur la satisfaction des utilisateurs concernant la facilité d’accès et les modes de diffusion.

Indicateurs de la qualité de l’accessibilité

  • Existence d’un système d’archivage et d’entreposage du produit statistique;
  • Disponibilité du produit statistique dans plusieurs formats;
  • Existence d’une référence au produit statistique au sein du système d’archivage et d’entreposage;
  • Organisation de séances de diffusion officielles du produit statistique;
  • Communiqués sur le produit statistique;
  • Mesures disponibles quant à la satisfaction des utilisateurs concernant la facilité d’accès et les modes de diffusion.

Intelligibilité

Définition, importance et objectifs

Par « intelligibilité des données statistiques », on entend la disponibilité de renseignements supplémentaires et de métadonnées nécessaires à l’interprétation et à l’utilisation appropriée des données. Il s’agit en général de renseignements sur les variables, les classifications et les concepts sous-jacents utilisés, sur les méthodes de collecte et de traitement des données et sur les indicateurs de la qualité des données statistiques.

Le système statistique canadien a notamment pour responsabilité d’offrir suffisamment d’information pour permettre aux utilisateurs d’interpréter efficacement les renseignements statistiques. La gestion de l’intelligibilité porte principalement sur la communication des métadonnées ou des renseignements sur l’information.

Lignes directrices pour assurer l’intelligibilité des données

  • Consulter la politique de l’organisme en matière d’intelligibilité des données. Sinon, se référer à la Politique visant à informer les utilisateurs sur la qualité des données et la méthodologie ainsi qu’à la Directive sur la documentation des métadonnées statistiques en vigueur à Statistique Canada;
  • S’assurer que la base de métadonnées de l’organisme est à jour. Un gabarit permet de compléter ou de mettre à jour les enregistrements de la Base de métadonnées intégrée (BMDI) de Statistique Canada;
  • Permettre l’accès aux renseignements sur les utilisations des données et les objectifs auxquels elles sont censées satisfaire pour assurer la transparence;
  • S’assurer que des indicateurs de la qualité sont disponibles pour que les utilisateurs soient pleinement informés et puissent connaître les forces et les limites des données.

Indicateurs de la qualité de l’intelligibilité

  • Une copie des documents méthodologiques concernant les données est toujours à la disposition des utilisateurs;
  • Une base de métadonnées à jour est mise à la disposition des utilisateurs. Elle inclut des indicateurs de la qualité;
  • Un rapport d’évaluation du processus statistique est disponible à l’interne.

Cohérence et comparabilité

Définition, importance et objectifs

Par « cohérence et comparabilité des données statistiques », on entend la mesure dans laquelle celles-ci peuvent être jumelées et comparées à d’autres renseignements statistiques dans un vaste cadre analytique au fil du temps. L’utilisation de concepts, de classifications et de populations cibles types favorise la cohérence, tout comme l’utilisation de méthodes d’enquêtes communes. Par « cohérence », on n’entend pas nécessairement la concordance numérique parfaite.

Lignes directrices pour assurer la cohérence des données

  • Tenir à jour les concepts, les définitions, les nomenclatures et les méthodologies;
  • Tenir à jour un document des méthodologies et un canevas d’acquisition des données administratives et des données provenant des opérations de terrain;
  • Utiliser une base commune pour toutes les enquêtes de même type;
  • Utiliser des questions communément formulées;
  • Documenter les répercussions de l’introduction de nouvelles classifications et de nouveaux concepts sur les séries statistiques;
  • Se conformer aux normes établies. Sinon, documenter clairement les causes de leur non-utilisation et les répercussions sur la comparabilité et la cohérence du produit;
  • Préciser, au besoin, les différences entre les concepts et les méthodes utilisés à différentes périodes pour les mêmes variables;
  • Évaluer et documenter les effets dus aux différences entre les méthodes utilisées à des périodes différentes;
  • Mesurer les différences entre les pratiques locales, les pratiques régionales et les pratiques internationales, s’il y a lieu.

Indicateurs de la qualité de la cohérence

  • Conformité des concepts, des définitions et des classifications utilisés aux normes établies;
  • Souscription aux normes régionales et internationales en matière de méthodes statistiques;
  • En cas d’incohérence qui ne peut être expliquée entièrement par l’exactitude, présentation d’une description de cette incohérence.
 
Signaler un problème sur cette page

Quelque chose ne fonctionne pas? L'information n'est plus à jour? Vous ne trouvez pas ce que vous cherchez?

S'il vous plaît contactez-nous et nous informer comment nous pouvons vous aider.

Avis de confidentialité

Date de modification :