Cadre de la statistique de l'énergie au Canada
Annexe A Cadre de la qualité pour la statistique canadienne de l’énergie Annexe A
Cadre de la qualité pour la statistique canadienne de l’énergie

L’utilité d’un cadre de la statistique de l’énergie est fortement influencée par la qualité des données qu’il renferme. Par conséquent, il est essentiel d’assurer un niveau élevé de qualité des données afin de fournir un cadre de la statistique de l’énergie qui répond aux besoins de ses utilisateurs et leur procure des renseignements de grande qualité qui appuient le travail analytique et la prise de décisions en matière de politiques.

Un cadre de la qualité pour la statistique de l’énergie décrit en quoi consiste un système idéal de la statistique énergétique, ou quelles sont les caractéristiques que doit posséder un système efficace de la statistique énergétique en ce qui touche la qualité des données. Le cadre de la qualité pour la statistique canadienne de l’énergie, présenté dans le présent rapport, est une adaptation au contexte canadien du document Quality Framework and Guidelines for OECD Statistical Activities de l’OCDE.

Qualité des données

Cadre d’assurance de la qualité des données

La plupart des pays et des organisations internationales ont formulé des définitions générales de la qualité des données en soulignant les divers aspects de la qualité et de la mesure de la qualité, et ces définitions ont été intégrées à des cadres d’assurance de la qualité. Un cadre d’assurance de la qualité devrait être utilisé pour orienter les efforts visant à renforcer et à maintenir des systèmes statistiques ainsi qu’à examiner et à évaluer les programmes de la statistique de l’énergie.

Assurer la qualité des données est le principal défi de tous les organismes statistiques. Les données sur l’énergie communiquées aux utilisateurs représentent le produit final d’un processus complexe comprenant plusieurs étapes : la collecte de données auprès de sources diverses, la vérification, l’imputation, l’estimation, la mise en forme et la diffusion. Pour garantir la qualité globale des données, il faut assurer la qualité à toutes les étapes du processus. Toutes les conditions institutionnelles et organisationnelles ont une incidence sur la qualité de la statistique de l’énergie. Ces éléments comprennent les suivants :

• le fondement juridique de la compilation des données;
• le caractère approprié du partage des données et de la coordination entre les organismes qui produisent des données;
• l’assurance du traitement confidentiel et de la sécurité des renseignements;
• la sensibilisation à l’importance de la qualité.

Aspects de la qualité

1. Pertinence

La pertinence des statistiques de l’énergie renvoie au degré d’adéquation des données sur l’énergie par rapport aux besoins des principaux utilisateurs au sein de l’administration publique, du monde des affaires et de la collectivité. Elle dépend à la fois du traitement des sujets requis et de l’utilisation de concepts appropriés. Pour déterminer la pertinence, il faut donc déterminer les groupes d’utilisateurs ainsi que leurs besoins en matière de données. Les organismes responsables doivent évaluer les différents besoins des utilisateurs actuels et éventuels afin de répondre aux besoins les plus importants des utilisateurs clés en matière de contenu, de couverture et d’actualité des données sur l’énergie, compte tenu des contraintes de ressources.

Diverses stratégies permettent d’assurer la pertinence des données sur l’énergie, dont le suivi des demandes provenant des utilisateurs et l’aptitude du programme de la statistique de l’énergie à y répondre; les sondages sur la satisfaction des utilisateurs; et les questions directes posées aux utilisateurs au sujet de leurs intérêts, de leurs besoins, de leurs priorités et de leurs opinions sur les lacunes et les insuffisances du programme de la statistique de l’énergie. Par ailleurs, comme les besoins évoluent au fil du temps, les programmes statistiques permanents doivent faire l’objet d’examens réguliers afin qu’on puisse en assurer la pertinence.

2. Exactitude

L’exactitude des statistiques de l’énergie renvoie à la mesure dans laquelle les données décrivent ou estiment correctement les quantités ou les caractéristiques que ces statistiques servent à mesurer. Elle comporte de nombreux aspects, et il n’existe aucune mesure globale unique de l’exactitude. En général, l’exactitude se caractérise en fonction de l’erreur dans les estimations statistiques et elle se divise en biais (erreur systématique) et en composantes de la variance (erreur aléatoire). Elle comprend toutefois la description de tout processus entrepris par des organismes responsables afin de réduire les erreurs de mesure. Dans le cas d’estimations fondées sur les données d’enquêtes par sondage, l’exactitude peut être mesurée au moyen d’indicateurs comme les taux de couverture, les erreurs d’échantillonnage, les erreurs dues à la non-réponse, les erreurs de réponse, les erreurs de traitement, les erreurs de mesure et les erreurs de modélisation. La surveillance périodique de la nature et de la portée des modifications aux statistiques de l’énergie est considérée comme une mesure de fiabilité. La gestion de l’exactitude nécessite une attention particulière pendant les étapes de la conception, de la mise en œuvre et de l’évaluation d’une enquête.

En ce qui concerne la conception, les mesures prises pour améliorer l’exactitude comprennent les suivantes : s’assurer que l’équipe du projet comprend des employés possédant l’expertise nécessaire en matière d’énergie, de méthodologie, d’opérations et de systèmes; assurer un soutien spécialisé pour l’élaboration de concepts et de définitions, le format du questionnaire, les bases de sondage, l’échantillonnage et l’estimation; s’assurer d’obtenir une réponse et traiter la non-réponse; désaisonnaliser; diffuser; et évaluer. Il faut aussi prendre en considération l’aptitude des répondants à répondre avec exactitude à des questions précises.

Les mécanismes de surveillance de la mise en œuvre sont intégrés aux processus d’enquête dès l’étape de la conception. Deux types de renseignements sont requis : premièrement, la surveillance et la correction, en temps réel, des problèmes qui surviennent pendant la mise en œuvre de l’enquête; deuxièmement, une évaluation pour déterminer si la mise en œuvre de l’enquête s’est déroulée comme prévu, si certains aspects ont posé un problème, et connaître les leçons qui ont été tirées d’un point de vue opérationnel.

L’évaluation de l’exactitude est également un aspect important à l’étape de la conception, étant donné que plusieurs des renseignements requis doivent être consignés au cours de l’enquête. L’exactitude présentant de nombreux aspects, il faut prendre des décisions quant aux indicateurs les plus importants pour chaque enquête particulière. De plus, étant donné que chaque enquête produit des milliers d’estimations différentes, il faut utiliser soit une méthode générique pour indiquer l’exactitude d’un grand nombre d’estimations, soit limiter les indicateurs à certaines estimations clés.

De nombreux problèmes de conception étant hautement techniques, il est crucial qu’un examen indépendant soit effectué. Il pourrait s’agir du renvoi des problèmes techniques à des comités consultatifs internes, de la consultation d’autres organismes statistiques, de la participation à des groupes de travail d’organisations internationales, de la présentation de problèmes techniques et des solutions proposées lors de réunions professionnelles, etc.

3. Crédibilité

La crédibilité ou l’intégrité des statistiques de l’énergie renvoie à la confiance que leur accordent les utilisateurs en fonction de la réputation de l’organisme responsable de la production des données. Un des aspects de la crédibilité est la confiance en l’objectivité des données, ce qui sous-entend que les données sont considérées comme étant produites de façon professionnelle, conformément aux normes statistiques acceptées, et que les politiques et les pratiques sont transparentes. Les données ne devraient pas être manipulées, retenues ou retardées et leur diffusion ne devrait pas être influencée par des considérations d’ordre politique. Les données doivent demeurer confidentielles et sécurisées. Les décisions entourant la priorisation des besoins en matière de statistiques doivent faire preuve de transparence.

4. Actualité

L’actualité de l’information renvoie au temps écoulé entre la fin de la période de référence, à laquelle l’information se rapporte, et sa disponibilité pour les utilisateurs. Les objectifs en matière d’actualité découlent de considérations relatives à la pertinence, particulièrement à la période pendant laquelle l’information conserve son utilité en fonction de ses buts principaux. Cette période est fonction du taux de variation du phénomène mesuré, de la fréquence d’évaluation et de la rapidité avec laquelle les utilisateurs réagissent aux données les plus récentes. Il faut également prendre en considération le fardeau des répondants.

Les décisions liées à l’actualité se prennent au moment de la conception et entraînent souvent un compromis entre actualité, exactitude et coût. Améliorer l’actualité ne constitue donc pas un objectif inconditionnel. L’actualité est plutôt une caractéristique importante qui fait l’objet d’un suivi au fil du temps et permet de prévenir la détérioration. De plus, il est probable que les attentes en matière d’actualité deviennent plus élevées, étant donné que les utilisateurs s’habituent à l’instantanéité de la prestation de services de tous genres à cause de l’énorme influence de la technologie.

L’actualité est mesurée par le temps écoulé entre la date de diffusion prévue et la date de diffusion réelle, ou par la mesure dans laquelle le programme respecte ses dates d’échéance. Les mécanismes de gestion de l’actualité des données comprennent l’annonce de dates de diffusion bien à l’avance, la publication d’estimations provisoires, le respect des calendriers de diffusion et l’utilisation optimale des nouvelles technologies.

5. Accessibilité

L’accessibilité de l’information renvoie à la facilité avec laquelle les utilisateurs peuvent apprendre son existence, la trouver et l’importer dans leur propre environnement de travail. L’accessibilité comprend également la pertinence de la forme ou du support sur lesquels l’information est disponible ainsi que le coût de cette information. La disponibilité des métadonnées et l’existence de services de soutien aux utilisateurs sont également des aspects de l’accessibilité. L’accessibilité nécessite l’adoption d’un calendrier de publications préalables permettant aux utilisateurs de connaître bien à l’avance à quel moment et où les données seront accessibles ainsi que la façon d’y accéder.

6. Intelligibilité

L’intelligibilité des produits de données renvoie à la facilité avec laquelle l’utilisateur peut comprendre, utiliser de façon appropriée et analyser les données. Le degré d’intelligibilité est déterminé par la pertinence des définitions, des concepts, des populations cibles, des variables et de la terminologie, qui sous-tendent les données, et les renseignements décrivant les limites des données, s’il y a lieu.

L’éventail d’utilisateurs différents mène à des considérations comme la présentation de métadonnées selon un niveau de détail croissant. Les métadonnées liées aux définitions et aux procédures améliorent l’intelligibilité, si bien que la cohérence de ces métadonnées est un des aspects de l’intelligibilité.

7. Cohérence

La cohérence des statistiques de l’énergie renvoie à la mesure dans laquelle les données sont reliées logiquement et sont cohérentes les unes avec les autres, ou à la mesure dans laquelle les données peuvent être réunies avec d’autres données statistiques dans un vaste cadre analytique et au fil du temps. L’utilisation de concepts, de définitions et de classifications normalisées, ainsi que de populations cibles, favorise la cohérence, tout comme le recours à une méthodologie commune pour diverses enquêtes. La cohérence comporte quatre aspects secondaires :

• La cohérence à l’intérieur d’un ensemble de données. Cela signifie que les éléments de données élémentaires se fondent sur des concepts, des définitions et des classifications compatibles qui peuvent être combinés de façon significative. En ce qui concerne la statistique de l’énergie, cet aspect secondaire régit le besoin de compiler tous les éléments de données conformément aux bases méthodologiques des recommandations internationales sur la statistique de l’énergie. On peut utiliser des méthodes et des processus automatisés, comme des outils de codage, pour cerner les problèmes et promouvoir l’uniformité.
• La cohérence entre les ensembles de données. La cohérence entre les statistiques de l’énergie et d’autres statistiques (économiques, environnementales, etc.) sera assurée si tous les ensembles de données reposent sur un fondement commun en ce qui a trait aux concepts, aux définitions, aux principes d’évaluation, aux classifications, aux méthodologies, aux modalités, aux registres d’entreprises, aux bases de sondages, etc., et si toutes les différences sont expliquées et peuvent être tolérées.
• Cohérence au fil du temps. Les données se fondent sur des méthodes, des définitions et des concepts communs au fil du temps et elles sont compilées conformément aux recommandations internationales sur la statistique de l’énergie. Si tel n’est pas le cas, il est préférable que les pays indiquent clairement les écarts par rapport à ces recommandations. Dans une optique de cohérence au fil du temps, il faut que les concepts, les méthodes, etc. changent le moins possible.
• Cohérence entre les pays. Les données se fondent sur des concepts, des définitions, des classifications et des méthodes qui ne changent pas en fonction du pays. Cette cohérence peut s’obtenir par l’adoption des recommandations internationales sur la statistique de l’énergie, au moyen d’une collaboration multilatérale.

8. Rentabilité

La rentabilité d’un produit correspond à la mesure des coûts et du fardeau du répondant par rapport au résultat obtenu. Le fardeau du répondant est un coût assumé par le fournisseur de données, mais il reste un coût. Même si la rentabilité n’est pas considérée comme un aspect de la qualité, il s’agit d’un facteur qu’il faut prendre en compte dans l’analyse de la qualité parce qu’il influence tous les aspects de la qualité. S’il est possible d’obtenir un produit de manière plus rentable avec la même qualité, les ressources libérées peuvent alors être utilisées pour améliorer la qualité de ce produit ou d’autres produits. Il faut s’efforcer de réduire et de gérer le fardeau du répondant tout en assurant la déclaration de données exhaustives et de bonne qualité.

Compromis entre les aspects de la qualité

Les aspects de la qualité décrits ci-dessus se chevauchent et sont interdépendants, si bien que leur relation s’avère complexe. Les mesures prises pour s’occuper d’un aspect de la qualité ou le modifier peuvent donc avoir un effet sur d’autres aspects. Un exemple typique de cette situation est le compromis entre l’exactitude et l’actualité en matière de collecte de données. Il est recommandé que les organismes statistiques ne soient pas tenus de satisfaire à la fois aux exigences d’exactitude et aux exigences liées à l’actualité. Une solution possible qui est souvent utilisée consiste à produire une estimation provisoire, accessible plus tôt, mais fondée sur des données moins exhaustives, afin de répondre aux exigences d’actualité. Plus tard, ces estimations seraient complétées par l’ajout d’information tirée de données plus exhaustives, mais qui serait moins d’actualité que la version provisoire.

Parfois, d’autres situations conflictuelles apparaissent ou d’autres compromis doivent être faits, ce qui nécessite la prise de décisions difficiles. En veillant à l’efficience ou à la rentabilité du programme statistique, on peut nuire à sa pertinence, la souplesse du programme en ce qui concerne la résolution de lacunes et de faiblesses importantes étant réduite. Des compromis doivent également être trouvés entre la pertinence et l’actualité, la pertinence et la cohérence, etc. Un examen complet de toutes les priorités et de tous les facteurs pertinents sera nécessaire afin que soient prises les décisions qui s’imposent pour ce genre de compromis.

Autres éléments de la qualité

Certains aspects de la qualité, étroitement liés à l’environnement externe dans lequel les organismes statistiques fonctionnent, sont plus dynamiques et sont susceptibles d’être modifiés à mesure de l’évolution de cet environnement. L’organisme statistique doit donc posséder la capacité, la souplesse, les connaissances et l’expertise lui permettant de réagir en conséquence. Ces aspects comprennent la non-réponse, la couverture et l’échantillonnage.

1. Gestion de la non-réponse

Un des principaux obstacles au maintien de la qualité est la difficulté d’obtenir des taux de réponse adéquats. Pour pouvoir maintenir la collaboration avec les fournisseurs de données, les organismes statistiques doivent répondre à leurs besoins et réagir à leurs problèmes, comme la croissance du fardeau de réponse, les préoccupations au sujet de la confidentialité et de la sécurité des données, la disponibilité d’autres options de déclaration des données, etc. À long terme, la baisse des taux de réponse et la hausse des coûts des méthodes classiques de collecte des données exigeront que nous élaborions des méthodes de collecte de données et de suivi plus rentables, comme la déclaration électronique et une plus grande utilisation des sources de données administratives et des métadonnées opérationnelles (paradonnées) afin d’améliorer les bases de sondage, d’appuyer l’imputation ou de procéder à un ajustement pour la non-réponse au niveau agrégé.

2. Couverture

La couverture est déterminée par la qualité des bases de sondage. L’utilisation de sources de données administratives pour établir les bases de sondage peut mettre les enquêtes en péril si les programmes administratifs étaient annulés ou modifiés, ou s’ils ne respectaient pas les normes de classification. Des entreprises, en effet, se créent et disparaissent constamment, fusionnent et se morcellent, entrent dans des industries et en sortent, ajoutent des produits et services à leur gamme existante et en éliminent. Ces changements prennent souvent un certain temps avant d’apparaître dans les données administratives. L’organisme doit donc être prêt à compléter les données administratives en investissant dans ses propres mécanismes de mise à jour.

3. Échantillonnage

Avec le temps, un plan d’enquête peut se détériorer en ce sens que les données utilisées pour stratifier et sélectionner les unités deviennent désuètes et l’échantillonnage, moins efficace. De plus, une demande peut apparaître pour des données sur des sous-populations particulières, alors que l’échantillon n’a pas été conçu pour y répondre. Les enquêtes permanentes nécessitent donc un remaniement périodique.

Les remaniements des enquêtes-entreprises sont plus fréquents que les autres, pour permettre de suivre le rythme des changements dans l’univers des entreprises. Le remaniement de l’échantillon est une occasion d’employer de nouvelles techniques, par exemple les bases de sondage multiples et l’échantillonnage adaptable, ainsi que de répartir de façon plus égale le fardeau du répondant. Le financement de ces remaniements pourrait poser problème, puisque ceux-ci comprennent souvent le projet de remaniement lui-même ainsi qu’une exécution en parallèle de l’ancien échantillon et du nouvel échantillon visant à s’assurer que le remaniement n’entraîne pas de rupture dans les séries statistiques. Il faudrait penser à effectuer des comparaisons intertemporelles entre les anciennes et les nouvelles données quand une enquête est remaniée.