Rapports économiques et sociaux
Exploitation des possibilités d’intégration des données de Statistique Canada pour l’évaluation de programmes

Comment Statistique Canada peut-il contribuer à l'évaluation des programmes?

Les programmes gouvernementaux sont conçus pour aider les particuliers, les familles, les collectivités et les entreprises au moyen de subventions, de prêts, de formations professionnelles, de services d’information ou de consultation, etc. Il en coûte souvent des millions de dollars pour mettre sur pied et administrer ces programmes et, dans certains cas, des milliards de dollars. Pour comprendre la valeur d’un programme, il est essentiel d’en déterminer les répercussions sur les bénéficiaires (c.à.d. les avantages l’emportent-ils sur les coûts?). Cette information peut ensuite être utilisée pour justifier l’élaboration, la poursuite ou l’arrêt du programme.

Les programmes proposés font parfois l’objet d’un projet pilote, réalisé à petite échelle et dans un cadre expérimental (par exemple Ford et al. 2012). Les personnes sélectionnées qui acceptent de participer au projet pilote sont réparties aléatoirement entre un groupe du programme (à qui le programme est offert) et un groupe témoin (à qui le programme n’est pas offert). Les résultats des deux groupes font ensuite l’objet d’un suivi au fil du temps. Les différences dans les résultats, entre les deux groupes, peuvent être utilisées par les chercheurs pour estimer l’incidence du programme, c’est-à-dire ses répercussions sur la vie des personnes qui y ont participé^Note  . La répartition aléatoire garantit plus ou moins que les différences relevées peuvent être attribuées à la participation au programme, et non à des différences existantes dans les caractéristiques des personnes qui y ont participé ou non.

Bien que cette approche soit attrayante d’un point de vue scientifique, les projets pilotes peuvent être très coûteux et peuvent s’étendre sur plusieurs années, voire des décennies. Dans de nombreux cas, les responsables de l’élaboration de politiques peuvent souhaiter traiter d’enjeux actuels en mettant en œuvre l’intégralité du programme le plus rapidement possible. Par conséquent, dans la plupart des cas, les programmes sont évalués après leur mise en œuvre (ex post) plutôt qu’avant (ex ante).

L’évaluation des programmes après leur mise en œuvre peut être très difficile. Les entités responsables d’un programme recueillent souvent des renseignements sur les bénéficiaires, comme des renseignements démographiques et socioéconomiques, des détails sur les services ou l’aide financière obtenus, et les résultats découlant de leur participation au programme. Tous ces renseignements sont essentiels, car ils répondent aux objectifs habituels des programmes gouvernementaux, qui sont souvent conçus pour être utilisés par des groupes de population ou des entreprises en particulier, qui sont censés en tirer profit. Malheureusement, les données sur les participants à un programme donné ne suffisent pas, à elles seules, à effectuer une évaluation rigoureuse du programme car il est habituellement impossible d’établir des comparaisons avec des personnes ou des entreprises qui n’y ont pas participé. Comment les décideurs peuvent-ils savoir si un programme a amélioré la vie de ses participants lorsque les résultats des non-participants (par ailleurs similaires) ne sont pas connus? De même, il peut être difficile de déterminer si le programme a été bien ciblé en l’absence de renseignements sur les non-participants. Un autre enjeu concerne le suivi des participants : de nombreux programmes peuvent bénéficier aux participants plusieurs années après leur mise en œuvre, mais la mesure de leurs résultats sur plusieurs années exige souvent des enquêtes de suivi, qui peuvent faire l’objet de taux de réponse faibles et de taux d’attrition élevés. Ces deux facteurs limitent la crédibilité de l’instrument d’enquête et de l’évaluation du programme dans son ensemble. Enfin, il est également utile de suivre les résultats des participants et des non-participants avant la mise en œuvre du programme, car cela fournit un point de référence pour comparer avec les tendances post-programme.

En s’appuyant sur un ensemble exhaustif de données et de services analytiques centrés sur l’utilisateur, Statistique Canada peut aider les ministères et organismes à évaluer leurs programmes. L’intégration des données consiste à combiner de multiples sources de données administratives et d’enquête au moyen du couplage d’enregistrements de microdonnées (p. ex. appariement de personne à personne ou d’entreprise à entreprise entre les ensembles de données). Cette approche fournit un ensemble de renseignements plus complet que les données du programme à elles seules et permet ainsi une évaluation du programme plus rigoureuse. Les données intégrées peuvent comprendre les personnes qui ont participé à un programme (sélectionnées à partir du fichier de données du programme) et celles qui n’y ont pas participé (sélectionnées à partir des fichiers de données plus généraux de Statistique Canada, dans lesquels figurent les participants et les non-participants). De plus, les participants et les non-participants peuvent être suivis sur plusieurs années avec très peu d’attrition, puisque de nombreux fichiers de données de Statistique Canada, en particulier les fichiers de données administratives longitudinales, sont disponibles chaque année avec des taux de couverture complets. Par conséquent, il pourrait être possible de comparer les résultats des participants au programme avec ceux des non-participants pendant de nombreuses années avant ou après leur participation.

Le couplage des microdonnées est effectué conformément à la Directive sur le couplage des microdonnées de Statistique Canada, en vigueur depuis 1986.^Note  Dans le cadre de sa gouvernance des couplages de microdonnées, Statistique Canada a préapprouvé des types précis de couplages. Les liens impliqués sont ceux où les risques pour la confidentialité et les situations de conflit d’intérêts potentiel sont faibles et où des procédures visant à atténuer les risques pour la confidentialité et la vie privée sont en place. Tous les autres liens de microdonnées doivent être soumis à un processus d’examen et d’approbation prescrit, qui implique la soumission de propositions documentées à la haute direction. Après avoir reçu l'approbation de liaison, les données sources seront traitées plus loin pour supprimer tous les renseignements personnels, commerciaux et autres renseignements identifiables. Les données liées résultantes ne peuvent pas être utilisées pour prendre des décisions concernant un individu spécifique.^Note 

Données et analyses de Statistique Canada en action

Le programme Emplois d’été Canada (EEC) (BVG, 2024)^{Note Note Note}  constitue un exemple récent de cette approche. Ce programme s’inscrit dans la Stratégie emploi et compétences jeunesse qui s’adresse aux jeunes âgés de 15 à 30 ans. Il vise à offrir des expériences de travail de grande qualité aux jeunes, à répondre aux priorités nationales et locales visant à améliorer l’accès au marché du travail pour les jeunes qui doivent composer avec des obstacles particuliers et à offrir aux jeunes des possibilités de perfectionner leurs compétences et d’en acquérir de nouvelles.

Les données du programme EEC ont été intégrées à divers fichiers de données de Statistique Canada, notamment le Recensement de la population de 2016, plusieurs années du Système d’information sur les étudiants postsecondaires et le Fichier de données longitudinales sur la main-d’œuvre. L’ajout de ces fichiers aux données du programme a été essentiel au succès de l’évaluation, puisqu’il a permis la création d’un groupe témoin composé de personnes présentant des caractéristiques semblables, mais n’ayant pas participé au programme. Il a également été possible de mesurer divers résultats du programme et de suivre les participants et les non-participants sur de nombreuses années (avec très peu d’attrition de l’échantillon) à l’aide de données administratives longitudinales hébergées à Statistique Canada^Note  .

L’analyse de ces fichiers a fait émerger deux constatations principales. Premièrement, les participants au programme EEC ont généralement obtenu des résultats sur le marché du travail plus favorables que les non-participants. En effet, le revenu médian des participants au programme était supérieur à celui du groupe témoin des non-participants, neuf ans après la participation au programme. Cependant, il a également été constaté que le programme EEC ne parvenait pas toujours à toucher les jeunes les plus vulnérables. Par rapport aux non-participants, les participants au programme EEC étaient par exemple moins susceptibles de déclarer avoir une incapacité et plus susceptibles de déclarer être blancs. De plus, les participants au programme étaient tout aussi susceptibles que les non-participants de déclarer une identité autochtone.

Facteurs clés du succès

L’intégration des données entre les fichiers du programme et les fichiers de données de Statistique Canada a été essentielle au succès de l’évaluation du programme EEC. Cependant, la question suivante se pose : quels facteurs permettent une évaluation réussie du programme en tirant parti de l'intégration des données? Les étapes séquentielles suivantes peuvent être utiles^Note  :

• Déterminer les questions auxquelles il faut répondre
  • Cela guidera les besoins de collecte et de liaison des données.
• Déterminer les données et les exigences méthodologiques
  • L’objectif ultime devrait être d’identifier les données (à la fois du programme et des données supplémentaires de Statistique Canada) et les méthodes permettant une évaluation solide du programme sur les principaux groupes cibles et sous-groupes d’individus. Il est aussi important de comprendre qui participe au programme.
  • L’expertise en la matière de Statistique Canada sera en mesure de fournir davantage de renseignements liés au domaine d’étude et aux besoins en données pour l’équipe chargée du programme.
  • Il est particulièrement important de discuter avec Statistique Canada avant de recueillir les données de programme, car le couplage des données n’est possible qu’avec des clés de couplage de haute qualité (identifiants individuels).
• Élaborer un plan d’évaluation des données
  • Cette étape peut prendre beaucoup de temps pour les discussions et les approbations. Statistique Canada fonctionne selon le principe du recouvrement des coûts. Par conséquent, les programmes devront également prévoir un budget pour le couplage et les activités connexes, qui peuvent inclure l’établissement des coûts, l’élaboration du contrat, l’acquisition de données, l’approbation du couplage d’enregistrements, la création de clés de couplage anonymisées, la mise en œuvre du couplage d’enregistrements et la validation des données couplées, la dérivation de règles de contrôle par les services méthodologiques et les modalités d’accès aux données (si les analystes du secteur de programme souhaitent utiliser directement les microdonnées) ou l’analyse (si le secteur de programme préfère que Statistique Canada génère des tableaux personnalisés, effectue des analyses plus complexes ou même rédige un rapport). Pour commencer, contactez Statistique Canada dès le début du processus.
• Identifier et relever les défis
  • Les programmes doivent faire le point sur les obstacles auxquels ils sont confrontés dans la mise en œuvre d’une initiative de données fondée sur le couplage, notamment les ententes de partenariat ou les limites des technologies de l’information. Des plans devraient être élaborés pour remédier aux obstacles identifiés.
  • Les défis pourraient avoir une incidence sur le plan d’évaluation et une discussion avec Statistique Canada peut mettre en lumière des stratégies ou des options alternatives que les équipes de programme peuvent mettre en place pour résoudre les problèmes ou les limites.
• Collecter et partager les données avec Statistique Canada
  • Coordonner avec Statistique Canada la livraison des fichiers de données. Ces fichiers doivent contenir seulement les renseignements pertinents requis pour le lien.
  • Tel que mentionné précédemment, il existe un processus d’acquisition de données à Statistique Canada qui devrait être pris en compte dans les échéanciers. La durée de ce processus peut dépendre du nombre de fichiers et du niveau de sensibilité des données.
• Travailler avec Statistique Canada pour produire l’analyse
  • Statistique Canada possède une expérience considérable dans le travail avec des fichiers de microdonnées couplés et dans la réalisation d’analyses complexes pour appuyer l’évaluation des programmes.
  • Les programmes qui souhaitent accéder aux microdonnées pour effectuer l’analyse peuvent tirer parti de diverses ententes d’accès aux données avec Statistique Canada. Ces dispositions sont peut-être déjà en place avec le ministère parrain. Les membres de l’équipe du programme devront être considérés comme ayant le statut d’employé de Statistique Canada afin de pouvoir travailler directement avec les données.

Auteurs

Marc Frenette, Winnie Chan et Tomasz Handler travaillent à la Division de l’analyse sociale et de la modélisation de la Direction des études analytiques et de la modélisation (DEAM) à Statistique Canada. La DEAM est responsable de soutenir un éventail d’environnements de couplage de données (c’est-à-dire la Base de données canadienne sur la dynamique employeurs-employés) et de l’utilisation des fichiers de données couplées existants comme le Fichier de données longitudinales sur la main-d’œuvre, la base de données sur la mobilité intergénérationnelle du revenu (BDMIR) et la BDMIR-Recensement à l’appui des activités d’analyse pour l’élaboration et l’évaluation de programmes. La DEAM fournit des conseils d’expert aux ministères chargés de l’établissement de politiques sur l’élaboration de plans de données et d’analyse à l’appui de la création et de l’évaluation de programmes, ainsi qu’une formation sur les méthodes d’évaluation quantitative. La Direction est aussi responsable de donner accès aux microdonnées aux ministères qui souhaitent mener des analyses.

Bibliographie

Bureau du vérificateur général (BVG). 2024. Emplois d’été Canada – Emploi et Développement social Canada. 2024 – Rapports 8 à 12 de la vérificatrice générale du Canada au Parlement du Canada, https://www.oag-bvg.gc.ca/internet/Francais/parl_oag_202412_12_f_44595.html.

Ford, R., Frenette, M., Nicholson, C., Kwakye, I., Hui, T.S., Hutchison, J., Dobrer, S., Smith Fowler, H., Hébert, S. 2012. Un avenir à découvrir (UAD) – Rapport des impacts du projet pilote sur les études postsecondaires. La Société de recherche sociale appliquée. https://www.srdc.org/fr/project/un-avenir-a-decouvrir-uad-rapport-des-impacts-du-projet-pilote-sur-les-etudes-postsecondaires/.

Emploi et Développement social Canada (EDSC). 2024. Emplois d’été Canada 2024 : Offrir aux jeunes une expérience de travail de qualité (Guide du demandeur), Emploi et Développement social Canada, https://publications.gc.ca/collections/collection_2024/servcan/SG2-10-2024-fra.pdf.

SCT [Secrétariat du Conseil du Trésor du Canada]. 2025. Couplage de données aux fins de surveillance des programmes, d’évaluation et de production de rapports. Secrétariat du Conseil du Trésor du Canada. https://www.tbs-sct.canada.ca/pol/doc-fra.aspx?id=32808.