Rapports économiques et sociaux
Analyse d'impact quantitative : un aperçu pratique

Résumé

Le présent article porte sur des méthodes pratiques permettant d’évaluer les effets économiques des programmes publics mis en œuvre par les organismes fédéraux et les sociétés d’État. Il résume les étapes clés de la réalisation d’une analyse d’impact quantitative, notamment le couplage des données, la constitution de cohortes et l’utilisation d’estimateurs quasi causaux. L’article s’appuie sur les récentes conclusions d’une analyse d’impact réalisée par la Banque de développement du Canada, et il montre la manière dont ces outils permettent de recueillir des données probantes sur les résultats au niveau de l’entreprise. Enfin, l’article met en évidence des approches avancées d’inférence causale, comme l’estimateur de la différence des différences échelonné, qui pallient les limites des modèles traditionnels de différence des différences à effets fixes bidirectionnels et renforcent les évaluations futures des programmes.

Mots-clés : Différence des différences, études d’événements, analyse de survie, évaluation d’impact, analyse des politiques, rendement des entreprises, efficacité des programmes publics.

Remerciements

Les auteurs tiennent à remercier Ryan Macdonald, Marc Frenette, Amélie Lafrance-Cooke, Hassan Goreja, Meena Aier et Sylvie Ratté pour leurs précieux commentaires et suggestions.

Introduction

Les organismes fédéraux et les sociétés d’État offrent un large éventail de programmes destinés à soutenir les entreprises canadiennes, notamment au moyen de financement, de services-conseils, d’aide à l’exportation et d’interventions ciblées. À mesure que ces programmes se développent, la demande d’évaluations rigoureuses et transparentes s’accroît. Les décideurs politiques exigent de plus en plus de données probantes non seulement pour déterminer si les programmes sont efficaces, mais aussi pour comprendre de quelle manière, pour qui et dans quelles conditions ils génèrent des retombées économiques.

L’évaluation des programmes dans des conditions réelles constitue un défi de taille. En effet, les essais contrôlés randomisés sont rarement réalisables, les données administratives sont dispersées dans différents systèmes et la participation aux programmes est rarement aléatoire (Frenette, Chan et Handler, 2025). Les entreprises varient considérablement en termes de taille, d’âge, de secteur d’activité et de capacité de gestion. De plus, les chocs externes, comme la récession de 2008-2009 ou la pandémie de COVID-19, touchent les entreprises de manière inégale. Du fait de ces complexités, il est difficile de distinguer les impacts des programmes des forces économiques plus générales.

Statistique Canada a mis au point un cadre analytique solide pour relever ces défis. En couplant les données des bénéficiaires des programmes avec les vastes fonds de microdonnées de l’organisme, les chercheurs peuvent constituer des cohortes longitudinales d’entreprises ayant bénéficié de programmes et d’entreprises comparables n’y ayant pas eu accès. Ces données viennent étayer les méthodes quasi expérimentales, comme la méthode de la différence des différences, les études d’événements et l’analyse de survie, qui permettent d’estimer l’inférence causale dans des contextes non expérimentaux (Angrist et Pischke, 2009; Khandker, Koolwal et Samad, 2010).

Méthodes et données

L’approche méthodologique de l’analyse d’impact commence par le couplage des données relatives aux bénéficiaires des programmes avec celles du Registre des entreprises, qui fournit des renseignements de base sur les caractéristiques des entreprises, comme leur secteur d’activité, leur taille, leurs revenus et leur emplacement. Il est essentiel de disposer d’un couplage de grande qualité : les noms et les adresses ne suffisent pas à eux seuls à déterminer une entreprise de manière univoque, par conséquent, le numéro d’entreprise est l’identificateur privilégié. Une fois le couplage effectué, les données sont nettoyées afin d’éliminer les doublons, les identificateurs manquants et les correspondances de mauvaise qualité.

Les enregistrements couplés sont ensuite fusionnés avec ceux de la Base de données canadienne sur la dynamique employeurs-employés, un ensemble longitudinal de données complet qui comprend le Fichier de microdonnées longitudinales des comptes nationaux et la Base de données sur la diversité et les compétences. Ces ensembles de données fournissent des renseignements annuels sur le chiffre d’affaires, la masse salariale, l’emploi et les caractéristiques démographiques des propriétaires d’entreprise et des employés (Liu et Zhang, 2025). Cette intégration permet aux analystes de construire avec précision des indicateurs de traitement, des covariables et des variables de résultat, et d’examiner les résultats pour différents types d’entreprises et de propriétaires.

Étant donné que la participation aux programmes n’est pas aléatoire, les entreprises ayant bénéficié des programmes doivent être comparées à des entreprises similaires qui n’en ont pas bénéficié. L’appariement réduit les biais liés aux différences préexistantes et renforce la validité de l’inférence causale. Pour ce faire, des méthodes comme l’appariement des scores de propension, l’appariement au plus proche voisin et l’appariement par la méthode du noyau sont couramment utilisées (Stuart, 2010). Les études récentes sur les effets s’appuient de plus en plus sur l’appariement par la méthode du noyau, qui prend en compte toutes les entreprises n’ayant pas bénéficié des programmes et les pondère en fonction de leur similitude avec les entreprises qui en ont bénéficié. Cette approche permet de conserver la taille de l’échantillon et d’améliorer l’équilibre des covariables, mais elle nécessite une mise en œuvre minutieuse.

Une fois les cohortes appariées constituées, des estimateurs par la régression sont utilisés. Tout d’abord, la méthode de la différence des différences compare l’évolution des résultats des entreprises ayant bénéficié des programmes à celle des entreprises de contrôle appariées, en partant du principe que les deux groupes auraient suivi des tendances parallèles si elles n’avaient pas bénéficié de programmes. Deuxièmement, les études d’événements prolongent la méthode de la différence des différences en estimant les effets pour chaque période précédant et suivant le recours aux programmes, ce qui permet de mieux comprendre les dynamiques temporelles et de vérifier la plausibilité des tendances parallèles. Enfin, l’analyse de survie vient compléter ces méthodes en évaluant si les entreprises ayant bénéficié des programmes sont plus susceptibles de rester en activité au cours des années suivantes, ce qui offre ainsi une mesure claire de la résilience des entreprises.

Ensemble, ces étapes forment un cadre cohérent qui permet aux analystes de distinguer les effets des programmes des forces économiques générales et des caractéristiques propres aux entreprises, tout en tirant pleinement parti des données administratives couplées de Statistique Canada.

Exemple tiré d’une étude d’impact de la Banque de développement du Canada

L’article de recherche intégral, « Analyse d’impact quantitative appliquée : un examen des méthodes contemporaines d’évaluation des programmes destinés aux entreprises », illustre ce cadre à l’aide d’une évaluation de la Banque de développement du Canada (BDC), qui offre des services de financement et des services-conseils aux petites et moyennes entreprises. Cette analyse porte sur trois types de soutien, à savoir les prêts, les subventions et les services-conseils, et permet d’évaluer leurs effets sur la productivité du travail, l’emploi, le chiffre d’affaires et la survie des entreprises. L’exemple présenté dans cet article porte uniquement sur la méthode des études d’événements, en utilisant la productivité du travail comme indicateur du rendement des entreprises. Le graphique 1 ci-dessous présente la variation moyenne de la productivité du travail des entreprises ayant bénéficié des programmes par rapport au groupe témoin.

Tableau de données du graphique 1

Tableau de données du graphique 1
Sommaire du tableau
Les données sont présentées selon Période (titres de rangée) et , calculées selon (figurant comme en-tête de colonne).

Période	Pourcentage
Source : Calculs des auteurs.
T-2	0
T-1	-2
T+0	0
T+1	22
T+2	32
T+3	42

Le graphique montre que les entreprises ayant bénéficié d’un produit de la BDC ont enregistré des effets positifs et statistiquement significatifs sur leur productivité du travail par rapport au groupe témoin. De plus, les résultats montrent que les effets continuent d’augmenter progressivement jusqu’à trois ans après la participation au programme (T+0). En ce qui concerne l’interprétation, les estimations sont exprimées en variations en pourcentage et fournissent des renseignements sur l’ampleur de la différence entre les effets observés chez les entreprises ayant bénéficié des programmes et ceux observés dans le groupe témoin. Par exemple, la productivité du travail des entreprises ayant bénéficié d’un service ou d’un produit de la BDC était en moyenne supérieure de 22 % à celle du groupe témoin apparié au cours de la période T+1. Notons que les estimations obtenues pendant la période précédant la participation au programme confirment l’hypothèse requise de tendances parallèles, puisque les différences n’étaient pas statistiquement significatives. Cette méthode permet donc d’obtenir des estimations cohérentes et fiables des effets moyens de la participation aux programmes sur les entreprises qui en ont bénéficié.

Conclusion et discussion

L’analyse quantitative des effets joue un rôle essentiel dans l’évaluation de l’efficacité des programmes publics destinés à soutenir les entreprises canadiennes. En couplant les données sur les bénéficiaires des programmes avec les vastes fonds de microdonnées de Statistique Canada et en appliquant des méthodes quasi expérimentales, les analystes peuvent produire des données probantes sur les effets des programmes sur le rendement des entreprises.

Le cadre présenté dans le présent article propose une approche pratique et évolutive pour évaluer un large éventail de programmes. L’étude de cas de la BDC démontre la manière dont ces méthodes révèlent des différences significatives dans les effets des programmes entre les services de financement et les services-conseils, et la façon dont les tendances dynamiques au fil du temps peuvent être cernées grâce à des études d’événements et à l’analyse de survie.

Cependant, les modèles de la différence des différences traditionnels à effets fixes bidirectionnels peuvent produire des estimations biaisées dans des contextes où l’adoption des programmes est échelonnée. Des estimateurs plus récents, comme l’approche de Callaway et Sant’Anna (2021), pallient ces limites en établissant des comparaisons propres à chaque cohorte qui évitent la pondération négative et la contamination par les unités déjà traitées. Ces avancées renforcent la crédibilité des évaluations futures et permettent des analyses plus nuancées des politiques.

Au moment où les gouvernements continuent d’investir dans des programmes qui façonnent le paysage économique, une analyse rigoureuse des effets demeurera essentielle. Les méthodes décrites dans le présent article offrent une base solide pour une prise de décision fondée sur des données probantes et contribuent à une culture plus large de la responsabilisation et de l’amélioration continue dans la prestation des programmes publics. Les lecteurs qui souhaitent consulter l’intégralité des résultats, les vérifications de la robustesse et les détails méthodologiques sont invités à consulter l’article de recherche complet.

Auteurs

Manassé Drabo, Landry Kuate et Michael Willox travaillent à la Division de l’analyse et de la modélisation économiques et sociales, Direction des études analytiques et de la modélisation de Statistique Canada.

Bibliographie

Angrist, J. D. et J.-S. Pischke. 2009. Mostly harmless econometrics: An empiricist’s companion. Princeton University Press.

Callaway, B. et P. H. C. Sant’Anna. 2021. « Difference-in-differences with multiple time periods ». Journal of Econometrics, vol. 225, n^o 2, p. 200 à 230.

Frenette, M., Chan, P. et T. Handler. 2025. Leveraging Statistics Canada data for impact analysis. Statistique Canada.

Khandker, S. R., Koolwal, G. B. et H. A. Samad. 2010. Handbook on impact evaluation: Quantitative methods and practices. Banque mondiale.

Liu, H., et X. Zhang. 2025. The Canadian Employer–Employee Dynamics Database : Structure and applications. Statistique Canada.

Stuart, E. A. 2010. « Matching methods for causal inference: A review and a look forward ». Statistical Science, vol. 25, n^o 1, p. 1 à 21.