Projections démographiques pour le Canada (2018 à 2068), les provinces et les territoires (2018 à 2043) : rapport technique sur la méthodologie et les hypothèses
Chapitre 2 : Enquête auprès d’experts sur les tendances démographiques futures de 2018
Consulter la version la plus récente.
Information archivée dans le Web
L’information dont il est indiqué qu’elle est archivée est fournie à des fins de référence, de recherche ou de tenue de documents. Elle n’est pas assujettie aux normes Web du gouvernement du Canada et elle n’a pas été modifiée ou mise à jour depuis son archivage. Pour obtenir cette information dans un autre format, veuillez communiquer avec nous.
par Patrice Dion, Nora Galbraith et Elham Sirag
Passer au texte
Début du texte
Introduction
Le processus menant à l’élaboration de l’édition précédente des projections démographiques (2013-2063) de Statistique Canada comprenait une consultation officielle auprès de démographes canadiens afin d’obtenir leurs opinions au sujet des tendances démographiques futures (Bohnert, 2015). Même si Statistique Canada avait déjà mené des consultations externes sur les hypothèses et les méthodes de projection, ce processus de consultation plus officiel et rigoureux avait été introduit dans le but d’améliorer la plausibilité et la crédibilité des hypothèses de projection.
L’approche adoptée s’inspirait largement des techniques utilisées par un certain nombre d’organismes statistiques, principalement le British Office for National Statistics (Shaw, 2008). Un questionnaire avait été distribué aux experts dans lequel il leur était demandé de fournir une fourchette plausible d’estimations quantitatives décrivant l’évolution future des indicateurs de la fécondité, de la mortalité et de la migration selon un niveau de confiance précis, ainsi que des justifications qualitatives pour ces estimations numériques.
Cette première expérience d’une enquête auprès de démographes canadiens s’est révélée un exercice très fructueux pour le Programme de projections démographiques de Statistique Canada. Les estimations quantitatives reçues dans le cadre de l’enquête ont été utilisées pour étoffer le processus d’élaboration des hypothèses. Les nombreuses observations, suggestions méthodologiques et autres données probantes fournies par des experts dans les sections « commentaires » de l’enquête ont été tout aussi utiles. Compte tenu des avantages attribués au processus pour la crédibilité des projections, il a été déterminé que la sollicitation officielle d’experts devrait se poursuivre dans les prochaines éditions des projections démographiques.
Pour la présente édition des projections, les objectifs de l’exercice de sollicitation d’experts ont été élargis. Avant tout, nous voulions utiliser l’exercice de sollicitation pour améliorer la façon dont nous caractérisons l’incertitude dans les projections. Plus précisément, nous avons cherché à obtenir des experts des distributions probabilistes complètes concernant les valeurs futures de certains indicateurs démographiques. Comme solliciter des renseignements probabilistes auprès de répondants est une entreprise complexe, nous avons examiné plus en détail la science de la sollicitation d’experts, un vaste domaine en soi. Les principales conclusions de cet examen sont décrites ci-dessous, suivies d’une description du nouveau protocole de sollicitation conçu pour la série actuelle de projections démographiques.
Qu’est-ce que la sollicitation d’experts et pourquoi y avoir recours?
La sollicitation officielle d’experts peut être considérée comme une approche structurée pour consulter des experts sur un sujet pour lequel les connaissances sont insuffisantes ou l’incertitude est grande (Knol et coll., 2010). C’est une façon de regrouper et de synthétiser le savoir et la sagesse des experts. Dans le contexte de la modélisation d’événements incertains, la sollicitation peut servir à traduire l’avis d’une personne au sujet de ces événements incertains en éléments utiles à des fins de modélisation (Gosling, 2014).
Solliciter l’avis d’experts est souvent la seule option viable lorsqu’une décision doit être prise en l’absence de données empiriques ou lorsque les données requises sont limitées, peu fiables ou coûteuses à produire (James et coll., 2010; Runge et coll., 2011). Toutefois, il ne faut pas percevoir la sollicitation d’experts comme un simple « dernier recours », car elle offre plusieurs avantages. Lorsqu’elle est bien structurée et documentée, la sollicitation d’experts assure une plus grande transparence dans le traitement des incertitudes par rapport aux autres techniques statistiques conventionnelles (Knol et coll., 2010). Elle est aussi relativement rapide et peu coûteuse (Knol et coll., 2010; Gosling, 2014). De plus, il est parfois préférable de recourir à la sollicitation d’experts plutôt qu’à d’autres méthodes, comme l’extrapolation de séries chronologiques, si l’on veut tenir compte de facteurs n’ayant pas été observés précédemment. Cette possibilité est particulièrement intéressante pour la projection de phénomènes démographiques, qui affichent souvent des tendances historiques ambiguës (dans le cas de la fécondité) et qui sont grandement influencées par des développements sociaux, politiques ou économiques très difficiles à prédire en se basant uniquement sur des tendances historiques (dans le cas de l’immigration) (Lutz et coll., 1998).
La production de projections démographiques, déterministes ou probabilistes, oblige inévitablement à faire de nombreux jugements subjectifs. Par conséquent, l’« avis d’experts » est toujours utilisé dans l’élaboration des projections démographiques. L’élaboration d’hypothèses de projection est souvent le fruit du travail d’une petite équipe de personnes qui examine les tendances historiques et récentes et discute des enjeux émergents. Dans ce contexte, il est possible que cette approche soit minée par une certaine convergence des idées parmi les membres du groupe. La participation de nombreux experts œuvrant à différents niveaux dans le vaste domaine de la démographie permet alors d’accroître la rigueur et la transparence du processus d’élaboration des hypothèses de projection. Nous croyons que la sollicitation officielle d’experts améliore la crédibilité des hypothèses de projection qui en découlent.
Bien qu’elle offre de nombreux avantages, la pratique consistant à solliciter l’avis d’experts présente aussi de nombreux défis. Ces derniers sont principalement liés au fait que les capacités humaines en matière d’estimation sont limitées, et font souvent appel à des dispositifs heuristiques pouvant créer des biais et ainsi influer à la fois sur la fiabilité et la validité des estimations (Tversky and Kahneman, 1974; Morgan et Henrion, 1990; Hoffman et coll., 1995; Kynn, 2008; Lutz et coll., 1998; Martin et coll., 2011). Les principaux types de biais qui peuvent nuire à la sollicitation d’experts sont le biais d’ancrage (les estimations sont rattachées à un point de départ ou de référence naturel et, par conséquent, ne varient pas beaucoup par rapport à celui-ci) et le biais de disponibilité (la probabilité estimée d’un événement est fondée sur la familiarité ou la disponibilité cognitive plutôt que sur une fréquence objective). Beaucoup d’autres facteurs peuvent avoir une incidence sur les exercices de sollicitation, y compris une mauvaise interprétation de la part du répondant et des phénomènes éphémères comme l’humeur ou le degré de fatigue du répondant au moment de la sollicitation (Grigore et coll., 2017; Knol et coll., 2010; Runge et coll., 2011). Les biais motivationnels, comme le désir de maintenir ou d’améliorer son image publique en faisant preuve d’une grande assurance, peuvent également se manifester chez les personnes considérées comme des experts de premier plan dans leur domaine (Runge et coll., 2011).
En outre, il a été constaté que les humains, qu’ils soient experts ou non, ont de la difficulté à estimer des probabilités ou à construire des distributions probabilistes, une tâche souvent demandée aux experts sollicités (Morgan et Henrion, 1990; Lee, 1998; Kynn, 2008; Garthwaite et coll., 2005). Lutz et coll. (1998) et Lee (1998) se demandent s’il est raisonnable d’attendre des experts qu’ils soient en mesure de faire la distinction entre, par exemple, les valeurs qui marquent le 85e centile et le 95e centile, comme ils sont souvent appelés à le faire dans les exercices de sollicitation, tout en soulignant que de telles estimations sont susceptibles de créer un faux sentiment de précision. Les experts ont également tendance à être trop confiants dans leurs avis, quelle que soit la technique de sollicitation, ce qui peut entraîner une sous-estimation systématique de l’incertitude (Martin et coll., 2011; Burgman et coll., 2006; Speirs-Bridge et coll., 2010; Goldstein et Rothschild, 2014).
En somme, la sollicitation d’experts pose certains défis. Les avis d’experts peuvent être biaisés, peu fiables, mal calibrés ou mal formulés. Par conséquent, il ne faut pas considérer la sollicitation d’experts comme une science exacte (Gosling, 2014). Néanmoins, l’élaboration de projections exige une certaine forme d’avis d’experts, que ce soit dans le choix de la méthode ou des hypothèses de projection. La sollicitation d’experts, lorsqu’utilisée en connaissance de ces limites, permet d’enrichir les hypothèses de projection, notamment en ce qui a trait à leur incertitude, et de formaliser explicitement la contribution des experts dans le processus menant à leur création.
Nouveau contexte, nouveaux objectifs pour notre protocole de sollicitation
La conception d’un protocole de sollicitation exige un certain équilibre. D’une part, nous désirons offrir une expérience de sollicitation agréable et relativement facile aux répondants; d’autre part, nous voulons nous assurer de saisir le plus précisément possible leurs opinions (Sperber et coll., 2013). Comme nous l’avons vu précédemment, plusieurs recherches ont été menées sur les défis associés à la sollicitation d’experts, ainsi que sur les meilleures méthodes pour faire face à ces derniers. Les lecteurs trouveront des études détaillées sur ces sujets dans Garthwaite et al. (2005), O’Hagan et al. (2006) et Dias et al. (2018). Notre nouveau protocole de sollicitation, l’Enquête auprès d’experts sur les tendances démographiques futures de 2018, met en œuvre de nombreuses pratiques éprouvées en matière de sollicitation et plusieurs innovations méthodologiques, ce qui nous permet d’atteindre plusieurs nouveaux objectifs.
Meilleure expression de l’incertitude
Comparativement à la sollicitation d’une estimation ponctuelle, l’obtention de distributions probabilistes auprès d’experts permet de mesurer leur incertitude au sujet du paramètre d’intérêt (Morris et coll., 2014). De récentes innovations méthodologiques facilitent le processus en créant des fonctions de densité de probabilité souples à l’aide d’un petit nombre de paramètres obtenus auprès d’experts. Ces innovations permettent d’obtenir des portraits plus précis et cohérents des opinions des répondants à propos de l’avenir et pourraient un jour permettre l’élaboration de projections démographiques probabilistes (Lutz et coll., 1998; Lutz et Scherbov, 1998; Tuljapurkar et coll., 2004).
Approche améliorée de l’agrégation des réponses individuelles
Après avoir sollicité les avis de nombreux experts, il est nécessaire de combiner leurs réponses. L’un des avantages de l’utilisation de distributions probabilistes pour quantifier les opinions des experts est que, pour chaque composante démographique, les distributions individuelles peuvent être combinées de telle sorte que le résultat agrégé constitue également une distribution probabiliste. Cela fournit une expression statistique cohérente des opinions agrégées pouvant être utilisée dans le cadre de projections probabilistes, ou, dans un cadre déterministe, pour le calcul de différentes statistiques sommaires – comme certains quantiles de la distribution agrégée – utiles pour dériver les hypothèses de projection.
Rétroaction visuelle au moyen d’une interface utilisateur graphique
Des représentations visuelles permettent aux experts de vérifier, de confirmer ou de réviser leurs réponses, ce qui peut contribuer à en améliorer la calibration et l’exactitude (Garthwaite et coll., 2005; Kynn, 2008; Speirs-Bridge et coll., 2010; Morgan, 2013; Goldstein et Rothschild, 2014). Pour cette raison, le nouvel outil de sollicitation inclut une interface graphique interactive grâce à laquelle les experts peuvent visualiser comment leurs réponses se traduisent en une distribution de probabilité. L’interface est assez souple pour s’adapter à différents types de distribution (p. ex. asymétrique à gauche ou à droite, limitée ou non limitée), ce qui permet aux répondants de communiquer des opinions grandement nuancées.
Expérience de sollicitation à distance plus conviviale
Dans le cadre de l’exercice de sollicitation de 2013, une enquête avait été distribuée à distance à des experts sous la forme d’un document Adobe PDF modifiable. Cette procédure avait posé des défis : certains répondants ne disposaient pas du logiciel requis alors que d’autres utilisaient des versions désuètes qui ne fonctionnaient pas comme prévu.
Pour la nouvelle édition, nous avons étudié le potentiel de nombreux outils d’enquête en ligne, mais aucun ne pouvait intégrer les spécifications que nous exigions pour l’outil de sollicitation. Nous avons plutôt misé sur la conception d’un tableur MS Excel, une solution avantageuse étant donné que le logiciel est largement utilisé par les répondants et peut facilement être personnalisé en fonction de nos exigences, y compris l’intégration d’une interface utilisateur graphique et l’acceptation des entrées textuelles et numériques.
Ces objectifs principaux, combinés à notre connaissance actuelle des pratiques exemplaires en matière de sollicitation, ont guidé la conception du protocole de sollicitation d’experts de 2018, décrit dans la section suivante.
Protocole de sollicitation
Notre nouveau protocole de sollicitation s’inspire principalement des outils de sollicitation à distance à base de tableurs mis au point par Sperber et coll. (2013) et Grigore et coll. (2017). Il exploite l’algorithme métalogistique développé récemment par Keelin (2016, 2018) afin de créer une interface utilisateur graphique permettant aux experts de visualiser comment leurs estimations de paramètres se traduisent en une distribution de probabilités continue et flexible.
Introduction à l’enquête
À l’ouverture de l’enquête, les répondants reçoivent d’abord une brève description de la tâche à accomplir (figure 2.1). Les répondants sont encouragés à reconnaître et à communiquer leur niveau d’incertitude à propos de l’évolution future de composantes démographiques pour lesquelles il est bien difficile de prédire l’avenir. Ils sont aussi invités à sauter les sections liées aux composantes pour lesquelles ils estiment ne pas posséder l’expertise suffisante (Morgan et Henrion, 1990; Lee, 1998; Lutz et coll., 1998). Enfin, les répondants sont invités à communiquer avec nous s’ils ont des questions ou des difficultés au moment de répondre à l’enquête.
Description de la figure 2.1
Cette image montre une saisie d’écran de l’Enquête auprès d’experts sur les tendances démographiques futures de 2018. La saisie d’écran contient la section « Introduction » de l'enquête, qui comprend un aperçu du contenu de l'enquête, quelques instructions spécifiques aux répondants et les coordonnées de personnes-ressources pour obtenir de l'aide.
Après l’introduction à l’enquête, les répondants doivent répondre à plusieurs questions sur leurs antécédents : leur nombre d’années d’expérience; leur niveau d’expertise en matière de fécondité, de mortalité, de migration internationale et de projections démographiques; et leur domaine de travail actuel (figure 2.2). Ces renseignements sont recueillis à deux fins : 1) évaluer si le groupe de répondants est suffisamment diversifié (selon les recommandations de Morgan et Henrion [1990] et d’Aspinall [2010], entre autres); 2) pondérer les réponses au cours du processus d’agrégation, décrit de façon détaillée plus loin.
Description de la figure 2.2
Cette image montre une saisie d’écran de l’Enquête auprès d’experts sur les tendances démographiques futures de 2018. La saisie d'écran contient la section « Votre expérience » de l'enquête, qui comprend trois questions : 1) Combien d'années d'expérience avez-vous dans le domaine général de la démographie ou de l’étude de la population ? 2) Comment évalueriez-vous votre niveau d'expertise dans les domaines suivants (fécondité, mortalité, migration internationale, projections démographiques) ? 3) À l’heure actuelle, dans quel domaine travaillez-vous principalement?
Sollicitation de distributions de probabilité à l’égard d’indicateurs de la fécondité, de la mortalité et de l’immigration au Canada en 2043
La partie principale de l’enquête consiste en la sollicitation d’arguments qualitatifs et d’estimations quantitatives au sujet de l’évolution future d’indicateurs liés à la fécondité (indice synthétique de fécondité du moment), à la mortalité (espérance de vie à la naissance des hommes et des femmes) et à l’immigration (nombre d’immigrants par tranche de mille habitants) au Canada en 2043Note . Nous décrivons le processus en nous servant de la composante de la fécondité à titre d’exemple. La figure 2.3 présente une saisie d’écran de l’outil, montrant les diverses étapes de la procédure de sollicitation.
Description de la figure 2.3
Cette image montre une saisie d’écran de l’Enquête auprès d’experts sur les tendances démographiques futures de 2018. La saisie d'écran contient la section « Fécondité » de l'enquête, qui comprend 4 étapes : Étape 1 - Arguments ; Étape 2 – Collecte des paramètres ; Étape 3 - Révision ; Étape 4 - Évaluation globale.
À l’étape 1, les experts doivent fournir des arguments qualitatifs susceptibles d’influer sur l’évolution future de l’indice synthétique de fécondité au Canada d’ici 2043. Une série de tableaux et de chiffres montrant les tendances historiques pour divers indicateurs de la fécondité est fournie aux experts pour les aider dans cette tâche. Les experts sont invités à réfléchir à divers scénarios possibles (augmentation, diminution, statu quo) dans la formulation de leurs arguments. En plus de fournir des renseignements essentiels pour la mise en contexte des estimations quantitatives, cette procédure est recommandée, car elle encourage les experts à réfléchir au détail de leurs opinions et à envisager un vaste éventail de possibilités, réduisant ainsi des excès de confiance potentiels (Morgan et Henrion, 1990; Kadane et Wolfson, 1998; Garthwaite et coll., 2005; Kynn, 2008).
L’étape 2 est principalement modélisée au moyen des procédures par étapes utilisées par Speirs-Bridge et coll. (2010), Sperber et coll. (2013) et Grigore et coll. (2017).
- À l’étape 2a), les experts doivent premièrement fournir les limites inférieures et supérieures d’une fourchette couvrant presque toutes les valeurs plausiblesNote de l’indice synthétique de fécondité au Canada en 2043. Il s’agit d’une pratique utilisée délibérément pour réduire des excès de confiance potentiels (Speirs-Bridge et coll., 2010; Sperber et coll., 2013; Oakley et O’Hagan, 2016; Grigore et coll., 2017; Hanea et coll., 2018). En effet, le fait de demander aux experts de fournir d’abord une seule estimation centrale, comme une moyenne ou une médiane, est susceptible de déclencher un ancrage à cette valeur dans les réponses subséquentes.
- À l’étape 2b), les experts doivent indiquer dans quelle mesure ils sont convaincus que la valeur réelle se situera dans la fourchette qu’ils viennent de préciser. Il a été démontré que cette méthode permet de réduire la propension des experts à manifester des excès de confiance, comparativement à l’alternative qui consiste à leur demander d’identifier les limites inférieures et supérieures d’un intervalle à un niveau de confiance prédéterminé (Speirs-Bridget et coll., 2010). Cela dit, nous imposons la restriction selon laquelle le répondant doit choisir un niveau de confiance d’au moins 90 %. Par conséquent, les experts doivent revoir leur fourchette si leur niveau de confiance est inférieur à 90 %Note .
- À l’étape 2c), les experts doivent estimer la valeur médiane de la fourchette plausible qu’ils ont fournie à l’étape 2a), de sorte qu’ils s’attendent à une probabilité égale (50-50) que la valeur réelle se situe au-dessus ou au-dessous de la médiane.
- À l’étape 2d), la fourchette de valeurs entre la limite inférieure et la médiane est divisée en deux segments de longueur égale, et il en va de même pour les valeurs entre la médiane et la limite supérieure. Le répondant doit ensuite déterminer la probabilité que la valeur réelle se trouve dans chacun des segments. Notez que, par définition, chaque moitié au-dessous et au-dessus de la médiane a une probabilité d’occurrence de 50 %, il faut donc redistribuer ce 50 % à chaque segmentNote .
Tout au long de l’étape 2, plusieurs vérifications – prenant la forme de messages d’avertissement contextuels – ont été intégrées à l’outil de sollicitation afin de prévenir les entrées illogiques de diverses façons (la figure 2.4 présente un exemple où un répondant a fourni une estimation de la limite supérieure qui est plus faible que l’estimation de la limite inférieure). Cela respecte les pratiques exemplaires en matière de sollicitation à distance (Sperber et coll., 2013; Grigore et coll., 2017).
Description de la figure 2.4
Cette image montre une saisie d’écran de l’Enquête auprès d’experts sur les tendances démographiques futures de 2018. La saisie d'écran contient un exemple d'un des messages d'avertissement que les répondants peuvent recevoir lorsqu'ils répondent au sondage. Le message d'avertissement indique « La limite supérieure doit être supérieure à la limite inférieur ».
L’étape 3 introduit une composante clé et novatrice de notre protocole, soit une représentation visuelle des estimations des paramètres fournies à l’étape 2 par les répondants, sous la forme d’un histogramme et d’une fonction de densité de probabilité.
Bien que plusieurs outils aient été mis au point dans le but de fournir aux experts des représentations visuelles de leurs estimations (Sperber et coll., 2013; Morris et coll., 2014; Grigore et coll., 2017), aucun de ces outils ne correspondait exactement à nos exigences, qui étaient les suivantes :
- la visualisation peut être mise en œuvre dans MS Excel (dans un contexte de sollicitation à distance);
- la visualisation apparaît instantanément lorsque les experts entrent leurs estimations de paramètres;
- la visualisation est assez souple pour s’adapter à des distributions de probabilité limitées, non limitées ou semi-limitées, asymétriques à gauche ou à droite, ou d’autres formes de distribution « irrégulières ».
Heureusement, Keelin (2016, 2018) a récemment élaboré un algorithme très souple qui permet de calculer les fonctions de densité de probabilité pour de nombreuses combinaisons de paramètres possibles (à titre d’exemple, voir la fonction de densité de probabilité illustrée à figure 2.2 qui correspond aux estimations des paramètres et aux entrées des niveaux de confiance d’un répondant fictif pour l’indice synthétique de fécondité au Canada en 2043).
La distribution métalogistique appartient à une classe plus générale de distributions paramétrées par quantile élaborée par Keelin et Powley (2011) et renvoie à toute distribution de probabilité continue qui peut être entièrement paramétrée en fonction de ses quantiles. L’attrait de l’utilisation de distributions paramétrées par quantile dans la modélisation de l’incertitude est que des modifications peuvent être apportées à leurs fonctions quantiles (notamment par l’ajout de paramètres de forme supplémentaires), ce qui leur permet de représenter un plus vaste éventail d’opinions. La fonction quantile de la distribution logistique est un exemple d’une fonction qui peut être modifiée relativement facilement étant donné que ses paramètres sont linéaires.
Dans la distribution métalogistique, le préfixe « méta » est utilisé par Keelin pour décrire les distributions dont les paramètres originaux ont été remplacés afin d’intégrer un plus grand nombre de paramètres de forme. En théorie, il n’y a pas de limite au nombre de paramètres de forme que peut avoir la distribution métalogistique, ce qui signifie qu’elle peut servir à modéliser des caractéristiques de distribution comme l’asymétrie de droite ou de gauche, divers niveaux d’aplatissement et la multimodalité. L’inclusion de paramètres de forme supplémentaires nécessite toutefois la sollicitation d’un plus grand nombre de quantiles. La procédure décrite à l’étape 2 est conçue pour solliciter cinq quantiles, ce qui permet à l’algorithme d’ajuster les distributions métalogistiques non limitées à un maximum de cinq paramètres de forme. Dans le cas où les valeurs des experts décrivent une distribution semi-limitée ou limitée, des transformations log ou logit sont appliquées à la fonction quantile de la distribution métalogistique, respectivement, afin de restreindre son étendue en conséquence.
Bien que notre version de l’algorithme métalogistique (ayant un maximum de cinq paramètres de forme) soit très souple, il peut y avoir des cas où elle ne permet pas de calculer une fonction de densité compte tenu des valeurs fournies. Cela peut se produire par exemple si un expert envisage une fonction de densité largement bimodale. Pour cette raison, un histogramme rudimentaire est aussi présenté aux experts qui, bien que n’affichant pas les queues de la distribution, reflète quand même de façon schématique les valeurs des experts, ce qui leur permet de reconnaître toute erreur possible de leur part, ou les biais possibles dont leurs données pourraient être entachées. Lorsqu’une fonction de densité ne peut être calculée, les experts en sont informés et sont invités à passer à l’étape suivante s’ils se sentent néanmoins à l’aise avec les valeurs fourniesNote .
Une fois que les experts ont examiné les densités mises en graphique et qu’ils sont satisfaits de leurs valeurs, ils sont invités à formuler des commentaires sur les résultats à l’étape 4. Nous leur demandons également d’indiquer dans quelle mesure la fonction de densité de probabilité résultante représente une description exacte de leurs opinions (c.-à-d. très précise, bonne, faible). Enfin, les experts qui ont répondu que la visualisation des résultats ne constituait pas une représentation cohérente de leurs opinions sont invités à en expliquer les raisons.
Fin de l’enquête
À la fin de l’enquête, nous demandons aux experts de confirmer s’ils souhaitent que Statistique Canada mentionne leur nom dans ses futurs produits de projections démographiques, tout en maintenant l’anonymat de leurs réponses individuelles (figure 2.5). Il a été établi que cet « anonymat limité » contribue grandement à limiter tout biais de motivation possible tout en permettant aux répondants de répondre aussi librement que possible aux questions (Knol et coll., 2010; Morgan, 2013). Enfin, les experts sont encouragés à faire part de leurs commentaires sur l’exercice de sollicitation, et à formuler des commentaires ou des suggestions d’ordre général sur le programme de projections démographiques de Statistique Canada. Le fait de permettre aux experts de donner de la rétroaction sur l’exercice de sollicitation accroît les possibilités de représenter avec exactitude leurs connaissances et leurs points de vue (Gosling, 2014; Runge et coll., 2011; Martin et coll., 2011).
Description de la figure 2.5
Cette image montre une saisie d’écran de l’Enquête auprès d’experts sur les tendances démographiques futures de 2018. La saisie d'écran contient la section "Fin de l'enquête" de l'enquête. Nous rappelons aux répondants que leurs commentaires et estimations individuels ne seront pas identifiables dans les documents publiés. On demande aux répondants : « Autorisez-vous la publication de votre nom dans le prochaine publication des projections démographiques ? » Enfin, les répondants sont encouragés à commenter leur expérience de l'exercice de sollicitation.
Répondants cibles et méthode de recrutement
Avec l’aide des membres du conseil des deux associations démographiques du Canada, une invitation par courriel à participer à l’Enquête auprès d’experts sur les tendances démographiques futures de 2018 a été envoyée à tous les membres de la Canadian Population Society (CPS) et de l’Association des démographes du Québec (ADQ). La sollicitation à distance améliore grandement le nombre de répondants qu’il est possible de joindre, et ce à un coût minimal. Des invitations personnelles par courriel ont aussi été envoyées à un certain nombre de personnes possédant une expertise reconnue en matière de fécondité, de mortalité, d’immigration ou de projections démographiques.
Dans le contexte d’une sollicitation axée sur la démographie canadienne — une discipline très restreinte, d’autant plus que nos questions portaient plus précisément sur l’avenir, ce qui exige un certain niveau de connaissance des projections démographiques — les experts constituent une ressource assez rare. Cela dit, des recherches semblent indiquer qu’un petit nombre d’experts — environ six à quinze — est suffisant pour que la sollicitation donne de solides résultats, au-delà desquels les résultats ne devraient pas varier de façon importante (Hogarth, 1978; Aspinall, 2010; Knol et coll., 2010). Au total, nous avons reçu 18 réponses à l’exercice de sollicitation de 2018. Les caractéristiques des répondants sont décrites à la section suivante.
Caractéristiques des répondants
Les 18 répondants à l’Enquête auprès d’experts sur les tendances démographiques futures de 2018 représentaient un ensemble assez bien équilibré au chapitre de l’expertise (figure 2.6), du nombre d’années d’expérience générale dans le domaine (figure 2.7) et du domaine de travail actuel (figure 2.8). La majorité des répondants (10 sur 18) ont déclaré avoir des niveaux élevés d’expertise en projections démographiques.
Description de la figure 2.6
| Niveau d’expertise autoévalué | Fécondité | Mortalité | Immigration |
|---|---|---|---|
| nombre | |||
| Faible | 2 | 2 | 0 |
| Intermédiaire | 11 | 4 | 6 |
| Élevé | 4 | 4 | 8 |
| Source : Statistique Canada, Division de la démographie. | |||
Description de la figure 2.7
| Nombre d’années d’expérience | Nombre de répondants |
|---|---|
| 5 à 9 ans | 1 |
| 10 à 14 ans | 5 |
| 15 à 24 ans | 4 |
| 25 ans ou plus | 8 |
| Source : Statistique Canada, Division de la démographie. | |
Description de la figure 2.8
| Domaine de travail actuel | Nombre de répondants |
|---|---|
| Milieu universitaire | 8 |
| Gouvernement | 6 |
| Projet de recherche à but non lucratif / Politique | 1 |
| Secteur privé | 1 |
| Retraité | 2 |
| Autre | 0 |
| Source : Statistique Canada, Division de la démographie. | |
Dans l’ensemble, les répondants ayant déclaré ne pas avoir d’expertise ou n’en avoir que très peu dans une composante donnée ont choisi de sauter les questions liées à cette composante, comme il était à prévoir. Alors que presque tous les répondants ont répondu à la section sur la fécondité, les taux de réponse étaient moins élevés pour la section sur l’immigration et, en particulier, celle sur la mortalité, où un nombre relativement faible de répondants ont déclaré un haut niveau d’expertise (figure 2.6).
Agrégation des réponses individuelles
Le choix de la méthode d’agrégation s’est fondé sur l’objectif de conserver le plus possible l’information contenue dans les opinions individuelles des experts (c.-à-d. d’éviter un « compromis »), tout en veillant à ce que le résultat agrégé représente en soi une distribution de probabilité valide à partir de laquelle il est possible de calculer des statistiques sommaires pertinentes – comme la moyenne, la médiane et les quantiles. Pour cette raison, nous avons adopté une approche axée sur un modèle de mélange (appelé « combinaison d’opinions linéaire » dans le contexte de la sollicitation d’experts) où la distribution agrégée pour chaque composante peut être considérée comme une moyenne pondérée des distributions des différents experts.
Le système de pondération le plus couramment adopté dans les modèles de mélange est un système à pondérations égales. La distribution agrégée est alors simplement la moyenne arithmétique des distributions des composantes. Un autre système couramment utilisé consiste à pondérer les distributions des experts en fonction de certains critères supplémentaires, comme l’expertise en la matière. Un système accordant une pondération relative plus importante aux distributions appartenant à des experts ayant une plus grande expertise présente un attrait intuitif, surtout dans le contexte où nous sollicitons un grand nombre de démographes ayant des niveaux variables d’expertise dans les domaines de la fécondité, de la mortalité et de l’immigration. De plus, certains répondants qui considèrent avoir un faible niveau d’expertise ont peut-être accepté de répondre aux questions de l’enquête considérant que nous tiendrons compte de leur niveau d’expertise autoévalué dans le traitement des réponses.
Bien qu’il existe de bonnes raisons de croire que les experts faisant état de niveaux d’expertise plus élevés sont susceptibles d’exercer un meilleur jugement, les expériences passées montrent que ce n’est pas vrai dans toutes les circonstances (Morgan et Henrion, 1990; Tetlock, 2005; Martin et coll., 2011; Sperber et coll., 2013). Toutefois, en examinant les résultats de l’enquête, nous avons constaté que les répondants ayant de plus hauts niveaux d’expertise autodéclarés dans les domaines de la fécondité, de la mortalité, de l’immigration et des projections démographiques avaient tendance à être moins sûrs de leurs réponses que ceux ayant moins d’expertise. Cette tendance pourrait s’expliquer par le fait que les répondants qui connaissent bien les « inexactitudes » et les difficultés considérables inhérentes au domaine des projections démographiques pourraient avoir moins confiance en leur capacité d’évaluer avec précision l’évolution future de la fécondité, de la mortalité et de l’immigration au Canada, et ainsi à moins démontrer d’excès de confiance.
Nous avons donc choisi de mettre en œuvre un système de pondération additif qui consiste à attribuer des pondérations aux distributions des experts en fonction de leur expertise dans chacune des trois composantes et en matière de projections démographiques, ainsi que de leurs années d’expérience dans le domaine général de la démographie. Ce système est décrit de la manière suivante :
- Les experts se voient attribuer des pondérations partielles entre 1 et 4 selon que leur niveau d’expertise autoévalué dans les domaines de la fécondité, de la mortalité et de l’immigration est « nul », « faible », « intermédiaire » ou « élevé »Note ;
- Les experts se voient ensuite attribuer une pondération partielle semblable (entre 1 et 4) en fonction de leur expertise autoévaluée dans le domaine des projections démographiques;
- Les experts se voient attribuer une pondération partielle entre 1 et 5 en fonction de leur niveau d’expérience autodéclaré en démographie (moins de 5 ans, de 5 à 9 ans, de 10 à 14 ans, de 15 à 24 ans, ou 25 ans ou plus);
- Pour chaque composante, il s’agit ensuite d’additionner (et de normaliser) les pondérations partielles en (1)-(3) pour calculer les pondérations finales attribuées à chaque expert dans les trois distributions de mélange.
En dépit du fait que les réponses des experts sont paramétrées au moyen de distributions métalogistiquesNote , les distributions de mélange résultantes pour la fécondité, la mortalité et l’immigration ne sont pas des distributions métalogistiques et n’appartiennent à aucune famille paramétrique définie. Les caractéristiques comme les moments et les quantiles sont calculées au moyen de méthodes empiriques.
Des sommaires des réponses à l’enquête et des distributions de mélange pour chacune des trois composantes sont présentés dans leurs chapitres respectifs.
Remerciements
Nous exprimons notre profonde gratitude aux experts suivants, qui ont gracieusement offert de leur temps pour répondre à l’Enquête auprès d’experts sur les tendances démographiques futures de 2018 : Roderic Beaujot, Alain Bélanger, Julien Bérard-Chagnon, Éric Caron Malenfant, Gustave Goldmann, Michael Haan, Daniel Heibert, Nan Li, Rachel Margolis, Guillaume Marois, Jean-Dominque Morency, François Nault, Doug Norris, François Pelletier, Étienne Poulin, Claudine Provencher et Luc Roy, ainsi qu’un expert anonyme.
Nous tenons aussi à remercier sincèrement Michael Haan, président de la Canadian Population Society, Benoît Laplante, président de l’Association des démographes du Québec, et Laurent Martel, directeur de la Division de la démographie à Statistique Canada, d’avoir facilité le recrutement de répondants experts, ainsi que de nombreux collègues de la Division de la démographie qui nous ont aidés à mettre l’outil à l’essai.
Références
Aspinall, W. 2010. « A route to more tractable expert advice », Nature, volume 463, pages 294 to 295.
Bohnert, N. 2015. « Chapitre 2 : Enquête d’opinion sur les tendances démographiques futures », dans Bohnert, N., J. Chagnon, S. Coulombe, P. Dion et L. Martel. 2015. Projections démographiques pour le Canada (2013 à 2063), les provinces et les territoires (2013 à 2038) : rapport technique sur la méthodologie et les hypothèses, numéro 91-620-X au catalogue de Statistique Canada.
Burgman, M., F. Fidler, M. McBride, T. Walshe et B. Wintle. 2006. Eliciting expert judgment: Literature review, Australian Center of Excellence for Risk Analysis, ronde 1, projet 11.
Dias, L., A. Morton et J. Quigley (éditeurs). 2018. Elicitation: the science and art of structuring judgment, Springer, New York.
Garthwaite, P.H., J.B. Kadane et A. O’Hagan. 2005. « Statistical methods for eliciting probability distributions », Technical Paper 1-2005, Carnegie Mellon University Research Showcase.
Goldstein, D.G. et D. Rothschild. 2014. « Lay understanding of probability distributions », Judgment and Decision Making, volume 9, numéro 1, pages 1 à 14.
Gosling, J.P. 2014. Methods for eliciting expert opinion to inform health technology assessment, Medical Research Council, Royaume-Uni.
Grigore, B., J. Peters, C. Hyde et K. Stein. 2017. « Explicit: a feasibility study of remote expert elicitation in health technology assessment », BMC Medical Informatics and Decision Making, volume 17, numéro 131.
Hanea, A.M., M. Burgman et V. Hemming. 2018. « Chapter 5: IDEA for Uncertainty Quantification », dans Dias, L., A. Morton et J. Quigley (éditeurs). 2018. Elicitation: the science and art of structuring judgment, Springer, New York.
Hoffman, R.R., N.R. Shadbolt, M.A. Burton et G. Klein. 1995. « Eliciting knowledge from experts: A methodological analysis », Organizational Behavior and Human Decision Processes, volume 62, numéro 2, pages 129 à 158.
Hogarth, R.M. 1978. « A note on aggregating opinions », Organizational Behavior and Human Performance, volume 21, numéro 1, pages 40 à 46.
James, A., S. Low Choy et K. Mengersen. 2010. « Elicitator: an expert elicitation tool for regression in ecology », Environmental Modelling & Software, volume 25, numéro 1, pages 129 à 145.
Kadane, J. et L.J. Wolfson. 1998. « Experiences in Elicitation », Journal of the Royal Statistical Society: Series D (The Statistician), volume 47, numéro 1, pages 3 à 19.
Keelin, T.W. 2016. « The Metalog Distributions », Decision Analysis, volume 13, numéro 4.
Keelin, T.W. 2018. « The Metalog Distributions – Excel workbook », http://www.metalogdistributions.com/excelworkbooks.html.
Keelin, T.W. and B.W. Powley. 2011. « Quantile-parameterized distributions », Decision Analysis, volume 8, numéro 3, pages 206 à 219.
Knol, A.B., P. Slottje, J.P. van der Sluijs et E. Lebret. 2010. « The use of expert elicitation in environmental health impact assessment: a seven step procedure », Environmental Health, volume 9, numéro 19.
Kynn, M. 2008. « The ‘heuristics and biases’ bias in expert elicitation », Journal of the Royal Statistical Society, Series A (Statistics in Society), volume 171, numéro 1, pages 239 à 264.
Lee, R.D. 1998. « Probabilistic approaches to population forecasting », Population and Development Review, volume 24, pages 156 à 190.
Lutz, W., W.C. Sanderson et S. Scherbov. 1998. « Expert-based probabilistic population projections », Population and Development Review, volume 24, pages 139 à 155.
Lutz, W. et S. Scherbov. 1998. « An expert-based framework for probabilistic national population projections: The example of Austria », European Journal of Population, volume 14, pages 1 à 17.
Martin, T.G., M.A. Burgman, F. Fidler, P.M. Kuhnert, S. Low-Choy, M. McBride et K. Mengersen. 2011. « Eliciting expert knowledge in conservation science », Conservation Biology, volume 26, numéro 1, pages 29 à 38.
Morgan, M.G. et M. Henrion. 1990. Uncertainty: A Guide to Dealing with Uncertainty in Quantitative Risk and Policy Analysis, Cambridge University Press.
Morgan, M.G. 2013. « Use (and abuse) of expert elicitation in support of decision making for public policy », PNAS Perspective, volume 111, numéro 20, pages 7 176 à 7 184.
Morris, D.E., J.E. Oakley et J.A. Crowe. 2014. « A web-based tool for eliciting probability distributions from experts », Environmental Modelling and Software, volume 52, pages 1 à 4.
Oakley, T. et A. O’Hagan. 2016. Shelf: the Sheffield elicitation framework (version 3.0), accessible au : http://www.tonyohagan.co.uk/shelf/SHELF3.html.
O’Hagan, A., C.E. Buck, A. Daneshkhah, J.R. Eiser, P.H. Garthwaite, D.J. Jenkinson, J.E. Oakley et T. Rakow. 2006. Uncertain Judgements: Eliciting Experts' Probabilities, Chichester, Wiley.
Parducci, A. 1963. « The Range-Frequency Compromise in Judgment », Psychological Monographs, volume 77, numéro 2, pages 1 à 50.
Runge, M.C., S.J. Converse et J.E. Lyons. 2011. « Which uncertainty? Using expert elicitation and expected value information to design an adaptive program », Biological Conservation, volume 144, pages 1 214 à 1 223.
Shaw, C. 2008. « The National Population Projections Expert Advisory Group: Results from a questionnaire about future trends in fertility, mortality and migration », Population Trends, volume 134, pages 42 à 53.
Sperber, D., D. Mortimer, P. Lorgelly et D. Berlowitz. 2013. « An expert on every street corner? Methods for eliciting distributions in geographically dispersed opinion pools », Value in Health, volume 16, numéro 2, pages 434 à 437.
Speirs-Bridge, A., F. Fidler, M. McBride, L. Flander, G. Cumming et M. Burgman. 2010. « Reducing overconfidence in the interval judgments of experts », Risk Analysis, volume 30, numéro 3, pages 512 à 523.
Tetlock, P.E. 2005. Expert Political Judgment: How Good Is It? How Can We Know?, Princeton University Press.
Tuljapurkar, S., R.D. Lee et Q. Li. 2004. « Random scenario forecasts versus stochastic forecasts », International Statistical Review, volume 72, numéro 2, pages 185 à 199.
Tversky, A. et D. Kahneman. 1974. « Judgment under uncertainty: heuristics and biases », Science, volume 185, numéro 4 157, pages 1 124 à 1 131.
- Date de modification :