Tenir compte des effets de l’intervieweur et du plan de sondage dans la planification des tailles d’échantillon
Section 1. Introduction

• Précédent
• Suivant

Il est parfois très difficile de déterminer la taille de l’échantillon d’une enquête. La complexité de la tâche est souvent accrue par le manque d’information et de données permettant de planifier l’enquête. C’est pourquoi ceux qui planifient les enquêtes cherchent à réduire la complexité de ce problème par des simplifications et des modèles statistiques. L’une de ces approches consiste à sélectionner une taille d’échantillon au moyen de ce qu’on appelle l’effet de plan. L’effet de plan est ensuite défini comme le ratio entre la variance d’un estimateur selon le plan de sondage de l’enquête planifiée et la variance du même estimateur selon un plan d’échantillonnage aléatoire simple. Par conséquent, l’effet de plan est une propriété d’une stratégie d’estimation  $–$ c’est-à-dire un plan de sondage et un estimateur (Chaudhuri et Stenger, 2005, page 4) $–$ et non de l’enquête. Habituellement, on utilise la moyenne pondérée de l’échantillon d’une seule variable comme estimateur de référence. Toutefois, par souci de simplification, dans la suite de l’article, chaque fois que nous parlerons de l’effet de plan d’un plan de sondage, nous le ferons toujours en ce qui concerne la variance due à l’échantillonnage d’une moyenne d’échantillon pondérée.

Pour planifier la taille de l’échantillon, on peut établir une cible de taille d’échantillon efficace, ce qui signifie que la taille d’échantillon planifiée divisée par l’effet de plan planifié doit être supérieure à une certaine valeur. La taille d’échantillon efficace d’un plan de sondage est l’équivalent sous échantillonnage aléatoire simple de sa taille d’échantillon, en termes d’efficacité, c’est-à-dire que si un plan de sondage a une taille d’échantillon efficace de 1 000, alors sa variance due à l’échantillonnage est égale à celle d’un échantillonnage aléatoire simple de 1 000.

Idéalement, la personne planifiant l’enquête la conçoit en ayant à l’esprit une analyse ou un test d’hypothèse précis et formule son avis sur les niveaux d’erreur d’échantillonnage tolérables ou les probabilités d’erreur de type II. Cet avis doit se fonder sur deux éléments : premièrement, un certain degré d’expérience à propos la question de recherche importante et, deuxièmement, des hypothèses sur les paramètres de la population cible nécessaires à la planification des erreurs d’échantillonnage et aux calculs de puissance. Les hypothèses sur les paramètres de la population cible peuvent provenir des cycles précédents d’une enquête ou être fondées sur les données collectées pendant l’essai sur le terrain de l’enquête. Les calculs de puissance et la planification des erreurs d’échantillonnage sont nettement moins complexes et nécessitent moins d’information sur la population cible si l’on suppose un plan d’échantillonnage aléatoire simple. C’est pourquoi la plupart des méthodes de planification de la taille de l’échantillon proposées dans les manuels conviennent à la détermination d’une taille d’échantillon efficace. On prend ensuite compte de l’effet de l’échantillonnage complexe en multipliant la taille d’échantillon efficace prévue par un effet de plan prévu. La détermination de l’effet de plan peut ainsi être séparée de la sélection d’une taille d’échantillon efficace. Par exemple, si un échantillon aléatoire simple de taille 1 000 garantit les éléments suivants : l’erreur d’échantillonnage d’un estimateur ne dépasse pas une valeur donnée avec une probabilité de 95 %, ou que la puissance d’un test statistique est de 80 %, c’est-à-dire la probabilité de rejeter une hypothèse nulle au cas où l’alternative est vraie devrait être de 80 % (Ellis, 2010, chapitre 3). Alors multiplier 1 000 par l’effet de plan présumé d’une étude donnera au planificateur de l’enquête la taille d’échantillon nette requise pour atteindre les objectifs de précision fixés.

La décision relative à la taille d’échantillon efficace doit également représenter un compromis entre le coût de l’enquête et la précision des estimations de l’enquête. En ce qui concerne ce compromis, la personne planifiant l’enquête devrait, par exemple, tenir compte des conséquences en cas d’erreur de type II, c’est-à-dire si une hypothèse nulle n’est pas rejetée même si l’hypothèse alternative est vraie.

Dans les enquêtes devant principalement servir à des analyses secondaires, c’est-à-dire qu’elles fournissent des données aux chercheurs sans viser une seule application, comme l’Enquête sociale européenne (ESS) ou l’European Value Study (EVS, enquête européenne sur les valeurs), on ne peut pas décider d’une taille d’échantillon efficace qui serait prévue pour une seule question de recherche ou un test d’hypothèse. C’est pourquoi l’ESS emploie une taille d’échantillon efficace moyenne. Cela signifie que les plans de sondage de l’ESS sont planifiés de telle sorte que l’effet de plan moyen pour un ensemble d’éléments du questionnaire principal de l’ESS ait une certaine valeur. On calcule la taille d’échantillon nette prévue en multipliant l’effet de plan de sondage moyen prévu par la taille d’échantillon efficace moyenne requise. La taille d’échantillon nette est la taille de l’échantillon après la non-réponse totale, c’est-à-dire le nombre d’interviews terminées. Pour planifier la taille brute de l’échantillon  $–$ à savoir la taille de l’échantillon avant la non-réponse totale  $–$ on divise la taille d’échantillon nette par le produit du taux de réponse et du taux d’admissibilité supposés. Le taux d’admissibilité est la fraction des personnes échantillonnées appartenant à la population cible, qui peut être inférieure à 100 % en raison des imperfections de la base de sondage.

Il reste que les effets du plan peuvent tout de même être difficiles à quantifier, en raison de la complexité du plan de sondage. En vue de réduire cette complexité, on utilise des modèles statistiques pour les données d’enquête afin d’obtenir une approximation de l’effet de plan. Ces modèles tentent généralement d’intégrer l’effet de l’échantillonnage en grappes, qui peut avoir un effet important sur la variance due à l’échantillonnage des estimations. Les grappes peuvent être des zones spatiales comme des peuplements, des unités organisationnelles comme des municipalités ou des établissements comme des hôpitaux et des écoles. Elles sont soit utilisées comme unités primaires d’échantillonnage (UPE) $–$ qui sont sélectionnées en premier, puis à l’intérieur desquelles un échantillonnage supplémentaire est effectué $–$ soit enquêtées dans leur totalité. À titre d’exemple, le plan de sondage de la 6^e édition de l’ESS allemande (ESS6) comporte deux étapes d’échantillonnage. En effet, les UPE sont des municipalités et les unités d’échantillonnage secondaires sont les personnes inscrites dans les municipalités. Souvent, on ne peut pas considérer les variables d’intérêt comme étant distribuées identiquement dans toutes les grappes de la population. En fait, on peut supposer que les répondants d’une même grappe sont habituellement plus semblables les uns aux autres que ceux appartenant à une autre grappe. Kish (1965, page 162) donne la formule suivante pour un effet de plan dû à la mise en grappe :

$$\text{deff}=1+\left(b-1\right)\rho .(1.1)$$

Cet effet de plan deff se compose de deux paramètres : $b$ qui est généralement une taille moyenne de grappe en terme de répondants réalisés et $\rho ,$ le coefficient de corrélation intra-grappe, qui est une mesure de l’homogénéité des mesures d’une variable dans une même grappe. $\rho$ peut être défini au moyen de la décomposition de la variance comme étant la variance entre les grappes divisée par la somme des variances intra-grappe et inter-grappes. Plus la variance entre les grappes est élevée, plus $\rho$ est élevé.

Pour utiliser l’effet de plan lors de la sélection d’une taille d’échantillon, il faut faire des hypothèses sur le paramètre inconnu $\rho .$ La taille de la grappe $b$ ne dépend pas de la variable mesurée et peut être influencée par la personne planifiant l’enquête. Pour $\rho ,$ on peut utiliser les données des enquêtes précédentes pour formuler l’hypothèse nécessaire. Particulièrement dans les enquêtes transversales répétées, les données accumulées sont très utiles pour la planification du plan d’échantillonnage en vue de la prochaine mise en œuvre de l’enquête.

Lynn, Häder, Gabler et Laaksonen (2007) décrivent comment les effets de plan prédits sont utilisés par l’ESS aux fins de planification des tailles d’échantillon de façon à obtenir une certaine taille d’échantillon efficace moyenne selon un plan de sondage donné. Dans les éditions récentes de l’ESS, la prédiction de l’effet de plan et de ses composantes a été éclairée par des estimations de ces statistiques fondées sur les données des éditions précédentes de l’ESS (The ESS Sampling Expert Panel, 2016).

Un autre facteur important peut apporter de l’homogénéité aux mesures dans les enquêtes en personne : l’intervieweur. Dans le cadre de l’erreur d’enquête totale (EET) (Groves, 2009), différents mécanismes ont été décrits pour expliquer la façon dont un intervieweur peut influencer les mesures d’une enquête. Comme l’échantillonnage en grappes, les intervieweurs sont depuis longtemps considérés comme une source de mesures dépendantes (Kish, 1965, page 522, Kish, 1962). Ils introduisent une homogénéité par des erreurs de mesure et des effets de sélection, plutôt que l’homogénéité des grappes intrinsèque à la population. West et Blom (2017) présentent une vue d’ensemble des recherches sur les effets de l’intervieweur. Ils expliquent en détail comment les tâches de l’intervieweur, comme la production ou l’application de bases de sondage, la prise de contact avec les répondants et l’obtention de leur collaboration et de leur consentement, peuvent avoir un effet de sélection sur le recrutement des répondants. West et Blom (2017) présentent également des preuves selon lesquelles les intervieweurs qui effectuent des mesures, font des observations et, enfin, enregistrent l’information recueillie peuvent introduire des erreurs de mesure et de traitement dans les données utilisées aux fins d’analyse. Pour un aperçu des autres sources de variance dans les enquêtes, nous faisons référence au cadre de l’EET décrit notamment par Groves et Lyberg (2010) et Biemer (2010).

L’analyse des effets de l’intervieweur à l’aide des données de l’ESS issues de différents pays et années a montré que cet effet peut être considérable (Beullens et Loosveldt, 2016). Ces constatations soulèvent la question suivante : dans quelle mesure la valeur $\rho$ de l’équation (1.1) est-elle attribuable à la corrélation intra-grappe plutôt qu’à la corrélation intra-intervieweur ? Schnell et Kreuter (2005) montrent que l’effet de l’intervieweur peut être plus élevé que l’effet de grappe, y compris pour les variables où une forte corrélation spatiale peut être supposée. Par conséquent, l’effet de plan estimé dans les enquêtes en personne est généralement confondu avec l’effet de l’intervieweur. C’est pourquoi l’effet de plan est systématiquement surestimé dans les enquêtes en personne. Ce risque d’attribution incorrecte des fonds pourrait poser problème dans les enquêtes qui prédisent les effets de plan à partir de données historiques pour planifier la taille des échantillons. La personne planifiant l’enquête pourrait essayer de compenser l’augmentation de l’effet de plan prédit en augmentant la taille de l’échantillon pour maintenir constante la taille d’échantillon efficace. Si le facteur déterminant l’augmentation de l’effet de plan prédit est l’effet de l’intervieweur, on pourrait attribuer les fonds plus efficacement en embauchant d’autres intervieweurs ou en améliorant leur formation de façon à accroître l’exactitude des mesures et réduire les effets de la sélection.

La nouveauté apportée par la méthode proposée ici est qu’elle permet d’estimer un effet de plan corrigé non confondu avec les effets de l’intervieweur. Au moyen de l’effet de plan corrigé proposé, la personne ou l’entité planifiant l’enquête est en mesure de prendre des décisions fondées sur des données probantes à propos des modifications du plan de sondage, comme la taille de l’échantillon et le nombre d’UPE, ou encore le déploiement des intervieweurs.

L’article est organisé comme suit. La section 2 présente le cadre pour décrire les effets du plan de sondage et de l’intervieweur. Le cadre suit la justification fondée sur un modèle de l’effet de plan qu’ont décrite Gabler, Häder et Lahiri (1999) et l’introduction d’un effet de l’intervieweur dans ce cadre étudiée par Gabler et Lahiri (2009). Les modèles de mesure servant à décrire les données observées suivent une structure multiniveau. L’influence de l’échantillonnage à plusieurs degrés ou en grappes et celle des intervieweurs sur les données observées sont modélisées à l’aide d’effets aléatoires qui impliquent une certaine structure de variance-covariance. Cette méthode permet la factorisation de l’effet global en des effets distincts de plan de sondage et d’intervieweur. Cette séparation est essentielle quand on traite les effets séparément afin de les contrôler.

À la section 3, les effets de l’échantillonnage et de l’intervieweur décrits à la section 2 sont estimés pour les données de l’ESS6 à l’aide de modèles multiniveaux. Tout d’abord, nous présentons les résultats d’une étude par simulations qui visait à évaluer la possibilité de distinguer les variances de grappe et d’intervieweur pour la structure UPE-intervieweur observée dans les données de l’ESS6. Ensuite, nous évaluons l’applicabilité des différents modèles de mesure pour un ensemble sélectionné de variables de l’ESS. Les modèles sélectionnés servent à estimer les variances de différents effets aléatoires dans des modèles multiniveaux, qui sont à leur tour utilisés aux fins d’estimation de la corrélation intra-UPE et intra-intervieweur.

À la section 4, nous présentons nos conclusions et nous formulons des recommandations à l’intention des planificateurs d’enquête à partir du travail théorique de la section 2 et des constatations empiriques de la section 3. Nous indiquons ensuite les recherches futures possibles qui adapteraient nos modèles de mesures relativement simplistes de façon à mieux prendre en compte les plans de sondage complexes et l’hétérogénéité des intervieweurs.

• Précédent
• Page principale de l'article
• Suivant