Tenir compte des effets de l’intervieweur et du plan de sondage dans la planification des tailles d’échantillon
Section 3. Résultats empiriques tirés de l’ESS

• Précédent
• Suivant

Après avoir établi les effets associés aux intervieweurs et à l’échantillonnage en grappes ou à plusieurs degrés, nous estimons l’effet d’enquête et l’effet de plan corrigé proposé pour les données de l’ESS6 (ESS, 2016).

Vingt-neuf pays ont participé à l’ESS6 (ESS, 2018a), mais nous ne les avons pas tous pris en compte dans notre analyse. Nous avons exclu tous les pays dotés d’un plan à un degré (il n’y avait pas de plan d’échantillonnage en grappes à un degré dans l’ESS6). De plus, nous avons exclu les pays qui utilisaient un plan de sondage multidomaine. Ces pays ont utilisé différents plans d’échantillonnage dans différentes régions du pays, mais ils font tous référence à un niveau de la Nomenclature des unités territoriales statistiques (NUTS), établie par Eurostat (ESS, 2013, pages 21-22). Par exemple, la Norvège a utilisé un échantillonnage à un degré pour ses régions les plus densément peuplées, qui à elles seules contenaient près de 75 % de la population cible, et un plan d’échantillonnage à deux degrés pour le reste du pays.

Tout d’abord, dans la section 3.1, nous évaluons la faisabilité générale de l’estimation des modèles de mesure décrits à la section 2, compte tenu de la structure l’UPE-intervieweur qui se trouve dans l’ESS6. À cette fin, nous utilisons une étude par simulations fondée sur un modèle. À la section 3.2, nous testons les différents modèles de mesure les uns par rapport aux autres afin d’utiliser les modèles les plus adéquats dans l’estimation de l’effet d’enquête et de l’effet de plan corrigé. Ensuite, nous comparons nos résultats avec l’effet de plan utilisé par l’ESS dans la planification de la taille de l’échantillon.

Les variables d’identification de l’intervieweur et de l’UPE nécessaires dans notre étude par simulations et l’estimation des effets ont été obtenues à partir des fichiers de données des plans de sondage (FDPS) et du questionnaire de l’intervieweur, respectivement (ESS, 2014a). Les FDPS contiennent des renseignements sur le plan de sondage, y compris un identificateur d’UPE. Dans le cas de l’ESS, il faut télécharger les FDPS par pays (ESS, 2018b).

3.1  Simulation de l’évaluation de la stabilité des estimations des effets

Depuis longtemps, on sait que les intervieweurs et l’échantillonnage sont les principales sources des erreurs d’enquête. En raison des modalités de déploiement des intervieweurs sur le terrain, il est difficile de séparer la variance de l’intervieweur de celle de l’UPE. Pour accroître l’efficacité de la collecte de données, les intervieweurs sont habituellement affectés exclusivement à certaines régions (Von Sanden, 2004, section 1.3). Ainsi, les intervieweurs de l’ESS6 travaillent rarement dans plusieurs régions. Pour ce qui est de l’ESS6, nous observons la situation suivante : en général, les intervieweurs travaillent dans plusieurs UPE d’une même région, mais jamais dans toutes les UPE. Les UPE peuvent recevoir la visite de plusieurs intervieweurs, mais jamais de tous. Dans 25 % de tous les pays considérés, le nombre moyen de régions (variable région, ESS (2013), pages 21-22) dans lesquelles un intervieweur travaillait était inférieur ou égal à 1,017. Dans 75 % de tous les pays, le nombre moyen de régions par intervieweur était inférieur ou égal à 1,256.

La structure non hiérarchique des UPE et des intervieweurs peut être considérée comme typique des enquêtes sociales à grande échelle comme l’ESS. Un plan d’enquête dit entièrement interpénétré, dans lequel tous les intervieweurs travaillent dans toutes les UPE, est généralement impossible dans les enquêtes nationales. Il est donc difficile de déterminer dans quelle mesure la similitude constatée entre les observations faites par un intervieweur est due à la corrélation intra-intervieweur ou à la corrélation intra-UPE. De nombreuses études essaient de résoudre ce problème, par exemple en utilisant un plan d’enquête entièrement emboîté, où plusieurs intervieweurs travaillent dans une même UPE, mais pas dans plusieurs UPE (Schnell et Kreuter, 2005). Ont également été analysées des enquêtes dites partiellement interpénétrées, où différents intervieweurs travaillent dans plusieurs UPE et où les UPE reçoivent la visite de plusieurs intervieweurs (Davis et Scott, 1995; O’Muircheartaigh et Campanelli, 1998). Ces enquêtes partiellement interpénétrées ressemblent davantage à la situation que nous observons dans l’ESS6.

Pour tester nos modèles de mesure et distinguer les différentes composantes de la variance, nous ajustons un modèle multiniveau avec des effets aléatoires croisés. Dans un autre contexte, Raudenbush (1993) propose de permettre des effets dits croisés dans la structure des effets aléatoires. Ces effets croisés permettent la situation de facteurs partiellement interpénétrés et peuvent estimer les trois composantes de la variance du modèle de mesure $\left(M_{2*}\right),$ à savoir ${\sigma }_I^2,$ ${\sigma }_C^2$ et ${\sigma }_{IC}^2.$

Vassallo, Durrant et Smith (2017) montrent, à l’aide de simulations sur des données synthétiques, dans quelle mesure un modèle multiniveau avec des effets aléatoires croisés pour la grappe et l’intervieweur peut estimer la structure de variance-covariance du modèle de données selon différentes configurations d’interpénétration entre la grappe et l’intervieweur. Ils constatent que la taille de l’échantillon, le nombre d’intervieweurs et d’UPE et le degré d’interpénétration sont les facteurs déterminant la qualité des estimations des composantes de la variance. Le degré d’interpénétration joue un rôle décisif dans la qualité des estimations des composantes de la variance. Vassalo et coll. (2017) ont constaté que deux ou trois intervieweurs par UPE donnent déjà des estimations relativement stables des composantes de la variance. Toutefois, tous leurs plans d’enquête étaient équilibrés et symétriques, ce qui signifie que l’interpénétration des UPE par les intervieweurs était constante pour toutes les UPE et vice versa. Or ce n’est pas le cas pour les pays de l’ESS6. Par conséquent, nous effectuons une simulation pour vérifier si selon les plans d’enquête partiellement interpénétrés de l’ESS6, il est possible ou non d’estimer les composantes de la variance de notre modèle de mesure $\left(M_2\right).$

Pour la simulation, nous générons des échantillons à partir d’une distribution normale à plusieurs variables à $n$ dimensions. Le vecteur des moyennes $\mu$ contient la même valeur pour chaque dimension. La matrice de covariance $\Sigma$ suit la structure de variance-covariance du modèle de mesure $\left(M_2\right)$ et a été construite pour chaque pays en fonction de la structure UPE-intervieweur observée. Les composantes de la variance ont été établies à ${\sigma }_I^2=$ 0,2; ${\sigma }_C^2=$ 0,08; ${\sigma }^2=$ 2. Nous avons produit 1 000 échantillons à partir du modèle de superpopulation $\text{NPV}\left(\mu ,\Sigma \right)$ pour chaque pays et estimé le modèle de mesure $\left(M_2\right)$ pour chacun de ces échantillons. La simulation a été mise en œuvre dans R (R Core Team, 2019). Les échantillons pour la simulation ont été générés au moyen du module mvtnorm (Genz, Bretz, Miwa, Mi et Hothorn, 2019) et l’estimation du modèle a été réalisée au moyen du module lme4 (Bates, Mächler, Bolker et Walker, 2015, 2019).

Le tableau 3.1 illustre le biais de Monte-Carlo relatif des estimateurs pour les composantes de la variance du modèle $\left(M_2\right).$ Pour un estimateur $\widehat{\theta }$ de $\theta$ nous définissons cette mesure comme étant

$$\text{biaisR-MCs}\widehat{\theta }=\frac{{\overline{\widehat{\theta }}}_{\text{MC}}}{\theta }-1,$$

où ${\overline{\widehat{\theta }}}_{\text{MC}}={\displaystyle {\sum }_{d=1}^D{\widehat{\theta }}_d/D},$ $\theta$ est la valeur vraie, ${\widehat{\theta }}_d$ la valeur de $\widehat{\theta }$ pour l’échantillon $d^{\text{e}}$ de la simulation et $D$ est le nombre total d’échantillons générés, c’est-à-dire $D=$ 1 000, dans notre simulation. Nous constatons que ${\sigma }_I^2$ et ${\sigma }_C^2$ sont estimés avec un biais relativement faible pour tous les pays pris en considération dans l’ESS6. En plus du biais relatif de Monte-Carlo, nous avons ajouté au tableau 3.1 le nombre d’UPE $K,$ le nombre d’intervieweurs $R,$ la taille de l’échantillon $n,$ le nombre moyen d’UPE dans lesquelles un intervieweur travaille ${\overline{K}}_I$ et le nombre moyen d’intervieweurs qui travaillent dans une UPE ${\overline{R}}_C.$ Les valeurs ${\overline{K}}_I$ et ${\overline{R}}_C$ sont respectivement utilisées comme mesures du degré d’interpénétration des UPE par les intervieweurs et des intervieweurs par les UPE. Pour tous les pays autres que l’Allemagne, il y a plus d’UPE que d’intervieweurs et ${\overline{K}}_I$ est supérieur à ${\overline{R}}_C.$ ${\overline{K}}_I$ va de 1,423 en Allemagne à 17,396 en Albanie. Le niveau de ${\overline{K}}_I$ observé pour tous les pays semble suffisamment élevé pour permettre de distinguer les composantes de variance du modèle $\left(M_2\right).$ Nous pouvons observer une relation négative entre ${\overline{K}}_I$ le biaisR-MC ${\widehat{\sigma }}_I^2,$ dont la médiation peut être faite par $n$ et $K.$ Des valeurs plus élevées de $n$ et $K$ correspondent à une plus grande exactitude de ${\widehat{\sigma }}_I^2.$ On peut faire une observation analogue pour le biaisR-MC ${\widehat{\sigma }}_C^2.$ Une variable ${\overline{R}}_C$ plus élevée améliore également la précision des estimations et peut compenser une valeur basse de ${\overline{K}}_I.$ Une interpénétration unilatérale suffisamment élevée, que ce soit des UPE par les intervieweurs ou l’inverse, suffit pour estimer avec précision ${\sigma }_I^2$ et ${\sigma }_C^2$ pour le modèle $\left(M_2\right).$ Par exemple, la République tchèque, qui a la variable ${\overline{R}}_C$ la plus basse, mais une variable ${\overline{K}}_I$ d’environ 1,848 permet des estimations relativement précises des composantes de la variance.

Notons que pour le modèle de mesure $\left(M_{2*}\right),$ ${\overline{K}}_I$ et ${\overline{R}}_C$ sont importants. Par exemple, on ne peut pas estimer précisément ${\sigma }_C^2$ et ${\sigma }_{IC}^2$ si ${\overline{R}}_C$ est trop faible. Par exemple, dans une simulation similaire pour le modèle $\left(M_{2*}\right),$ il n’a pas été possible d’obtenir des estimations exactes de ${\sigma }_C^2$ et ${\sigma }_{IC}^2$ pour la République tchèque, bien que le biais relatif de ${\widehat{\sigma }}_I^2$ était d’environ 1 %.

Pour la Bulgarie et la République tchèque ${\overline{R}}_C=1,$ c’est-à-dire que leurs UPE sont emboîtées dans les intervieweurs. Dans ce cas, nous n’avons pas d’effets aléatoires croisés, mais des effets aléatoires emboîtés, car nous n’avons jamais de cas où les répondants se trouvent dans une même UPE, mais ne sont pas interviewés par le même intervieweur. Pour ce cas particulier, à strictement parler, ${\sigma }_C^2$ devrait être étiqueté ${\sigma }_{IC}^2.$ Cependant, par souci de simplification, nous utilisons dans les deux cas ${\sigma }_C^2$ comme étiquette des variances de l’effet aléatoire de l’UPE. Cela n’est pas entièrement injustifié, car ${\sigma }_{IC}^2$ définit la corrélation supplémentaire entre les répondants qui sont dans la même UPE, comparativement aux répondants qui sont interviewés par le même intervieweur, mais qui sont dans des UPE différentes.

Notre étude par simulations confirme et enrichit les conclusions de Vassallo et coll. (2017) pour la situation déséquilibrée de l’ESS6. Nous avons également constaté que la structure UPE-intervieweur observée pour l’ESS6 n’empêche pas de distinguer ${\sigma }_C^2$ et ${\sigma }_I^2$ pour le modèle de mesure $\left(M_2\right).$

3.2  Les effets d’enquête dans la 6^e édition de l’Enquête sociale européenne

Comme le montre notre étude par simulations, il est possible d’estimer la variance de l’intervieweur et de la grappe dans l’ESS6. Nous testons maintenant, pour un ensemble de variables sélectionnées du questionnaire principal de l’ESS (ESS, 2013), chaque composante de variance du modèle $\left(M_{2*}\right)$ sur sa signification. Toutes les variables utilisées, sauf l’âge et le genre, ont une échelle ordinale, mais sont traitées comme des variables métriques aux fins de la présente analyse. La liste complète des variables utilisées se trouve en annexe.

Comme le minimum d’une composante de variance est à zéro, l’essai est effectué à la limite de l’espace de paramètre, ce qui impose des problèmes classiques de la théorie des tests. Scheipl, Greven et Kuechenhoff (2008) ont proposé un test de rapport de vraisemblance restreint, conçu pour tester une variance nulle des effets aléatoires. Nous utilisons leur mise en œuvre de ce test dans le module R RLRsim et nous faisons trois tests de décision.

Premièrement, nous testons la signification de la variance d’interaction des intervieweurs et des UPE, en supposant des variances des intervieweurs et des UPE pertinentes. Notre hypothèse nulle est $H_0:{\sigma }_{IC}^2=0$ tandis que l’hypothèse alternative est $H_A:{\sigma }_{IC}^2>0.$ La moyenne par pays de l’hypothèse nulle rejetée pour les différentes variables est présentée dans le tableau 3.2. Les deux premières colonnes correspondent à deux niveaux d’erreur de type I différents pour le test de $H_0:{\sigma }_{IC}^2=0,$ indiqués par $\alpha =$ 0,01 et 0,05. Israël est le pays où la variance d’interaction significative ${\sigma }_{IC}^2$ est la plus élevée pour tous les niveaux d’erreur de type I. Pour tous les autres pays, l’hypothèse nulle n’est pas rejetée pour toutes les variables à un niveau de signification de 1 %. Bien qu’on ne le voie pas dans le tableau 3.2, il faut noter qu’à un niveau de signification de 10 %, les deux tiers des pays ont au moins quelques variables ayant une variance d’interaction significative. Par conséquent, il faut tenir compte de la possibilité d’un effet d’interaction au moment d’estimer les effets d’enquête.

Dans notre deuxième test de décision, nous supposons une variance d’intervieweur, mais aucune variance d’interaction. L’hypothèse nulle est que la variance de l’UPE n’est pas pertinente, c’est-à-dire $H_0:{\sigma }_C^2=0$ par opposition à l’hypothèse alternative $H_A:{\sigma }_C^2>0.$ Les colonnes 3 à 4 du tableau 3.2 présentent les résultats moyens des tests pour les différents niveaux d’erreur de type I. Pour certaines variables, les variances d’UPE ne sont pas significatives comme ajout à la variance d’intervieweur. Ce résultat est particulièrement marqué en Belgique, où 3 % des variables seulement semblent avoir une variance d’UPE. On constate aussi que dans les cas de la France et de la Slovénie, la variance d’UPE est significative seulement à un niveau de 1 % pour un nombre relativement petit de variables et dans le cas de l’Albanie pour aucune des variables. En revanche, la Bulgarie, l’Irlande, Israël et la Slovaquie présentent une variance d’UPE significative pour la majorité des variables. Dans l’ensemble, la variance d’UPE semble pertinente dans la plupart des pays et devrait donc être prise en compte dans l’estimation des effets d’enquête.

Pour le troisième test de décision que nous faisons, nous supposons une variance d’UPE, mais aucune variance d’interaction. L’hypothèse nulle est que l’effet de l’intervieweur n’est pas pertinent $H_0:{\sigma }_I^2=0$ par rapport à l’hypothèse alternative $H_A:{\sigma }_I^2>0.$ Les colonnes 7 à 9 du tableau 3.2 présentent les résultats moyens des tests. Les taux de rejet les plus faibles se trouvent en Allemagne et en France, bien que 19 % des variables de l’Allemagne et 23 % des variables de la France présentent toujours une variance d’intervieweur significative à un niveau de signification de 1 %. Les autres pays affichent une proportion beaucoup plus élevée de variables avec une variance d’intervieweur importante. Pour ce qui est du niveau de signification de 1 % et de 5 %, la variance d’intervieweur a un taux de rejet plus élevé que la variance d’UPE pour 13 des 15 pays. Ainsi, il semble que la variance des intervieweurs soit pertinente pour tous les pays de l’ESS6, ce qui indique que les effets possibles des intervieweurs doivent être pris en compte dans l’évaluation de l’efficacité des plans d’enquête.

On estime les effets d’enquête définis dans l’équation (2.8) à partir des modèles sélectionnés pour les différentes variables. Le tableau 3.3 présente la moyenne par pays des effets d’enquête estimés pour toutes les variables considérées. Le tableau 3.3 contient également la moyenne de l’effet de plan deff, utilisé par l’ESS dans la planification de la taille des échantillons. Nous notons cet effet de plan sous la forme

$$\text{deff}={\text{eff}}_w\left(1+{\rho }_C\left({\overline{m}}_C\left(w\right)-1\right)\right).$$

Pour estimer ${\rho }_C$ dans deff, nous avons utilisé un estimateur d’analyse de la variance (Panel d’experts sur l’échantillonnage de l’ESS, 2016; Ganninger, 2010, page 45) et nous ne testons pas la signification de la variance d’UPE. Le modèle de mesure $a$ utilisé dans ${\text{eff}}_{a0}$ peut inclure l’intervieweur, l’UPE et la variance d’interaction, si la sélection du modèle la juge significative à un niveau de 0,05. Il en va de même pour le modèle de mesure $a$ utilisé dans ${\text{eff}}_{a1},$ c’est-à-dire l’effet de plan corrigé. Si la variance d’intervieweur est jugée comme non significative pour une variable, alors ${\text{eff}}_{a1}$ devient ${\text{eff}}_{a0}.$ Pour mesurer l’influence de l’intervieweur sur l’effet d’enquête, ${\text{inv}}_I$ est également montré.

En comparant deff et ${\text{eff}}_{a1}$ dans le tableau 3.3, on peut faire une observation intéressante : dans le cas de l’Allemagne, deff est nettement inférieur à celui de l’Irlande et de la République tchèque. Nous pouvons en déduire que l’Allemagne aurait besoin d’une taille d’échantillon beaucoup plus petite pour obtenir la même taille d’échantillon efficace moyenne que l’Irlande et la République tchèque. Toutefois, si nous observons ${\text{eff}}_{a1},$ cette relation change. Le tableau 3.3 montre que l’effet de grappe du plan de sondage complexe est plus élevé en Allemagne qu’en Irlande ou en République tchèque. Cela signifie que si nous souhaitons un échantillon efficace moyen égal pour tous les pays, l’Allemagne aurait besoin d’une taille d’échantillon plus grande que l’Irlande ou la République tchèque. Par exemple, pour que la République tchèque atteigne une taille d’échantillon efficace de 1 500 avec l’effet de plan deff type du tableau 3.3, nous prévoirions un échantillon net d’environ 3 925 pour ce pays et de 3 115 pour l’Allemagne. En revanche, si nous utilisons l’effet de plan corrigé ${\text{eff}}_{a1}$ pour fonder la planification de la taille nette de l’échantillon uniquement sur l’effet du plan de sondage, nous choisirions une taille d’échantillon nette d’environ 1 707 pour la République tchèque et d’environ 2 598 pour l’Allemagne. Cette constatation se reflète également dans les valeurs de ${\text{inv}}_I,$ ce qui indique qu’une grande partie de ${\text{eff}}_{a0}$ pour l’Irlande et la République tchèque peut être attribuée à un effet de l’interviewer, tandis qu’en Allemagne, l’effet de l’intervieweur est plus petit et ${\text{eff}}_{a0}$ semble dominé par l’effet de grappe. Mis à part Israël, la Slovaquie et la Slovénie, tous les pays ont des rangs différents pour deff et ${\text{eff}}_{a1},$ ce qui indique que la répartition de la taille de l’échantillon dans tous les pays serait très différente, si le plan corrigé avait été utilisé dans la planification des tailles d’échantillons efficaces, plutôt que l’effet de plan classique deff.

${\text{eff}}_{a1}$ est plus petit que deff pour tous les pays, et leur distance $\left|\text{deff}-{\text{eff}}_{a1}\right|$ a une relation positive mais non linéaire avec ${\text{inv}}_I.$ Les valeurs les plus basses de $\left|\text{deff}-{\text{eff}}_{a1}\right|$ sont observées dans les cas de l’Espagne, la Belgique, la France et l’Allemagne, qui sont tous des pays dont la valeur ${\text{inv}}_I$ est inférieure à la médiane de ${\text{inv}}_I.$ L’inverse est observé pour la Slovaquie, le Kosovo, l’Irlande et l’Ukraine, soit les pays qui présentent la plus grande distance entre deff et ${\text{eff}}_{a1}.$ Ces pays ont tous une valeur de ${\text{inv}}_I$ supérieure à la valeur médiane de ${\text{inv}}_I.$ Ces tendances observées pour les pays ayant une distance relativement élevée entre deff et ${\text{eff}}_{a1}$ correspondent à ce à quoi nous nous attendrions en cas d’effet de l’intervieweur élevé dans les données. On peut dire le contraire pour les pays dans lesquels on observe une distance relativement petite entre deff et ${\text{eff}}_{a1}.$

Les effets de l’intervieweur dépendent de nombreux facteurs différents (West et Blom, 2017), y compris le type de question posée, or les données de l’ESS6 utilisées sont principalement tirées de questions sur les attitudes. Par conséquent, on ne peut pas extrapoler les résultats présentés dans la section à d’autres types d’enquêtes dans les mêmes pays.

• Précédent
• Page principale de l'article
• Suivant