Tenir compte des effets de l’intervieweur et du plan de sondage dans la planification des tailles d’échantillon
Section 4. Conclusions
L’utilisation
d’un effet de plan aux fins de sélection d’une taille d’échantillon est une
méthode dont on se sert couramment pour tenir compte de la perte d’efficacité
qu’un plan de sondage complexe peut entraîner. Toutefois, un effet de
l’intervieweur dans les enquêtes en personne peut augmenter l’effet de plan.
Cela peut conduire à des conclusions erronées au sujet de l’effet que
l’échantillonnage complexe a sur l’efficacité d’une stratégie
d’échantillonnage. Ces conclusions erronées peuvent entraîner à leur tour une
mauvaise attribution des ressources. La taille d’échantillon prévue pourrait
être trop élevée, si elle est fondée sur un effet de plan surestimé. C’est
pourquoi nous proposons de tenir compte de l’effet de plan et de l’effet de
l’intervieweur simultanément au moment de planifier la taille de l’échantillon.
L’effet d’enquête, que nous élaborons à la section 2, tient compte à la
fois de la variance des intervieweurs et des UPE pour évaluer l’efficacité d’un
plan d’enquête. À partir de l’effet d’enquête, nous introduisons un effet de
plan corrigé, qui utilise comme plan de référence un échantillon aléatoire
simple avec effet de l’intervieweur. Il en résulte que l’effet de plan corrigé
n’est plus confondu avec l’effet de l’intervieweur et qu’il peut donc servir à
mieux fonder la décision pour la taille des échantillons en fonction de l’effet
du plan de sondage sur la précision des estimations d’enquête.
Dans le cas
de l’ESS6, nos constatations empiriques de la section 3.2 montrent que les
effets de plan élevés sont liés à des effets de l’intervieweur élevés. Les
effets de plan corrigés moyens que nous observons donnent à penser que le plan
de sondage influence la variance d’un estimateur à un degré moindre que les
intervieweurs dans de nombreux pays de l’ESS6. La capacité d’estimer l’effet de
plan corrigé, par exemple à partir des données historiques qui serviraient
d’indication dans la planification d’enquête, dépend principalement de la
structure UPE-intervieweur et de la répartition des charges de travail des
intervieweurs et de la taille des grappes. Nous constatons qu’un plan d’enquête
partiellement interpénétré, c’est-à-dire à un niveau régional, peut suffire
pour distinguer la variance de l’UPE et celle de l’intervieweur. Dans notre
étude par simulations, un nombre moyen de 1,5 UPE par intervieweur ou
d’intervieweur par UPE était suffisant pour l’estimation des composantes de la
variance du modèle de mesure
Pour les données d’enquête réelles,
c’est-à-dire catégoriques, ce niveau d’interpénétration pourrait ne pas être
assez élevé, mais un nombre élevé d’UPE, d’intervieweurs et un échantillon de
grande taille pourraient contrebalancer la faible interpénétration. Concernant
les applications pratiques, nous recommandons de tester par simulations si le
modèle de mesure supposé peut être estimé avec la structure UPE-intervieweur
donnée, comme nous l’avons fait à la section 3.1.
Si l’on
utilise l’effet d’enquête et l’effet de plan corrigé aux fins de planification
d’une taille d’échantillon, il peut être utile de travailler avec les bornes
supérieures et inférieures de ces statistiques. À la section 2, nous
calculons ces bornes, mais en nous fondant sur des hypothèses quelque peu
irréalistes sur la distribution des poids d’enquête, des charges de travail des
intervieweurs et des tailles des UPE. Toutefois, s’il est possible de formuler
des hypothèses réalistes sur la concentration des poids d’enquête, les charges
de travail des intervieweurs et la taille des UPE, nous proposons alors
d’utiliser une optimisation linéaire
comme cela
est montré en annexe
pour
calculer des bornes beaucoup plus pertinentes en pratique, susceptibles de
donner de précieuses orientations aux personnes planifiant des enquêtes. En
général, nous recommandons d’avoir des distributions peu concentrées des
charges de travail des intervieweurs et des tailles de grappes d’UPE afin
d’accroître la précision des estimations d’enquête. Par conséquent, les charges
de travail des intervieweurs et les tailles des grappes d’UPE devraient être
aussi égales que possible pour tout nombre donné d’intervieweurs et d’UPE.
Les modèles
de mesure présentés à la section 2 sont sans doute simplistes. Cela les
rend applicables à la plupart des plans d’enquête. Les seuls renseignements, à
part les données d’enquête, utilisés dans le calcul des estimations du
tableau 3.3 étaient les indicateurs d’UPE et d’intervieweurs. On pourrait
toutefois intégrer certains aspects des mesures d’enquête à un modèle de mesure
pratique, comme la stratification qui, en général, accroît l’efficacité d’une
stratégie d’estimation (Särndal et coll., 1992, section 3.7). Notre
analyse a négligé cette possibilité, bien que de nombreux pays de l’ESS6 aient
utilisé un plan stratifié pour leur échantillon d’UPE. Gabler, Häder et Lynn
(2006) ont proposé un effet de plan pour les stratégies d’estimation qui
combine différents plans de sondage pour les domaines d’échantillonnage. On
pourrait adapter cette méthode pour ajouter un effet de stratification à la
variance de l’UPE. En outre, il serait plausible de supposer que les
intervieweurs diffèrent quant au degré d’homogénéité qu’ils ajoutent à leurs
mesures. On pourrait alors inclure cette hétérogénéité des intervieweurs dans
un modèle de mesure en permettant à des groupes d’intervieweurs d’avoir des
distributions différentes de
c’est-à-dire des valeurs de
(West et Elliott, 2014). Il faudrait néanmoins
une procédure de classification des intervieweurs. Il serait alors préférable
de la fonder principalement sur les données de l’enquête plutôt que sur des
renseignements concernant les intervieweurs, qui peuvent différer d’une enquête
à l’autre.
Une
application future du cadre de l’effet d’enquête présenté ici consisterait à
trouver une affectation budgétaire optimale pour ce qui est du nombre d’UPE et
d’intervieweurs, pour une taille d’échantillon efficace donnée. Cette
optimisation nécessite un modèle de coût pour le déploiement des intervieweurs
dans un ensemble possible d’UPE. Les instituts chargés du travail sur le
terrain pourraient éventuellement fournir les renseignements nécessaires au
calcul d’un tel modèle pour un pays donné. Cette méthode pourrait aider les
responsables de la planification d’enquête à accroître l’efficacité des
enquêtes en personne, ce qui est de plus en plus important, car les enquêtes
fondées sur des échantillons probabilistes sont soumises à des pressions en
raison des solutions de rechange peu coûteuses consistant à recruter des
répondants à partir de panels élargis en ligne.
De futures
recherches pourraient s’intéresser aussi à l’élaboration d’un effet d’enquête
pour d’autres estimateurs que la moyenne pondérée de l’échantillon, notamment
pour des estimateurs qu’on peut décrire comme des fonctions de totaux estimés,
qui comprennent l’estimateur par les moindres carrés ordinaires pour les
coefficients de régression (Särndal et coll., 1992, section 5.10). On
devrait pouvoir calculer des effets d’enquête, selon le cadre montré à la
section 2, qui permettent une factorisation semblable à l’effet d’enquête
présenté dans l’article.
Annexe
En annexe, nous présenterons une courte notation de
plusieurs sommes, où, par exemple,
sera l’abréviation de
Résultats 1
Démonstration : Nous devons montrer que
et
se
vérifie, si
et
pour tous les
et
Comme le montrent Gabler et coll. (1999), si
pour tous les
au moyen de l’inégalité de Cauchy-Schwarz,
nous savons que
Si nous avons
pour tous les
alors
La démonstration de l’inégalité (A.2) est analogue à
celle qui précède, ce qui complète la démonstration du résultat 1.
Bornes supérieures pour
et
Pour des valeurs données
et
et
avec
pour tous les
et
nous pouvons construire une borne supérieure
pour
et
Nous savons
que
Nous devons maintenant trouver une valeur suffisamment
élevée de
Pour cela, nous définissons
et
Par conséquent, nous devons régler le problème
suivant :
où
où
signifie arrondi au nombre entier inférieur le
plus proche. On peut résoudre le problème formulé dans l’équation (A.4) au
moyen d’un résolveur pour programmes linéaires, par exemple la fonction solveLP du module R (Henningsen,
2012). La fonction
donne un maximum de
étant donné que les bornes supérieure et
inférieure des poids sont
et
et que les poids sont mis à l’échelle à
c’est-à-dire
On maximise la somme des carrés en donnant aux
plus de poids possible leur valeur la plus élevée
sous la condition que chaque poids ait au
moins une valeur de
et que
On peut ensuite résoudre le problème au moyen
d’un algorithme du simplexe. On peut déterminer une borne supérieure pour
de la même façon. Si l’on change le problème
pour une minimisation, on peut trouver une borne inférieure pour
Il n’est toutefois pas garanti que
l’optimisation séparée de
et
produise des valeurs de
permettant qu’une valeur de
maximise (ou minimise) conjointement
et
Toutefois, si
et
sont les vecteurs optimisant
et
respectivement, il devrait être possible de
trouver une valeur possible pour
par exemple au moyen d’un ajustement
proportionnel itératif.
Pour
nous obtenons selon les mêmes hypothèses que
précédemment
Résultat 2
Démonstration : On peut montrer la borne
supérieure du résultat 2 en utilisant l’inégalité de Cauchy-Schwarz, qui
nous donne
Avec un peu d’algèbre, nous pouvons formuler la borne
supérieure de
Pour démontrer la borne inférieure du résultat 2,
nous résolvons le problème suivant :
On peut trouver une solution au problème formulé dans
(A.7) en considérant que si nous avons
et
alors par conséquent, pour
nous pouvons augmenter
si nous réduisons tout
de un et ajoutons un à
Ainsi, si
pour tous les
et
alors
est à son maximum, avec
Résultat 4
Démonstration : Compte tenu du résultat 2,
pour prouver le deuxième membre du résultat 4, nous devons montrer que
Pour prouver l’inégalité (A.8), il nous suffit de montrer
que
Le reste découle des preuves d’inégalités (A.1) et (A.2).
Par conséquent, il suffit de montrer que
si
pour toutes les valeurs
ce qui découle également de l’inégalité de
Cauchy-Schwarz. L’inégalité (A.8) suit alors si
pour
et
Le premier membre du résultat 4 suit la
démonstration du résultat 6 dans Gabler et Lahiri (2009) et du
résultat 2.
Variables de l’ESS6 utilisées
aux fins d’évaluation empirique
Tableau A.1
Variables de l’ESS6 utilisées aux fins d’évaluation empirique
Sommaire du tableau
Le tableau montre les résultats de Variables de l’ESS6 utilisées aux fins d’évaluation empirique. Les données sont présentées selon pplfair (titres de rangée) et trstprt, stfdem, imueclt et iorgact(figurant comme en-tête de colonne).
| pplfair |
trstprt |
stfdem |
imueclt |
iorgact |
| pplhlp |
trstep |
stfedu |
imwbcnt |
agea |
| polintr |
trstun |
stfhlth |
happy |
gndr |
| trstprl |
lrscale |
gincdif |
aesfdrk |
Cette cellule est vide |
| trstlgl |
stflife |
freehms |
health |
Cette cellule est vide |
| trstplc |
stfeco |
euftf |
rlgdgr |
Cette cellule est vide |
| trstplt |
stfgov |
imbgeco |
wkdcorga |
Cette cellule est vide |
La définition de ces variables, y compris le texte de la
question, se trouve dans l’ESS (2013).
Bibliographie
Bates, D.M., Mächler, M., Bolker, B.M.
et Walker, S.C. (2015). Fitting linear mixed-effects models using lme4. Journal of Statistical Software, 67, 1,
1-48. https://doi.org/10.18637/jss.v067.i01.
Bates, D.M., Mächler, M., Bolker, B.M.
et Walker, S.C. (2019). Lme4: Linear
Mixed-Effects Models Using ‘Eigen’ and S4. https://CRAN.R-project.org/package=lme4.
Beullens, K., et
Loosveldt, G. (2016). Interviewer effects in the European
social survey. Survey Research Methods,
10, 2, 103-118.
Biemer, P.P. (2010). Total survey error:
Design, implementation, and evaluation. Public
Opinion Quarterly, Oxford University Press, 74, 5, 817-848.
Chambers, R.L., et Skinner, C.J. (2003). Analysis of Survey Data. New York:
John Wiley & Sons, Inc.
Chaudhuri, A., et
Stenger, H. (2005). Survey
Sampling: Theory and Methods. CRC Press.
Davis, P., et
Scott, A. (1995). La variance de l’intervieweur et ses effets sur les
comparaisons de domaines. Techniques
d’enquête, 21, 2, 111-118. Article accessible à l’adresse https://www150.statcan.gc.ca/n1/pub/12-001-x/1995002/article/14405-fra.pdf.
Ellis, P.D. (2010). The Essential Guide to Effect Sizes: Statistical Power, Meta-Analysis,
and the Interpretation of Research Results. Cambridge University Press.
European Social Survey (ESS) (2013). ESS6 Data Protocol. 1.4. Londres: ESS
ERIC. http://www.europeansocialsurvey.org/data/download.html?r=6.
European Social Survey (ESS) (2014a). European Social Survey Round 6 Interviewer
Questionnaire. Dataset edition: 2.1. Londres: ESS ERIC.
European Social Survey (ESS) (2014b). Weighting European Social Survey Data.
Londres: ESS ERIC. www.europeansocialsurvey.org/docs/methodology/ESS_weighting_data_1.pdf.
European Social
Survey (ESS) (2014c). ESS6 - 2012 Documentation Report. Edition: 2.3. Londres: ESS ERIC. http://www.europeansocialsurvey.org/docs/round6/survey/ESS6_data_documentation_report_e02_3.pdf.
European Social Survey (ESS) (2016). European Social Survey Round 6 Data.
Dataset edition: 2.2. Londres: ESS ERIC.
European Social Survey (ESS) (2018a). Countries by Round (Year). Londres: ESS
ERIC. http://www.europeansocialsurvey.org/data/country_index.html.
European Social Survey (ESS) (2018b). Data and Documentation by Round European
Social Survey (ESS). Londres: ESS ERIC. http://www.europeansocialsurvey.org/data/download.html?r=6.
Fahrmeir, L., Heumann, C., Künstler, R.,
Pigeot, I. et Tutz, G. (1997). Statistik:
Der Weg Zur Datenanalyse. 1ièreéd. Berlin: Springer-Verlag.
Fischer, M., West, B.T., Elliott, M.R.
et Kreuter, F. (2018). The impact of interviewer effects on regression
coefficients. Journal of Survey
Statistics and Methodology, mai. https://doi.org/10.1093/jssam/smy007.
Gabler, S., Häder,
S. et Lahiri, P. (1999). Justification à base de modèle de la formule de Kish
pour les effets de plan de sondage liés à la pondération et à l’effet de
grappe. Techniques d’enquête, 25, 1,
119-120. Article accessible à l’adresse https://www150.statcan.gc.ca/n1/pub/12-001-x/1999001/article/4718-fra.pdf.
Gabler, S., Häder,
S. et Lynn, P. (2006). Effets de plan pour les échantillons à plans de sondage
multiples. Techniques d’enquête, 32,
1, 127-133. Article accessible à l’adresse https://www150.statcan.gc.ca/n1/fr/pub/12-001-x/2006001/article/9256-fra.pdf.
Gabler, S., et
Lahiri, P. (2009). De la définition et de l’interprétation de la variabilité
d’intervieweur pour un plan d’échantillonnage complexe. Techniques d’enquête, 35, 1, 91-106. Article accessible à l’adresse https://www150.statcan.gc.ca/n1/fr/pub/12-001-x/2009001/article/10886-fra.pdf.
Ganninger, M. (2010). Design Effects: Model-Based Versus
Design-Based Approach. Édité par
GESIS -Leibniz-Institut für Sozialwissenschaften. Array 3.
Genz, A., Bretz,
F., Miwa, T., Mi, X. et Hothorn, T. (2019). Mvtnorm: Multivariate Normal and T
Distributions. https://CRAN.R-project.org/package=mvtnorm.
Groves, R.M. (2009). Survey Methodology. 2ièmeéd.
Wiley Series in Survey Methodology. Hoboken, New York: John Wiley & Sons,
Inc.
Groves, R.M., et Lyberg, L. (2010).
Total survey error: Past, present, and future. Public Opinion Quarterly, Oxford University Press, 74, 5, 849-879.
Henningsen, A. (2012). Linprog: Linear Programming/Optimization.
https://CRAN.R-project.org/package=linprog.
Kish, L. (1962). Studies of interviewer
variance for attitudinal variables. Journal
of the American Statistical Association, 57, 297, 92-115. https://doi.org/10.1080/01621459.1962.10482153.
Kish, L. (1965). Survey Sampling. New York: John Wiley & Sons, Inc.
Lohr, S.L. (2014). Design effects for a
regression slope in a cluster sample. Journal
of Survey Statistics and Methodology, 2, 2, 97-125. https://doi.org/10.1093/jssam/smu003.
Lynn, P., et
Gabler, S. (2004). Approximations
to B* in the Prediction of Design Effects Due to Clustering. Série de documents de travail de l’ISER.
Lynn, P., Häder,
S., Gabler, S. et Laaksonen, S. (2007). Methods for achieving
equivalence of samples in cross-national surveys: The European social survey
experience. Journal of Official
Statistics, 23, 1, 107.
O’Muircheartaigh, C., et Campanelli, P.
(1998). The relative impact of interviewer effects and sample design effects on
survey precision. Journal of the Royal
Statistical Society: Series A (Statistics in Society), 161, 1, 63-77.
Raudenbush, S.W. (1993). A crossed
random effects model for unbalanced data with applications in cross-sectional
and longitudinal research. Journal of
Educational Statistics, 18, 4, 321-349. https://doi.org/10.2307/1165158.
R Core Team (2019). R: A Language and Environment for Statistical Computing. Vienne,
Autriche : R Foundation for Statistical Computing. https://www.R-project.org/.
Särndal, C.-E., Swensson, B. et Wretman,
J. (1992). Model Assisted Survey Sampling.
New York: Springer-Verlag.
Scheipl, F., Greven, S. et Kuechenhoff,
H. (2008). Size and power of tests for a zero random effect variance or
polynomial regression in additive and linear mixed models. Computational Statistics & Data Analysis, 52, 7, 3283-3299.
Schnell, R., et Kreuter, F. (2005).
Separating interviewer and sampling-point effects. Journal of Official Statistics, 21, 3, 389-410.
The ESS Sampling Expert Panel (2016). Sampling Guidelines: Principles and
Implementation for the European Social Survey. Londres: ESS ERIC
Headquarters. http://www.europeansocialsurvey.org/docs/round8/methods/ESS8_sampling_guidelines.pdf.
Vassallo, R.,
Durrant, G. et Smith, P. (2017). Separating interviewer and area effects
by using a cross-classified multilevel logistic model: Simulation findings and
implications for survey designs. Journal
of the Royal Statistical Society: Series A (Statistics in Society), 180, 2,
531-550.
Von Sanden, N.D. (2004). Interviewer Effects in Household Surveys:
Estimation and Design. Thèse de doctorat, Wollongong: University of
Wollongong. http://ro.uow.edu.au/theses/312.
West, B.T., et Blom, A.G. (2017).
Explaining interviewer effects: A research synthesis. Journal of Survey Statistics and Methodology, 5, 2, 175-211. https://doi.org/10.1093/jssam/smw024.
West, B.T., et
Elliott, M.R. (2014). Approches fréquentiste et bayésienne pour comparer les
composantes de l’écart intervieweurs dans deux groupes d’intervieweurs
d’enquête. Techniques d’enquête, 40,
2, 183-210. Article accessible à l’adresse https://www150.statcan.gc.ca/n1/fr/pub/12-001-x/2014002/article/14092-fra.pdf.