6. Résumé et conclusion
Natalja Menold
Les résultats de la présente étude indiquent que des écarts significatifs par rapport au paramètre de population (50 % d'hommes) ont été observés dans de nombreux pays participant à l'ESS et que ces écarts étaient associés à la facilité de prendre contact avec les conjoints ou à la coopération de ces derniers dans les couples hétérosexuels (appui pour l'hypothèse H1). La grandeur de ces écarts variait en fonction de la méthode d'échantillonnage lorsque les conjoints différaient également en ce qui concerne la facilité de prendre contact avec eux (dans les sous-échantillons avec enfants). Donc, l'hypothèse H2 est partiellement corroborée. Dans les sous-échantillons avec enfants, l'ERP était la méthode d'échantillonnage associée aux données de la plus haute qualité puisque les écarts qu'elle produisait par rapport au paramètre de population étaient les plus faibles. Cependant, les résultats pour les sous-échantillons composés de conjoints retraités montrent que des écarts très prononcés sont également possibles sous ERP.
Les résultats pour les sous-échantillons avec enfants appuient l'explication voulant que le comportement des intervieweurs concernant les substitutions joue un rôle, puisque les écarts prévus par rapport au paramètre de population variaient en fonction du degré de liberté dont disposait l'intervieweur pour influer sur la réalisation de l'échantillon. Des résultats comparables ont été signalés par Sodeur (1997) et Kohler (2007). Il est moins plausible d'expliquer le fait que les hommes sont interviewés moins de 50 % du temps par une différence d'attitude concernant le refus de participer puisque, lorsqu'il en est ainsi, on s'attend à ce que la proportion d'hommes soit supérieure à 50 %. La différence d'attitude concernant le refus de participer ne devrait pas non plus varier selon la méthode d'échantillonnage. Pour les retraités, l'interview d'hommes plus de 50 % du temps a été observée dans plusieurs pays, mais dans des vagues isolées de l'enquête seulement. Cette faible stabilité des écarts par rapport au ratio hommes-femmes de 50 % peut aussi être associée à l'effet de l'intervieweur plutôt qu'à la différence d'attitude concernant le refus de participer, puisque cette dernière serait relativement stable dans un pays au cours de la période de référence de l'analyse. Cependant, puisque la présente étude n'a pas été réalisée selon un plan d'expérience, il est important de poursuivre l'étude des effets de la différence d'attitude à l'égard du refus de participer et des substitutions afin de pouvoir mieux les différencier et d'examiner les relations causales.
Même si les écarts par rapport au paramètre de population de 50 % variaient dans certains pays d'une vague à l'autre, dans l'ensemble, leur grandeur ne variait pas de manière significative au fil du temps, malgré l'amélioration des procédures de collecte de données de l'ESS (voir Koch et coll. 2009). De surcroît, les écarts par rapport au paramètre de population ne dépendaient pas de l'organisme chargé de la collecte des données ni du pays.
Les résultats donnent aussi à penser que le mode de rémunération et les procédures de contrôle de l'intervieweur peuvent réduire les cas de substitution. Cependant, il convient de souligner que la possibilité de prendre en compte le mode de rémunération et les procédures de contrôle a été limitée en raison de la faible variation dans les données ou du peu d'information disponible dans la documentation de l'enquête.
Il faut aussi tenir compte du fait que les résultats présentés ici sont fondés sur des sous-échantillons particuliers et ne peuvent pas être généralisés à l'échantillon complet de l'ESS. Cependant, l'absence de biais dans les sous-échantillons ne garantit pas l'absence de biais dans l'échantillon complet (Kohler 2007, page 55). En outre, une analyse portant sur des groupes particuliers peut souvent présenter un intérêt (p. ex., savoir quelles sont les opinions des parents avec enfants ou des personnes salariées).
Les résultats de la présente étude donnent à penser que l'ERP est associé à un échantillon de meilleure qualité, de sorte que le biais de non-représentation dans les enquêtes transculturelles est plus faible que si l'on utilise les autres méthodes d'échantillonnage. La présente étude fait ressortir ce fait plus clairement que les études antérieures. Les analyses portant sur les données ALLBUS réalisées par Sodeur (2007) et par Hoffmeyer-Zlotnik (2006) comparaient plusieurs vagues d'une seule enquête dans un seul pays (Allemagne); dans l'analyse de Kohler (2007), l'effet de la méthode d'échantillonnage était confondu avec l'effet de l'enquête (voir la section 1). Ces situations ont été évitées dans l'analyse présentée ici.
Pour conclure, des écarts significatifs par rapport au paramètre de population, qui semblent être associés à des substitutions effectuées par les intervieweurs, ont été observés dans de nombreux pays participant à l'ESS. Afin de réduire cet effet d'intervieweur, il est préférable d'utiliser des méthodes d'échantillonnage, telles que l'ERP, qui réduisent le degré de liberté dont disposent les intervieweurs pour sélectionner les répondants et influer sur la qualité de l'échantillon. En outre, les procédures d'enquête qui accroissent la motivation des intervieweurs à produire des données d'enquête exactes sont très pertinentes et doivent être prises en considération dans de futures études, ainsi que dans les pratiques d'enquête.
Annexe
| Code de pays : ISO 3166-1 |
Pays | Changement de méthode d’échantillonnage (entre les vagues) | Changement d’organisme de collecte des données : entre les vagues | Âge légal de la retraite | |
|---|---|---|---|---|---|
| Hommes | Femmes | ||||
| BE | Belgique | 1-2; 2-3 | 65 | 65 | |
| BG | Bulgarie | 3-4 | 63 | 60 | |
| DE | Allemagne | 65 | 65 | ||
| DK | Denemark | 65 | 65 | ||
| EE | Estonie | 2-3; 3-4 | 63 | 60 | |
| ES | Espagne | ERA-ENR (1-2) | 2-3 | 65 | 65 |
| FI | Finlande | 65 | 65 | ||
| HU | Hongrie | ERP – ERA (2-3) et inverse (3-4) | 2-3 | 62 | 62 |
| NO | Norvège | 67 | 67 | ||
| PL | Pologne | 65 | 60 | ||
| SE | Suède | 65 | 65 | ||
| SI | Slovénie | 63 | 60 | ||
| SK | Slovaquie | ERP – ENR (3-4) | 2-3; 3-4 | 62 | 59 |
| CH | Suisse | 65 | 64 | ||
| CZ | République tchèque | ERA-ENR (1-2) | 1-2 | 65 | 62 |
| CY | Chypre | 3-4 | 65 | 65 | |
| GB | Royaume-Uni | 1-2; 3-4 | 65 | 60 | |
| GR | Grèce | ENR-ERA (2-4) | 65 | 60 | |
| IE | Irlande | 3-4 | 65 | 65 | |
| IL | Israël | 67 | 64 | ||
| IT | Italie | 65 | 60 | ||
| LU | Luxembourg | 65 | 65 | ||
| NL | Pays-Bas | 65 | 65 | ||
| TR | Turquie | 47 | 44 | ||
| AT | Autriche | 65 | 60 | ||
| FR | France | 60 | 60 | ||
| PT | Portugal | 65 | 65 | ||
| RU | Fédération russe | 60 | 55 | ||
| UA | Ukraine | 60 | 55 | ||
| Notes Sources des données sur l’âge légal de la retraite : 1) http://www.oecd-ilibrary.org/finance-and-investment/pensions-at-a-glance-2011_pension_glance-2011-en 2) http://ec.europa.eu/employment_social/missoc/db/public/compareTables.do 3) Israel: http://www.btl.gov.il/ |
|||||
Bibliographie
AAPOR (2003). Interviewer Falsification in Survey Research: Current Best Methods for Prevention, Detection and Repair of Its Effects. (http://www.aapor.org/pdfs/falsification.pdf; 14 mai 2009).
Arber, S. (2002). Design samples. Dans Researching Social Life, (Éd., N. Gilbert), Thousand Oaks: Sage, 58-84.
Billiet, J., Phillipsen, M., Fitzgerald, R. et Stoop, I. (2007). Estimation of nonresponse bias in the European Social Survey: Using information from reluctant respondents. Journal of Official Statistics, 23, 135-162.
Couper, M.P., et Groves, R.M. (1992). Le rôle de l'intervieweur dans la participation aux enquêtes. Techniques d'enquête, 18, 2, 279-294.
Couper, M.P., et De Leeuw, E.D. (2003). Nonresponse in cross-cultural and crossnational surveys. Dans Cross-Cultural Survey Methods, (Éds., J.A. Harkness, F.J.R. van de Vijver et P.Ph. Mohler), New York: John Wiley & Sons, Inc., 157-177.
De Heer, W. (1999). International response trends: Results of an international survey. Journal of Official Statistics, 15, 129-142.
De Heer, W., et Israis, A.Z. (1992). Response Trends in Europe. Article presenté à l'American Statistical Association, août 1992.
De Leeuw, E., et De Heer, W. (2002). Trends in household survey nonresponse: A longitudinal and international comparison. Dans Survey Nonresponse, (Éds., R.M. Groves, D.A. Dillman, J.L. Eltinge et R.J.A. Little), New York: John Wiley & Sons, Inc., 41-54.
De Leeuw, E.D., et Hox, J. (1996). The effect of the interviewer on the decision to cooperate in a survey of the elderly. Dans International Perspectives on Nonresponse, (Éd., S. Laaksonen). Helsinki: Statistics Finland, 46-52.
Dohrenwend, B.S., et Dohrenwend, B.P. (1968). Sources of refusals in surveys. The Public Opinion Quarterly, 32(1), 74-83.
Durrant, G.B., Groves, R.M., Staetsky, L. et Steele, F. (2010). Effects of interviewer attitudes and behaviors on refusal in household surveys. Public Opinion Quarterly, 74, 1-36.
ESS1-ESS4 data from Contact forms. Bergen, European Social Survey Data Archive, Norwegian Social Science Data Services. Extrait le 8 juin 2013 de: http://ess.nsd.uib.no/ess/round1/download.html.
European Social Survey Round 1-4 Data (2011). Data file edition ESS1-4e01.0_F1. Norwegian Social Science Data Services, Norway Data Archive and distributor of ESS data.
European Social Survey (2011). ESS-4 2008 Documentation Report. Edition 4.0. Bergen, European Social Survey Data Archive, Norwegian Social Science Data Services.
European Social Survey (2011). ESS-3 2006 Documentation Report. Edition 3.3. Bergen, European Social Survey Data Archive, Norwegian Social Science Data Services.
European Social Survey (2011). ESS-2 2004 Documentation Report. Edition 3.3. Bergen, European Social Survey Data Archive, Norwegian Social Science Data Services.
European Social Survey (2011). ESS-1 2002 Documentation Report. Edition 6.2. Bergen, European Social Survey Data Archive, Norwegian Social Science Data Services.
Groves, R.M., Fowler, F.J., Couper, M.P., Lepkowski, J.M., Singer, E. et Tourangeau, R. (2004). Survey Methodology. New Jersey: Wiley.
Haeder, S., et Lynn, P. (2007). How representative can a multi-nation survey be? In Measuring Attitudes Cross-Nationally. Lessons from the European Social Survey, (Éds., R. Jowell, C. Roberts, R. Fitzgerald and E. Gillian), London et al.: Sage, 33-52.
Hoffmeyer-Zlotnik, J.H.P. (2006). Stichprobenziehung in der Umfragepraxis. Die unterschiedlichen Ergebnisse von Zufallsstichproben in face-to-face Umfragen. Dans Stichprobenqualität in Bevölkerungsumfragen, (Éds., F. Faulbaum and Ch. Wolf). Informationszentrum Sozialwissenschaften: Bonn, 19-36.
Hox, J.J., et De Leeuw, E.D. (2002). The Influence of interviewers' attitude and behavior on household survey nonresponse: An international comparison. Dans Survey Nonresponse, (Éds., R.M. Groves, D.A. Dillman, J.L. Eltinge et R.J.A. Little), New York: John Wiley & Sons, Inc., 103-118.
Johnson, T.P., O'Rourke, D., Burris, J. et Owens, L. (2002). Culture and survey nonresponse. Dans Survey Nonresponse, (Eds., R.M. Groves, D.A. Dillman, J.L. Eltinge et R.J.A. Little), New York: John Wiley & Sons, Inc., 55-69.
Kish, L. (1965). Survey Sampling. New York: John Wiley & Sons, Inc.
Koch, A. (1995). Gefälschte Interviews: Ergebnisse der Interviewerkontrolle beim ALLBUS 1994. ZUMA-Nachrichten, 36, 89-105.
Koch, A., Blom, A.G., Stoop, I. et Kappelhof, J. (2009). Data collection quality assurance in cross-national surveys at the example of the ESS. Methoden Daten Analysen, 3, 219-247.
Kohler, U. (2007). Surveys from inside: An assessment of unit nonresponse bias with internal criteria. Survey Research Methods, 1, 2, 55-67.
Kreuter, F., et Kohler, U. (2009). Analyzing contact sequences in call record data. Potential and limitations of sequence indicators for nonresponse adjustments in the European Social Survey. Journal of Official Statistics, 25, 203-226.
Lynn, P., Haeder, S., Gabler, S. et Laaksonen, S. (2007). Methods for achiving equivalence of samples in cross-national surveys: The European Social Survey Experience. Journal of Official Statistics, 1, 107-124.
Pickery, J., et Loosveldt, G. (2002). A multilevel multinomial analysis of interviewer effects on various components of unit non response. Quality and Quantity, 36, 427-437.
Philippens, M., et Billiet, J. (2004). Monitoring and evaluating nonresponse issues and fieldwork efforts in the European Social Survey. Article présenté lors de la European Conference on Quality and Methodology in Official Statistics. Mainz, Allemagne.
Schnauber, A., et Daschmann, G. (2008). States oder traits? Was beeinflußt die Teilnahmebereitschaft an telefonischen Interviews? Zeitschrift Für Empirische Sozialforschung, 2, 97-123.
Schnell, R., Hill, P.B. et Esser, E. (2011). Methoden der Empirischen Sozialforschung. München: R. Oldenbourg Verlag.
Smith, T.W. (2007). Survey nonresponse procedures in cross-national perspective: The 2005 ISSP non-response survey. Survey Research Methods, 1, 45-54.
Sodeur, W. (1997). Interne kriterien zur Beurteilung von Wahrscheinlichkeitsauswahlen. ZA-Information, 41, 58-82.
Sodeur, W. (2007). Entscheidungsspielräume von Interviewern bei der Wahrscheinlichskeitsauswahl. Methoden Daten Analysen, 1, 2, 107-130.
Stoop, I.A.L. (2004). Surveying nonrespondents. Field Methods, 16, 23-54.
Stoop, I.A.L. (2005). The Hunt for the Last Respondent. The Hague: Social and Cultural Planning Office.
Symons, K., Matsuo, H., Beullens, K. et Billiet, J. (2008). Response Based Quality Assessment in the ESS - Round 3: An Update for 19 countries. London: Centre for Comparative Social Surveys, City University.
Vehovar, V. (1999). Field substitution and unit nonresponse. Journal of Oficial Statistics, 2, 335-350.
Williams, B., Irvine, L., McGinnis, A.R., McMurdo, M.E.T. et Crombie, I.K. (2007). When "no� might not quite mean "no�; the importance of informed and meaningful non-consent: results from a survey of individuals refusing participation in a health-related research project. BMC Health Services Research, 7, 59.
- Date de modification :