Les comportements de réponse indésirables sont-ils constants d’une enquête à l’autre ? Un examen approfondi des caractéristiques de répondants
Section 5. Conclusion et discussion
Dans la présente étude, nous avons cherché à déterminer la mesure dans laquelle la capacité cognitive est systématiquement associée à une forte occurrence de comportements de réponse indésirables (CRI), dans différentes enquêtes. Comme substituts de la capacité cognitive, nous avons utilisé les caractéristiques d’âge et de niveau de scolarité des répondants. L’occurrence d’un CRI est indiquée par une incertitude variable, car chacun des répondants a donné une réponse à un nombre différent d’éléments qui pouvaient s’appliquer à un CRI donné. Afin de tenir compte de cette variabilité, nous avons eu recours à une adaptation du delta de Cliff, reconnu pour son efficacité dans l’établissement de l’ampleur de l’effet, et avons comparé les groupes de répondants sous la forme de répartitions de la densité ou de profils de répondants. Le CRI de répondants d’une catégorie donnée (par exemple la tranche d’âge des 15 à 24 ans) a été comparé à celui de l’ensemble des répondants à partir des autres catégories rattachées à cette caractéristique combinées. La présente étude portait sur les comportements de satisfaction (« Je ne sais pas », acquiescement, réponse neutre, réponse extrême, choix de la première réponse et réponses identiques), les comportements fondés sur un contenu sensible (réponse socialement désirable et refus de répondre) et sur les caractéristiques d’âge et de niveau de scolarité des répondants.
Si nous considérons les enquêtes dans leur ensemble, les comportements de satisfaction et les comportements fondés sur un contenu sensible sont évidents pour des tranches d’âge et des niveaux de scolarité précis. Par contre, nous n’avons constaté aucune constance dans les CRI à l’échelle de l’ensemble des enquêtes, quels que soient la tranche d’âge et le niveau de scolarité. Nos travaux ont fait appel aux réponses données par un panel constitué des mêmes répondants. En général, s’il fallait s’attendre à une constance des CRI, c’est particulièrement dans un tel panel qu’on devrait la constater. Les répondants ayant tendance à adopter un comportement ou un style le manifesteraient particulièrement au moment de se familiariser avec la méthode de réponse à de multiples enquêtes présentées à un panel au cours d’une période donnée. Comme nous n’avons constaté aucune de ces tendances, nous pouvons en conclure que la capacité cognitive n’est probablement pas une variable explicative de la constance d’un CRI pour un ensemble d’enquêtes.
Si nous adopte une définition plus large de la constance, nous nous rendons compte, notamment, que certains répondants adoptent des formes particulières de comportement de satisfaction dans toutes les enquêtes. Les répondants les plus jeunes et ceux dont le niveau de scolarité est faible répondent relativement plus souvent « Je ne sais pas »; les plus scolarisés choisissent relativement plus fréquemment les options de réponse mentionnées parmi les premières, contrairement aux deux groupes précédents, et adoptent relativement moins souvent les réponses neutres à de multiples enquêtes. Il n’y a toutefois pas de tranche d’âge ni de niveau de scolarité montrant une constance des CRI dans la totalité ou la quasi-totalité des enquêtes.
Notons que, dans une seule enquête, les éléments sont rassemblés autour d’un sujet principal et les caractéristiques risquent également d’être similaires. Il est donc possible qu’une certaine interdépendance lie les éléments d’une enquête. Ce phénomène aurait pu influencer les comportements, si nous avions trouvé à leur égard une constance entre les enquêtes. Certains répondants sont à n’en pas douter plus sensibles que d’autres aux interdépendances entre les éléments, ce qui les mène à manifester un CRI dans un ensemble d’enquêtes. Dans la présente étude, nous n’avons pas constaté de comportements de réponse constants dans l’ensemble des enquêtes. Cela signifie que l’interdépendance entre les éléments est peu susceptible d’avoir exercé une influence structurelle différente sur les catégories de répondants, toutes enquêtes confondues.
Nos résultats semblent aller au-delà de l’absence de constance des CRI dans l’ensemble des enquêtes. Plus le nombre d’enquêtes pertinentes pour une CRI augmentait, plus nos résultats s’opposaient; dans un contexte relatif, de nombreuses catégories se rattachaient de plus près à un CRI dans certaines enquêtes, mais elles s’en éloignaient pour le même CRI dans d’autres enquêtes. Nous avons obtenu des résultats encore plus antagonistes en ce qui concerne les réponses socialement souhaitables. En effet, dans l’ensemble des enquêtes, les CRI que nous avons relevés ont été plus souvent contrastants que constants. Ces données sont incompatibles avec notre opinion, à savoir que des groupes donnés présenteraient une constance du point de vue de certains CRI dans la plupart ou la totalité des enquêtes. Nous concluons donc, dans l’ensemble, que l’occurrence des CRI ne peut être imputable avec certitude à la capacité cognitive d’un répondant, mais peut plutôt dépendre considérablement des caractéristiques de l’enquête et de ses éléments.
Pour faire suite à cette conclusion, nous ne recommandons pas d’adopter un plan d’enquête adaptatif basé sur la capacité cognitive des répondants sans tenir compte de la nature de cette enquête. Nos observations en matière d’âge et de niveau de scolarité manquent de cohérence et diffèrent clairement selon les enquêtes et les CRI. Essentiellement, cela signifie que nos résultats confirment les associations variables et leurs différentes orientations dont font état les ouvrages existants. La présente étude possède une valeur ajoutée, puisqu’elle donne une vue d’ensemble très générale des tranches d’âge et de niveau de scolarité, lesquelles ont été systématiquement examinées dans le cadre d’une série de 10 enquêtes différentes et pour 8 CRI distincts. Nous concluons que l’âge et le niveau de scolarité peuvent être pris en considération dans le cadre d’un plan d’enquête adaptatif, mais uniquement pour des enquêtes et des sujets particuliers.
Dans la présente étude, nous ne nous sommes pas intéressés aux CRI que manifestent des personnes ou des groupes de répondants déterminés. Dans toutes les catégories d’âge et de niveau de scolarité, nous avons étudié chaque répondant ayant participé à une enquête pertinente. Par conséquent, dans l’analyse de la constance pour une catégorie de répondants, certains d’entre eux ont été retenus pour uniquement une ou deux enquêtes, tandis que d’autres ont été pris en compte dans la totalité ou la quasi-totalité des enquêtes. Nous n’avions pas pour but d’attribuer un CRI à des répondants individuels ou à des groupes, ni de comparer ces catégories et ces CRI entre différentes enquêtes. L’avantage de la présente étude résidait dans le fait que nous comparions les répondants à de multiples reprises, dans le cadre de chaque enquête pertinente. En considérant tous les répondants entrant dans une catégorie pour toutes les enquêtes pertinentes, nous avons constitué d’importants groupes pour chaque enquête. Nous avons comparé les profils de répondants de ces grands groupes relevant d’une catégorie unique à ceux de grands groupes de toutes les catégories restantes. Nous avons donc porté une attention particulière à l’association entre les caractéristiques du répondant et des CRI potentiellement constants d’une enquête à l’autre. En d’autres termes, nous n’avons pas attribué de CRI à des répondants déterminés, mais bien à la catégorie (par exemple les 15 à 24 ans) dont ils relevaient. Dans le cadre de cette approche particulière, nous avons délibérément laissé de côté des méthodes plus conventionnelles comme l’analyse multiniveau par recoupement (voir notamment Olson et Smyth, 2015; Olson, Smyth et Ganshert, 2019), qui comporte la mesure itérative des répondants individuels. L’accent a été mis sur la visualisation de sommaires relatifs aux CRI et sur la comparaison de sous-groupes qui partageaient la même caractéristique.
Nous avons utilisé les comparaisons entre une catégorie d’âge ou de niveau de scolarité et les autres, afin de répondre à la question de recherche de l’étude concernant la constance. Pour y arriver, nous avons eu recours à une adaptation du delta de Cliff, un moyen efficace de mesurer l’ampleur de l’effet qui nous a été utile non seulement en raison de ses nombreux avantages à l’égard de nos données, mais aussi parce qu’il nous a permis de comparer une catégorie précise aux catégories restantes. Si des différences sont apparues dans la valeur attendue ou dans la composition d’un groupe, des travaux de recherche complémentaires pourraient permettre de faire ressortir les caractéristiques d’un sous-groupe qui favorisent l’apparition d’un CRI dans des enquêtes, des sujets et des éléments donnés. D’autres caractéristiques pertinentes du répondant, comme son sexe ou son origine pourraient aussi être étudiées. Nous serions particulièrement intéressés par les groupes affichant des valeurs attendues plus élevées que d’autres, pour une caractéristique donnée, et par les personnes qui se situent à la droite du profil des répondants.
Des travaux de recherche ultérieurs reposant sur la méthode des profils pourraient porter sur la relation entre les caractéristiques des éléments et les CRI. Ces caractéristiques, tout comme celles des répondants, exercent une influence sur la qualité des données et peuvent être associées à des erreurs de mesure. Bais et coll. (2019), Beukenhorst, Buelens, Engelen, Van der Laan, Meertens et Schouten (2014), Campanelli et coll. (2011), Gallhofer, Scherpenzeel et Saris (2007), et Saris et Gallhofer (2007) donnent une vue d’ensemble des caractéristiques des éléments et de leur relation avec ce type d’erreur. Le codage des éléments peut dépendre de la présence ou de l’absence de caractéristiques portant notamment sur le contenu sensible des questions. Les questions codées comme ayant un contenu sensible pourraient être comparées aux autres, en fonction de l’occurrence d’un CRI. De cette façon, la présence de caractéristiques d’éléments pourrait être liée aux CRI pour des enquêtes entières ou, plus généralement, pour des éléments donnés d’enquêtes multiples. Sur la base de telles associations, il serait possible de présenter un aperçu des caractéristiques actuelles d’un élément et de leur relation avec les CRI et les erreurs de mesure.
Remerciements
Nous tenons à remercier Joost van der Neut pour sa contribution à l’adaptation du delta de Cliff. Nous remercions également CentERdata, qui a mis les données du panel LISS à notre disposition.
Annexe A
| TO | AC | FA | SA | LO | RV | PE | PO | RE | TR | PA | |
|---|---|---|---|---|---|---|---|---|---|---|---|
| SD 65+ | 0,66 | 0,95 | 0,61 | 0,66 | Note *** | 0,79 | 0,77 | 0,59 | 0,27 | 0,77 | Cette cellule est vide |
| SD 75+ | 0,65 | 0,96 | 0,60 | 0,64 | Cette cellule est vide | 0,78 | 0,76 | 0,58 | 0,30 | 0,79 | Cette cellule est vide |
| PR 65+ | 0,33 | Cette cellule est vide | 0,49 | 0,65 | Cette cellule est vide | 0,36 | 0,25 | 0,18 | 0,68 | 0,17 | Cette cellule est vide |
| PR 75+ | 0,31 | Cette cellule est vide | 0,50 | 0,65 | Cette cellule est vide | 0,33 | 0,24 | 0,16 | 0,66 | 0,13 | Cette cellule est vide |
| NSP 65+. | 0,06 | Cette cellule est vide | Cette cellule est vide | Cette cellule est vide | 0,07 | 0,16 | Cette cellule est vide | 0,06 | 0,00 | Cette cellule est vide | Cette cellule est vide |
| NSP 75+. | 0,06 | Cette cellule est vide | Cette cellule est vide | Cette cellule est vide | 0,07 | 0,14 | Cette cellule est vide | 0,07 | 0,00 | Cette cellule est vide | Cette cellule est vide |
| RI 65+ | 0,10 | Cette cellule est vide | 0,05 | 0,36 | Cette cellule est vide | 0,32 | 0,02 | 0,07 | 0,24 | Cette cellule est vide | Cette cellule est vide |
| RI 75+ | 0,08 | Cette cellule est vide | 0,04 | 0,25 | Cette cellule est vide | 0,29 | 0,01 | 0,06 | 0,19 | Cette cellule est vide | Cette cellule est vide |
| RR 65+ | 0,05 | Cette cellule est vide | Cette cellule est vide | Cette cellule est vide | 0,02 | 0,04 | Cette cellule est vide | Cette cellule est vide | Cette cellule est vide | Cette cellule est vide | 0,03 |
| RR 75+ | 0,04 | Cette cellule est vide | Cette cellule est vide | Cette cellule est vide | 0,01 | 0,03 | Cette cellule est vide | Cette cellule est vide | Cette cellule est vide | Cette cellule est vide | 0,03 |
| AQ 65+ | 0,47 | Cette cellule est vide | 0,44 | Cette cellule est vide | Cette cellule est vide | Cette cellule est vide | 0,50 | 0,45 | 0,19 | Cette cellule est vide | Cette cellule est vide |
| AQ 75+ | 0,49 | Cette cellule est vide | 0,42 | Cette cellule est vide | Cette cellule est vide | Cette cellule est vide | 0,51 | 0,48 | 0,21 | Cette cellule est vide | Cette cellule est vide |
| RN 65+ | 0,22 | Cette cellule est vide | 0,28 | Cette cellule est vide | Cette cellule est vide | 0,25 | 0,21 | 0,22 | Cette cellule est vide | Cette cellule est vide | Cette cellule est vide |
| RN 75+ | 0,21 | Cette cellule est vide | 0,28 | Cette cellule est vide | Cette cellule est vide | 0,25 | 0,21 | 0,22 | Cette cellule est vide | Cette cellule est vide | Cette cellule est vide |
| RX 65+ | 0,19 | Cette cellule est vide | 0,37 | Cette cellule est vide | Cette cellule est vide | 0,11 | 0,23 | 0,11 | Cette cellule est vide | Cette cellule est vide | Cette cellule est vide |
| RX 75+ | 0,20 | Cette cellule est vide | 0,40 | Cette cellule est vide | Cette cellule est vide | 0,11 | 0,25 | 0,10 | Cette cellule est vide | Cette cellule est vide | Cette cellule est vide |
|
|||||||||||
Bibliographie
Aichholzer, J. (2013). Intra-individual variation of extreme response style in mixed-mode panel studies. Social Science Research, 42, 957-970. doi: http://dx.doi.org/10.1016/j.ssresearch.2013.01.002.
Alwin, D.F., et Krosnick, J.A. (1991). The reliability of survey attitude measurement. The influence of question and respondent attributes. Sociological Methods and Research, 20,139-181.
Andersen, H., et Mayerl, J. (2019). Responding to socially desirable and undesirable topics: Different types of response behaviour? Methods, Data, Analyses: A Journal for Quantitative Methods and Survey Methodology (MDA), 13(1), 7-35. https://doi.org/10.12758/mda.2018.06.
Andrews, F.M., et Herzog, A.R. (1986). The quality of survey data as related to age of respondent. Journal of the American Statistical Association, 81(394), 403-410.
Antoni, M., Bela, D. et Vicari, B. (2019). Validating earnings in the German National Educational Panel Study: Determinants of measurement accuracy of survey questions on earnings. Methods, Data, Analyses: A Journal for Quantitative Methods and Survey Methodology (MDA), 13(1), 59-90. https://doi.org/10.12758/mda.2018.08.
Bachman, J.G., et O’Malley, P.M. (1984). Yea-saying, nay-saying, and going to extremes: Black-white differences in response styles. Public Opinion Quarterly, 48, 491-509.
Bais, F. (2021). Constructing Behaviour Profiles for Answer Behaviour Across Surveys. Dissertation, Utrecht University. https://doi.org/10.33540/538.
Bais, F., Schouten, B., Lugtig, P., Toepoel, V., Arends-Tóth, J., Douhou, S., Kieruj, N., Morren, M. et Vis, C. (2019). Can survey item characteristics relevant to measurement error be coded reliably? A case study on eleven Dutch General Population Surveys. Sociological Methods and Research, 48(2), 263-295. https://doi.org/10.1177/0049124117729692.
Bais, F., Schouten, B. et Toepoel, V. (2020). Investigating response patterns across surveys: Do respondents show consistency in undesirable answer behaviour over multiple surveys? Bulletin de Méthodologie Sociologique, 147-148(1-2), 150-168. https://doi.org/10.1177/0759106320939891.
Beatty, P., et Herrmann, D. (2002). To answer or not to answer: Decision processes related to survey item nonresponse. Dans Survey Nonresponse, (Éds., R.M. Groves, D.A. Dillman, J.L. Eltinge et R.J.A. Little), First Edition, New York: John Wiley & Sons, Inc., 71-86.
Beukenhorst, D., Buelens, B., Engelen, F., Van der Laan, J., Meertens, V. et Schouten, B. (2014). The Impact of Survey Item Characteristics on Mode-Specific Measurement Bias in the Crime Victimisation Survey. Document de travail de la CBS 2014-16. Statistics Netherlands, La Haye.
Billiet, J.B., et McClendon, J.M. (2000). Modeling acquiescence in measurement models for two balanced sets of items. Structural Equation Modeling, 7, 608-628. doi: http://dx.doi.org/10.1207/S15328007SEM0704_5.
Binswanger, J., Schunk, D. et Toepoel, V. (2013). Panel conditioning in difficult attitudinal questions. Public Opinion Quarterly, 77, 783-797.
Bishop, G.F., Tuchfarber, A.J. et Oldendick, R.W. (1986). Opinions on fictitious issues: The pressure to answer survey questions. Public Opinion Quarterly, 50, 240-250.
Bradburn, N., Sudman, S., Blair, E. et Stocking, C. (1978). Question threat and response bias. Public Opinion Quarterly, 42, 221-234.
Campanelli, P., Nicolaas, G., Jäckle, A., Lynn, P., Hope, S., Blake, M. et Gray, M. (2011). A Classification of Question Characteristics Relevant to Measurement (Error) and Consequently Important for Mixed Mode Questionnaire Design. Document présenté à la Royal Statistical Society, 11 octobre, Londres, Royaume-Uni.
Cliff, N. (1993). Dominance statistics: Ordinal analyses to answer ordinal questions. Psychological Bulletin, 114, 494-509.
Cliff, N. (1996a). Answering ordinal questions with ordinal data using ordinal statistics. Multivariate Behavioral Research, 31, 331-350.
Cliff, N. (1996b). Ordinal Methods for Behavioral Data Analysis. New Jersey: Lawrence Erlbaum Associates.
Dekking, F.M., Kraaikamp, C., Lopuhaä, H.P. et Meester, L.E. (2005). A Modern Introduction to Probability and Statistics – Understanding Why and How. Springer. https://doi.org/10.1007/1-84628-168-7.
De Leeuw, E.D. (1992). Data Quality in Mail, Telephone, and Face-to-Face Surveys. Amsterdam: TT-Publicaties.
De Leeuw, E.D., Hox, J.J. et Dillman, D. (2008). International Handbook of Survey Methodology. Taylor & Francis Group.
DeMaio, T.J. (1984). Social desirability and survey measurement: A review. Dans Surveying Subjective Phenomena, (Éds., C.F. Turner et E. Martin). New York: Russell Sage Foundation, 2, 257-281.
Díaz de Rada, V., et Domínguez, J.A. (2015). The quality of responses to grid questions as used in web questionnaires (compared with paper questionnaires). International Journal of Social Research Methodology, 18, 337-348. doi: http://dx.doi.org/10.1080/13645579.2014.895289.
Fricker, S., Galesic, M., Tourangeau, R. et Yan, T. (2005). An experimental comparison of web and telephone surveys. Public Opinion Quarterly, 69, 370-392. doi: http://dx.doi.org/10.1093/poq/nfi027.
Galesic, M., Tourangeau, R., Couper, M.P. et Conrad, F.G. (2008). Eye-tracking data new insights on response order effects and other cognitive shortcuts in survey responding. Public Opinion Quarterly, 72, 892-913.
Gallhofer, I.N., Scherpenzeel, A. et Saris, W.E. (2007). The Code-Book for the SQP Program, disponible sur http://www.europeansocialsurvey.org/methodology/.
Goedhart, J. (2016). Calculation of a Distribution Free Estimate of Effect Size and Confidence Intervals Using VBA/Excel. doi: http://dx.doi.org/10.1101/073999.
Greenleaf, E.A. (1992). Measuring extreme response style. Public Opinion Quarterly, 56, 328-351. http://www.jstor.org/stable/2749156.
He, J., et Van de Vijver, F.J.R. (2013). A general response style factor: Evidence from a multi-ethnic study in the Netherlands. Personality and Individual Differences, 55, 794-800. http://dx.doi.org/10.1016/j.paid.2013.06.017.
He, J., Van de Vijver, F.J.R., Espinosa, A.D. et Mui, P.H. (2014). Toward a unification of acquiescent, extreme, and midpoint response styles: A multilevel study. International Journal of Cross Cultural Management, 14, 306-322. doi: http://dx.doi.org/10.1177/1470595814541424.
Heerwegh, D., et Loosveldt, G. (2011). Assessing mode effects in a national crime victimization survey using structural equation models: Social desirability bias and acquiescence. Journal of Official Statistics, 27, 49-63.
Hess, M.R., et Kromrey, J.D. (2004). Robust Confidence Intervals for Effect Sizes: A Comparative Study of Cohen’s d and Cliff’s Delta under Non-Normality and Heterogeneous Variances. Document présenté à l’Annual Meeting of the American Educational Research Association, San Diego, Californie.
Holbrook, A.L., Green, M.C. et Krosnick, J.A. (2003). Telephone versus face-to-face interviewing of national probability samples with long questionnaires: Comparisons of respondent satisficing and social desirability response bias. Public Opinion Quarterly, 67, 79-125.
Hox, J.J., De Leeuw, E. et Kreft, I.G. (1991). The effect of interviewer and respondent characteristics on the quality of survey data: A multilevel model. Dans Measurement Errors in Surveys, (Éds., P.P. Biemer, R.M. Groves, L.E. Lyberg, N.A. Mathiowetz et S. Sudman), New York: John Wiley & Sons, Inc., 439-461.
Jann, B., Krumpal, I. et Wolter, F. (2019). Editorial: Social desirability bias in surveys Collecting and analyzing sensitive data. Methods, Data, Analyses: A Journal for Quantitative Methods and Survey Methodology (MDA), 13(1), 3-6.
Johnson, T., et Van de Vijver, F.J.R. (2003). Social desirability in cross cultural research. Dans Cross-Cultural Survey Methods, (Éds., J. Harness, F.J.R. van de Vijver et P. Mohler.), New York: John Wiley & Sons, Inc., 193-202.
Kalton, G., Roberts, J. et Holt, D. (1980). The effects of offering a middle response option with opinion questions. Statistician, 29, 65-78. http://www.jstor.org/stable/2987495.
Kaminska, O., McCutcheon, A. et Billiet, J. (2010). Satisficing among reluctant respondents in a cross-national context. Public Opinion Quarterly, 74, 880-906. doi: http://dx.doi.org/10.1093/poq/nfq062.
Kieruj, N.D., et Moors, G. (2013). Response style behavior: Question format dependent or personal Style? Quality and Quantity, 47, 193-211. doi: http://dx.doi.org/10.1007/s11135-011-9511-4.
Kreuter, F., Presser, S. et Tourangeau, R. (2008). Social desirability bias in CATI, IVR, and web surveys: The effects of mode and question sensitivity. Public Opinion Quarterly, 72, 847-865. doi: http://dx.doi.org/10.1093/poq/nfn063.
Krosnick, J.A. (1991). Response strategies for coping with the cognitive demands of attitude measures in surveys. Applied Cognitive Psychology, 5, 213-236.
Krosnick, J.A. (1992). The impact of cognitive sophistication and attitude importance on response order effects and question order effects. Dans Order Effects in Social and Psychological Research, (Éds., N. Schwarz et S. Sudman), New York: Springer, 203-218.
Krosnick, J.A. (1999). Survey research. Annual Review of Psychology, 50, 537-567.
Krosnick, J.A., et Alwin, D.F. (1987). An evaluation of a cognitive theory of response order effects in survey measurement. Public Opinion Quarterly, 51, 201-219.
Krosnick, J.A., et Alwin, D.F. (1989). Aging and susceptibility to attitude change. Journal of Personality and Social Psychology, 57, 416-425.
Krosnick, J.A., et Fabrigar, L.R. (1997). Designing rating scales for effective measurement in surveys. Dans Survey Measurement and Process Quality, (Éds., L. Lyberg, P. Biemer, M. Collins, L. Decker, E. de Leeuw, C. Dippo, N. Schwarz et D. Trewin), New York: John Wiley & Sons, Inc., 141-164.
Krosnick, J.A., Holbrook, A.L., Berent, M.K., Carson, R.T., Hanemann, W.M., Kopp, R.J., Mitchell, R.C., Presser, S., Ruud, P.A., Smith, V.K., Moody, W.R., Green, M.C. et Conaway, M. (2002). The impact of “no opinion” response options on data quality: Non-attitude reduction or an invitation to satisfice? Public Opinion Quarterly, 66, 371-403.
Krosnick, J.A., Narayan, S. et Smith, W.R. (1996). Satisficing in surveys: Initial evidence. New Directions for Evaluation, 70, 29-44.
Leigh, J.H., et Martin, C.R. (1987). Don’t know item nonresponse in a telephone survey: Effects of question form and respondent characteristics. Journal of Marketing Research, 24, 418-424.
Lensvelt-Mulders, G.J.L.M. (2008). Surveying sensitive topics. Dans International Handbook of Survey Methodology, (Éds., E.D. de Leeuw, J.J. Hox et D.A. Dillman). New York: Taylor and Francis, Psychology Press, EAM series, 461-478.
Marín, G., Gamba, R.J. et Marín, B.V. (1992). Extreme response style and acquiescence among hispanics. Journal of Cross-Cultural Psychology, 23, 498-509.
McClendon, M.J. (1986). Response-order effects for dichotomous questions. Social Science Quarterly, 67, 205-211.
McClendon, M.J. (1991). Acquiescence and recency response-order effects in interview surveys. Sociological Methods and Research, 20, 60-103.
Medway, R., et Tourangeau, R. (2015). Response quality in telephone surveys. Do pre-paid cash incentives make a difference? Public Opinion Quarterly, 79, 524-543. doi: https://doi.org/10.1093/poq/nfv011.
Meisenberg, G., et Williams, A. (2008). Are acquiescent and extreme response styles related to low intelligence and education? Personality and Individual Differences, 44, 1539-1550. https://doi.org/10.1016/j.paid.2008.01.010.
Messick, S.J. (1966). The psychology of acquiescence: An interpretation of research evidence. Dans Response Set in Personality Assessment, (Éd., I.A. Berg), Chicago: Aldine, 115-145.
Narayan, S., et Krosnick, J.A. (1996). Education moderates some response effects in attitude measurement. Public Opinion Quarterly, 60, 58-88.
Olson, K., et Smyth, J.D. (2015). The effect of CATI questions, respondents, and interviewers on response time. Journal of Survey Statistics et Methodology, 3, 361-396. doi: https://doi.org/10.1093/jssam/smv021.
Olson, K., Smyth, J.D., et Ganshert, A. (2019). The effects of respondent and question characteristics on respondent answering behaviors in telephone interviews. Journal of Survey Statistics et Methodology, 7(2), 275- 308. https://doi.org/10.1093/jssam/smy006.
O’Muircheartaigh, C., Krosnick, J.A. et Helic, A. (2000). Middle Alternatives, Acquiescence, and the Quality of Questionnaire Data. Extrait le 1er octobre 2009 de http://harrisschool.uchicago.edu/About/publications.
Paulhus, D.L. (2002). Socially desirable responding: The evolution of a construct. Dans The Role of Constructs in Psychological and Educational Measurement, (Éds., H.I. Braun, D.N. Jackson et D.E. Wiley), Mahwah, NJ: Erlbaum, 49-69.
Pickery, J., et Loosveldt, G. (1998). The impact of respondent and interviewer characteristics on the number of “No opinion” answers. A multilevel model for count data. Quality and Quantity, 32, 31-45.
Roberts, C. (2007). Mixing modes of data collection in surveys: A methodological review. ESRC National Centre for Research Methods, NCRM Methods Review Paper 008, Royaume-Uni. Extrait en juillet 2019 de http://eprints.ncrm.ac.uk/418/1/MethodsReviewPaperNCRM-008.pdf.
Roberts, C., et Jäckle, A. (2012). Causes of Mode Effects: Separating out Interviewer and Stimulus Effects in Comparisons of Face-to-Face and Telephone Surveys. Document de travail de l’ISER, 2012-27. Colchester: University of Essex.
Roßmann, J., Gummer, T. et Silber, H. (2017). Mitigating satisficing in cognitively demanding grid questions: Evidence from two web-based experiments. Journal of Survey Statistics and Methodology.
Rousselet, G.A., Foxe, J.J. et Bolam, J.P. (2016). A few simple steps to improve the description of group results in neuroscience. European Journal of Neuroscience, 44, 2647-2651. doi: http://dx.doi.org/10.1111/ejn.13400.
Rousselet, G.A., Pernet, C.R. et Wilcox, R.R. (2017). Beyond differences in means: robust graphical methods to compare two groups in neuroscience. European Journal of Neuroscience, 1-27. doi: http://dx.doi.org/10.1101/121079.
Saris, W.E., et Gallhofer, I.N. (2007). Estimation of the effects of measurement characteristics on the quality of survey questions. Survey Research Methods, 1(1), 29-43. http://dx.doi.org/10.18148/srm/2007.v1i1.49.
Saris, W.E., Revilla, M., Krosnick, J.A. et Shaeffer, E. (2010). Comparing questions with agree/disagree response options to questions with item-specific response options. Survey Research Methods, 4(1), 61-79. http://www.surveymethods.org.
Schaeffer, N.C. et Presser, S. (2003). The science of asking questions. Annual Review of Sociology, 29, 65-88. doi: http://dx.doi.org/10.1146/annurev.soc.29.110702.110112.
Schonlau, M., et Toepoel, V. (2015). Straightlining in web survey panels over time. Survey Research Methods, 9, 125-137. doi: http://dx.doi.org/10.18148/srm/2015.v9i2.6128.
Schouten, B., et Calinescu, M. (2013). Paradata as input to monitoring representativeness and measurement profiles: A case study of the Dutch Labour Force Survey. Dans Improving Surveys with Paradata: Analytic Uses of Process Information, (Éd., F. Kreuter), Hoboken, NJ: Wiley, 231-258.
Schuman, H., et Presser, S. (1981). Questions and Answers in Attitude Surveys: Experiments on Question Form, Wording and Context. New York: Academic Press.
Shoemaker, P.J., Eichholz, M. et Skewes, E.A. (2002). Item nonresponse: Distinguishing between don’t know and refuse. International Journal of Public Opinion Research, 14, 193-201.
Si, S.X., et Cullen, J.B. (1998). Response categories and potential cultural bias: Effects of an explicit middle point in cross-cultural surveys. International Journal of Organizational Analysis, 6, 218-230.
Stern, M.J., Dillman, D.A. et Smyth, J.D. (2007). Visual design, order effects, and respondent characteristics in a self-administered survey. Survey Research Methods, 1, 121-138. http://www.surveymethods.org.
Stricker, L.J. (1963). Acquiescence and social desirability response styles, item characteristics, and conformity. Psychological Reports, 12, 319-341.
Tarnai, J., et Dillman, D.A. (1992). Questionnaire context as a source of response differences in mail versus telephone surveys. Dans Context Effects in Social and Psychological Research, (Éds., N. Schwarz et S. Sudman), New York: Springer Verlag.
Tourangeau, R., Rips, L.J. et Rasinski, K. (2000). The Psychology of Survey Response. Cambridge: Cambridge University Press.
Tourangeau, R., et Yan, T. (2007). Sensitive questions in surveys. Psychological Bulletin, 133, 859-883. doi: http://dx.doi.org/10.1037/0033-2909.133.5.859.
Van Herk, H., Poortinga, Y.H. et Verhallen, T.M.M. (2004). Response styles in rating scales: Evidence of method bias in data from six EU countries. Journal of Cross-Cultural Psychology, 35, 346-360.
Van Rosmalen, J., Van Herk, H. et Groenen, P.J.F. (2010). Identifying response styles: A latent-class bilinear multinomial logit model. Journal of Marketing Research, 47(1), 157-172. doi: http://dx.doi.org/10.1509/jmkr.47.1.157.
Vargha, A., et Delaney, H.D. (2000). A critique and improvement of the CL Common Language effect size statistics of McGraw and Wong. Journal of Educational Behavioral Statistics, 25(2), 101-132. doi: http://dx.doi.org/10.2307/1165329.
Vis-Visschers, R., Arends-Tóth, J., Giesen, D. et Meertens, V. (2008). Het Aanbieden Van “WeetNiet” en Toelichtingen in Een Webvragenlijst. Rapport DMH-2008-02-21-RVCS, Statistics Netherlands, Methodology Department, Heerlen, Les Pays-Bas.
Ye, C., Fulton, J. et Tourangeau, R. (2011). More positive or more extreme? A meta-analysis of mode differences in response choice. Public Opinion Quarterly, 75(2), 349-365. doi: http://dx.doi.org/10.1093/poq/nfr009.
Zhang, C. (2013). Satisficing in Web Surveys: Implications for Data Quality and Strategies for Reduction, (Thèse de doctorat) Ann Arbor, MI: University of Michigan. Extrait de http://deepblue.lib.umich.edu/handle/2027.42/97990.
Zhang, C., et Conrad, F.G. (2013). Speeding in Web surveys: The tendency to answer very fast and its association with straightlining. Survey Research Methods, 8, 127-135.
- Date de modification :