Les comportements de réponse indésirables sont-ils constants d’une enquête à l’autre ? Un examen approfondi des caractéristiques de répondants
Section 1. Introduction
La relation entre le comportement de réponse aux enquêtes et l’erreur de mesure a fait l’objet de nombreuses études. L’erreur de mesure désigne l’écart entre une réponse et la valeur réelle que la question était censée mesurer (De Leeuw, Hox et Dillman, 2008). La présence et l’importance de l’erreur de mesure et, de ce fait, de la qualité des données de réponse peuvent varier en fonction des caractéristiques du répondant (Olson et Smyth, 2015; Tourangeau, Rips et Rasinski, 2000). Celles-ci peuvent être considérées comme étant des tendances fixes amenant le répondant à adopter un comportement de réponse indésirable (CRI), par exemple, un comportement de statisfaction (Holbrook, Green et Krosnick, 2003; Kaminska, McCutcheon et Billiet, 2010). Les répondants qui agissent ainsi évitent certaines étapes du processus de réponse aux questions. Le comportement de statisfaction peut être considéré comme le résultat d’une interaction entre la complexité de la question, la motivation et la capacité cognitive (Krosnick, 1991, 1999; Krosnick, Narayan et Smith, 1996). Cette dernière peut faire partie des caractéristiques du répondant et reste plutôt constante au fil du temps. Il est possible de simplement remplacer la capacité cognitive par une variable de contexte comme l’âge ou le niveau de scolarité pour étudier sa relation avec le comportement de réponse. Les variables de contexte ne sont pas toujours à l’abri d’erreurs de mesure, mais ces erreurs ne sont pas censées être liées au comportement de réponse et demeurent plutôt stables dans le temps (Schouten et Calinescu, 2013).
Le comportement de réponse doit être stable et propre au répondant si l’on veut en savoir davantage sur sa relation avec les caractéristiques de ce dernier. En d’autres termes, on doit pouvoir démontrer que le comportement d’un répondant donné est constant avant d’affirmer qu’il lui est propre. Le mot « constant » désigne dans le présent article un comportement de réponse qui se manifeste à plusieurs reprises dans le temps et dans de nombreuses enquêtes. Lorsqu’un répondant donné ne montre un comportement de réponse particulier que ponctuellement, on ne peut pas affirmer que ce comportement lui est propre. Il y a par exemple des répondants qui, pour une batterie ou un ensemble de cinq éléments à choix multiple, choisiront dans chaque cas la première option de réponse. Il n’a toutefois pas été possible de déterminer clairement s’il s’agit là d’une forme de recherche de la réponse la plus satisfaisante (Krosnick, 1991, 1999; Krosnick et coll., 1996), car les réponses choisies pourraient bien ne s’appliquer qu’à ce répondant en particulier. Si le comportement de réponse demeure constant, nous pouvons le mettre en relation avec d’autres caractéristiques stables du même répondant. Dans le présent article, nous nous penchons sur la relation entre la capacité cognitive et la constance d’un comportement de réponse indésirable. Pour l’établir, nous utilisons, comme substituts de la capacité cognitive, deux variables de contexte, soit l’âge et le niveau de scolarité du répondant. Dans la suite du texte, l’abréviation « CRI » désignera un « comportement de réponse indésirable ».
Ce n’est pas la première fois que l’on se penche sur la relation entre la capacité cognitive et les CRI. Par contre, personne ne s’y est encore intéressé pour un échantillon important de répondants d’un panel et pour un grand nombre d’enquêtes. Afin d’être en mesure de cerner la constance potentielle d’un CRI précis selon le type de répondants, nous avons étudié les données provenant de 10 grandes enquêtes démographiques réalisées par CentERdata dans le cadre du panel LISS (Longitudinal Internet Studies for the Social Sciences [études longitudinales sur Internet pour les sciences sociales]). Ces enquêtes portaient sur des sujets très variés et contenaient de nombreux types d’éléments. Comme nous avons étudié de nombreuses enquêtes, leur sujet et leur plan montreront différentes variations, ce qui nous permettra de supposer que chaque enquête aura un effet précis sur les CRI. L’objectif de l’étude est de démontrer qu’il est possible de distinguer le CRI imputable aux caractéristiques de l’enquête de celui qui se manifeste systématiquement dans toutes les enquêtes. Afin de pouvoir observer une constance entre les répondants, il faut que le CRI se produise malgré les variations du sujet et du plan des enquêtes. En d’autres mots, il nous faut connaître la variabilité totale des enquêtes en ce qui concerne le sujet et le plan pour être en mesure d’évaluer la constance du CRI dans un ensemble d’enquêtes différentes. Dans la présente étude, nous considérons la variabilité des enquêtes en ce qui concerne le sujet et le plan comme étant acquise et ne tenons pas compte des caractéristiques et des éléments de chacune.
La présente étude vise à établir une relation entre la capacité cognitive et l’erreur de mesure à l’aide de notre méthode de constitution des profils de comportement. Lorsqu’il semble y avoir une relation cohérente entre la capacité cognitive et des CRI donnés, il est possible d’adapter les enquêtes en fonction de l’âge ou du niveau de scolarité des répondants afin de réduire au minimum l’erreur de mesure. En présence de telles associations structurelles, l’adaptation pourra se faire globalement, indépendamment du type d’enquête. Cela laisse entendre également que notre méthode pourrait servir à prédire l’erreur de mesure. Autrement dit, les tests d’évaluation du risque d’erreur de mesure, souvent longs et coûteux, pourraient être évités dès le départ; toutefois, si notre méthode montre que le risque d’erreur de mesure s’accroît pour des répondants donnés, il pourrait être utile de réaliser de tels tests malgré tout. Dans le cas contraire, nous pourrions conclure qu’un plan d’enquête adaptatif basé sur la capacité cognitive, indépendamment de la nature de l’enquête, n’est pas vraiment un atout.
Aux fins de la présente étude, nous n’aurions même pas besoin de tenir compte du sujet ou du plan d’une enquête en particulier. Nous nous sommes rendu compte qu’il est pertinent également d’examiner les caractéristiques des éléments et d’autres attributs des répondants du point de vue de leur effet sur l’erreur de mesure. Nous croyons néanmoins que l’étude représente une première étape à franchir pour examiner les caractéristiques des répondants et les éléments d’une enquête, leur relation potentiellement cohérente avec les CRI et l’erreur de mesure dans l’ensemble des enquêtes. Pour cette étape initiale, nous avons choisi d’examiner les caractéristiques évidentes des répondants en matière d’âge et de niveau de scolarité et de les mettre en relation avec 8 CRI pertinents (voir la section 2).
Le lecteur notera que le caractère indésirable du comportement de réponse est par définition potentiel, puisqu’il nous est impossible d’en valider la véracité (voir l’explication dans Bais, Schouten et Toepoel, 2020). Dans l’exemple mentionné précédemment, le choix de la première option de réponse dans les cinq éléments d’une batterie de questions peut aussi bien constituer une recherche de la réponse la plus satisfaisante ou la vraie réponse. Dans le premier cas, nous pourrions affirmer qu’il s’agit d’un comportement de réponse indésirable. Dans le deuxième cas, ce comportement n’est pas indésirable. Notre réflexion nous amène à dire que ce comportement pourrait être indésirable s’il se reproduit dans un plus grand nombre d’enquêtes. Plus le comportement est constant, plus il est probable que le répondant manifeste ainsi un style ou une conduite personnelle et que ce comportement puisse être considéré comme étant indésirable. Par conséquent, tout au long de cet article, l’emploi de l’adjectif « indésirable » est intrinsèquement associé à une éventualité. En résumé, 10 grandes enquêtes nous permettent de cerner la constance potentielle des comportements et d’évaluer l’importance de leur caractère indésirable, et cette base est à la fois solide et puissante.
Le présent document se lit comme suit : dans la section 2, nous expliquons brièvement le cadre théorique sur lequel repose principalement l’étude. Dans la section 3, nous décrivons les données, les méthodes et les calculs statistiques utilisés pour comparer les différentes catégories d’âge et de niveau de scolarité associées aux CRI, pour l’ensemble des enquêtes. En vue de cerner la constance des CRI, nous avons recours à ce que nous appelons des « profils de répondants », comme le proposait l’étude de Bais (2021). La section 4 expose tous les résultats de nos calculs statistiques et offre des réponses à notre question principale de recherche. À la section 5, nous concluons par une discussion des résultats et formulons quelques suggestions sur la façon de procéder.
- Date de modification :