4 Résultats
Roos Haer et Nadine Meidert
Avant de présenter les résultats statistiques, nous comparons les proportions de notre échantillon (c.-à-d. les étudiants qui ont participé au sondage) avec celles dans la population (c.-à-d. tous les étudiants qui ont reçu une invitation). L'invitation a été envoyée à 2 629 étudiants, dont un peu plus de 47 % étaient de sexe masculin. De ceux qui ont participé (1 419), un peu plus de 44 % étaient de sexe masculin. Il ne semble pas exister de différence entre les comportements de réponse des hommes et des femmes. Cependant, certaines différences se dégagent lorsque l'on compare les différentes facultés. Alors que la faculté des sciences semble être représentée adéquatement dans l'échantillon (30 % environ dans l'échantillon ainsi que dans la population), la faculté des sciences humaines semble être surreprésentée (43 % dans l'échantillon, 29 % dans la population), et la faculté de science politique, de droit et d'économie semble sous-représentée (25 % dans l'échantillon, 40 % dans la population).
Dans le tableau 4.1, les taux d'interruption et le nombre absolu d'étudiants qui ont participé au sondage en ligne sont présentés par groupe de traitement. Notons que 83 étudiants ont abandonné après avoir vu le premier écran, tandis que 218 autres l'ont fait à d'autres pages du sondage en ligne, pour un total de 301 interruptions. Ce tableau descriptif montre aussi que les taux d'interruption (directement après l'écran d'accueil ou pour toutes les autres pages confondues) sont généralement plus faibles pour les répondants qui ont reçu un écran d'accueil dans lequel les droits à la protection de la vie privée n'étaient pas mis en relief et dans lequel la durée annoncée du sondage était sous-estimée. Par contre, l'influence de la couleur de l'écran d'accueil sur les taux d'interruption semble être variable.
| Interruption à l'écran d'accueil | Taux d'interruption global | Nombre total n de répondants par groupe de traitement | |||
|---|---|---|---|---|---|
| n | % | n | % | ||
| Blanc, courte, lien | 2 | 1,07 | 35 | 18,72 | 187 |
| Blanc, courte, écran | 4 | 2,30 | 31 | 17,83 | 174 |
| Blanc, longue, lien | 15 | 7,89 | 49 | 25,79 | 190 |
| Blanc, longue, écran | 18 | 10,40 | 50 | 28,90 | 173 |
| Rouge, courte, lien | 3 | 1,79 | 18 | 10,71 | 168 |
| Rouge, courte, écran | 12 | 6,78 | 35 | 19,77 | 177 |
| Rouge, longue, lien | 13 | 7,10 | 37 | 20,22 | 183 |
| Rouge, longue, écran | 16 | 9,58 | 46 | 27,54 | 167 |
| Total des n | 83 | 301 | 1419 | ||
| Moyenne des n (écart-type) | 10,4 (6,4) | 37,6 (10,7) | 177,4 (8,5) | ||
Afin de vérifier si les tendances observées au tableau 4.1 sont robustes et statistiquement significatives, nous avons procédé à des régressions logit avec trois variables dépendantes différentes. Premièrement, une variable dichotomique indiquant si le répondant s'était interrompu directement à l'écran d'accueil (code 1, ou 0 autrement). Deuxièmement, une variable dichotomique prenant la valeur 1 si le répondant abandonnait à n'importe quelle autre page que l'écran d'accueil (code 0 autrement). Troisièmement, une variable dichotomique indiquant si le répondant avait abandonné à n'importe quelle page du sondage (aussi bien l'écran d'accueil que toute autre page, code 1, ou 0 autrement). Cependant, dans le cas de la dernière mesure, nous ne pouvons pas prouver clairement que l'effet est dû principalement à l'écran d'accueil ou à une interaction entre l'écran d'accueil et l'ensemble du sondage en ligne (ou de pages particulières).
Les résultats des régressions logit sont présentés au tableau 4.2. La deuxième colonne de ce tableau donne les effets des différents traitements sur la probabilité que les répondants abandonnent à l'étape de l'écran d'accueil. La troisième colonne montre l'effet des différents traitements sur la probabilité d'une interruption durant le sondage, en excluant les répondants qui ont abandonné à l'écran d'accueil. La quatrième colonne donne l'effet des caractéristiques de conception sur la probabilité globale d'interruption. Nous avons également estimé les modèles comprenant tous les effets d'interactions possibles entre les variables expérimentales. Toutefois, les résultats n'indiquaient pas clairement qu'une combinaison de divers traitements augmentait considérablement les effets. En outre, nous avons inclus les effets des interactions entre les variables expérimentales et les variables de sous-groupe telles que le sexe ou la faculté. Comme nous n'avons pas pu dégager de différence non ambiguë entre les sous-groupes ou que les variations à l'intérieur des sous-groupes étaient trop faibles pour estimer le modèle, les résultats de ces interactions ne sont pas présentés ni discutés à la section suivante où nous donnons seulement les résultats des modèles parcimonieux.
| (1) Interruption à l'écran d'accueil | (2) Interruption à n'importe quelle page sauf l'écran d'accueil | (3) Interruption à n'importe quel moment du sondage | |
|---|---|---|---|
| Couleur de fond : rouge | 0,17 (0,23) | -0,33** (0,15) | -0,20 (0,13) |
| Durée annoncée : 20 minutes | 1,15*** (0,26) | 0,23 (0,15) | 0,53*** (0,13) |
| Information sur la sécurité des données : consultable au moyen d'un lien | -0,52** (0,23) | -0,14 (0,15) | -0,28** (0,13) |
| Constante | -3,34*** (0,27) | -1,61*** (0,15) | -1,37*** (0,13) |
| N | 1 419 | 1 419 | 1 419 |
| Pseudo R-carré | 0,04 | 0,01 | 0,02 |
| Prob > khi 2 | 0,00 | 0,05 | 0,00 |
| Erreurs-types entre parenthèses *** p<0,01, ** p<0,05, * p<0,1 | |||
Conformément aux études antérieures, nous nous attendons à ce que les répondants qui reçoivent un écran d'accueil rouge soient plus susceptibles d'abandonner que ceux qui reçoivent un écran blanc. Bien que le coefficient logit positif dans la deuxième colonne du tableau indique qu'il existe effectivement une relation positive entre le fond rouge et un plus haut niveau d'interruption à l'étape de l'écran d'accueil, cette relation n'est pas statistiquement significative. Toutefois, l'écran d'accueil rouge a un effet négatif statistiquement significatif sur le taux d'interruption à n'importe quelle page sauf l'écran d'accueil, ce qui signifie que la combinaison d'un écran d'accueil rouge et des autres écrans blancs du questionnaire semble encourager les participants à poursuivre. Si l'on examine l'effet de l'écran d'accueil rouge sur le taux global d'interruption, le coefficient présenté dans la quatrième colonne du tableau donne à penser que la couleur de l'écran d'accueil n'a pas d'effet significatif. Cette observation indique que même s'il est important, l'écran d'accueil est simplement un des écrans du sondage en ligne. Comme l'a suggéré l'un des participants au prétest, il se pourrait que la couleur rouge suscite un sentiment tellement négatif que les répondants cliquent immédiatement pour aller plus loin sans regarder l'écran. Cette idée a été testée en exécutant une régression par la méthode des moindres carrés ordinaires (MCO) de la couleur et des autres traitements utilisés comme contrôle sur la quantité de temps passé à l'écran d'accueil. Cependant, les résultats (disponibles sur demande) n'ont pas fourni la preuve d'un effet statistiquement significatif. Notons que les valeurs du pseudo R-carré présentées pour le modèle (et pour l'ensemble des modèles) sont assez faibles. Toutefois, il s'agit d'un résultat donné fréquemment par les régressions logit en vue d'analyser des résultats expérimentaux. Par exemple, Marcus et coll. (2007) signalent un R-carré de Nagelkerke de 0,041 et Bandilla, Couper et Kaczmirekt (2012), un pseudo R-carré de 0,05.
Nous soupçonnions aussi que les répondants recevant un écran d'accueil annonçant que le sondage prendrait seulement 20 minutes étaient moins susceptibles de commencer à y répondre que ceux qui recevaient un écran d'accueil indiquant que le sondage prendrait seulement 8 minutes. Cette attente théorique est étayée statistiquement par un coefficient logit positif et statistiquement significatif de 1,15. En outre, nous avons supposé que les répondants qui commençaient à répondre au « long » sondage étaient moins enclins à abandonner pendant le sondage en ligne. Cependant, nous n'avons dégagé aucune preuve à l'appui de cette hypothèse. Le coefficient non significatif de 0,23 signifie qu'il n'y a pas de différence significative de taux d'interruption à n'importe quel écran sauf la première page entre les répondants auxquels il a été annoncé que le sondage durerait « 8 minutes » et ceux auxquels il a été annoncé qu'il leur faudrait 20 minutes pour répondre. Dans l'ensemble, le coefficient positif et significatif de 0,53 dans la cinquième colonne du tableau indique que les répondants qui ont vu un écran d'accueil sur lequel il était indiqué que le sondage en ligne prendrait 20 minutes étaient plus susceptibles d'interrompre le sondage que ceux auxquels on avait annoncé que cela prendrait seulement 8 minutes. Dans l'ensemble, le coefficient de la durée annoncée est celui qui est le plus grand dans les différents modèles, ce qui signifie que le facteur le plus important expliquant le taux d'interruption est la durée annoncée à l'écran d'accueil. Ce résultat correspond aux résultats de l'étude de Galesic et Bosnjak (2009), qui ont montré que plus la durée annoncée était grande, plus faible était le nombre de répondants qui commençaient à répondre au questionnaire et y répondaient au complet.
La dernière caractéristique de conception que nous avons fait varier à l'écran d'accueil était l'importance accordée à l'énoncé des droits à la protection de la vie privée des répondants. Nous nous attendions à ce que plus les droits seraient soulignés, plus les répondants auraient conscience des problèmes éventuels concernant ces droits et moins ils seraient disposés à commencer à répondre au sondage en ligne. Les résultats des modèles logit appuient cette notion. Le coefficient négatif de -0,52 indique que, quand les droits à la protection de la vie privée sont expliqués par la voie d'un lien figurant à l'écran du sondage en ligne (six répondants seulement ont effectivement ouvert ce lien), c'est-à-dire quand moins de mots sont utilisés pour expliquer ces droits sur l'écran proprement dit, les taux d'interruption à l'étape de l'écran d'accueil diminuent. Autrement dit, la mise en évidence des droits à la protection de la vie privée à l'écran d'accueil augmente la non-réponse. En outre, l'explication détaillée des droits à la protection de la vie privée à l'écran d'accueil a aussi une influence sur les taux d'interruption durant tout le sondage. Cependant, nous ne savons pas avec certitude si la diminution du taux de réponse est due à l'importance accordée aux droits à la protection de la vie privée ou à la longueur de l'écran d'accueil (expliquer les droits à la protection de la vie privée à l'écran d'accueil produit un plus long écran). La recherche devra se poursuivre afin de faire la distinction entre ces deux processus apparentés.
- Date de modification :