Plans de collecte de données adaptatifs visant à minimiser les effets du mode d’enquête – étude du cas de l’Enquête sur la population active des Pays‑Bas 1. Introduction
Dans cet article, nous proposons de démontrer comment les plans de collecte adaptatifs aident à minimiser les effets de mode lorsqu’une enquête a une seule statistique ou un seul indicateur. Nous démontrons cette méthode à l’aide de l’Enquête sur la population active des Pays‑Bas (EPA), dont l’indicateur clé est le taux de chômage.
L’émergence du Web comme mode d’enquête a ravivé les discussions sur les enquêtes multimodales. Les sociétés d’étude de marché n’ont pas tardé à intégrer le Web à leurs plans de sondage. Les instituts statistiques officiels ont été plus lents à adopter cette approche, mais ils envisagent des plans de sondage à modes mixtes incluant le Web, en raison notamment des coûts accrus des enquêtes en personne, de la couverture réduite des enquêtes par téléphone et du faible taux de participation aux enquêtes Web (Fan et Yan 2010). En conséquence, les organismes d’enquête convertissent graduellement leurs plans de sondage à mode unique en plans de sondage à modes mixtes. En 2012, un projet de grande envergure appelé Data Collection for the Social Surveys (DCSS) a été lancé dans le système statistique de l’Union européenne afin d’examiner les plans de sondage à modes mixtes pour l’Enquête sur la population active (Blanke et Luiten 2012).
Il est bien connu que le mode d’enquête a un impact sur les erreurs non dues à l’observation (non‑réponse partielle, non‑réponse totale et sous‑dénombrement) ainsi que sur les erreurs d’observation (erreurs de mesure et de traitement). La différence globale entre deux modes est généralement qualifiée d’« effet de mode ». La différence entre les erreurs de mesure de deux modes est appelée « effet de mode pur » ou « effet de mesure », tandis que la différence dans le sous‑dénombrement et la non‑réponse est appelée « effet de sélection ». La question est examinée en détail dans de Leeuw (2005), Dillman, Phelps, Tortora, Swift, Kohrell, Berck et Messes (2009), Vannieuwenhuyze (2013) et Klausch, Hox et Schouten (2013b). Il existe des données probantes (Jäckle, Roberts et Lynn 2010; Schouten, van den Brakel, Buelens, van der Laan, Burger et Klausch 2013b; Dillman et coll. 2009) selon lesquelles les effets de mode peuvent être importants. Ces effets peuvent produire des statistiques qui ne sont pas comparables dans le temps ou entre des sous‑groupes de population. L’évaluation, la minimisation et la stabilisation de l’impact des effets de mode sur les estimations d’enquête sont devenues des objectifs importants.
Il y a quatre façons possibles de réduire l’impact des effets de mode dans le plan de sondage et l’estimation par sondage. Une approche rigoureuse de la conception des questionnaires et des plans de collecte de données devrait prévenir ces effets, tandis que la procédure d’estimation et le calage aident à tenir compte des effets de mode avec la pondération. Une conception minutieuse des questionnaires permet de réduire les différences de mesure entre les modes. On peut réduire ces différences en utilisant un plan d’enquête à mode unifié pour les questionnaires (Dillman et coll. 2009) ou en créant un stimulus équivalent par mode, (de Leeuw 2005). Certains effets de mesure sont toutefois inhérents au processus d’administration du mode d’enquête. Par exemple, une présentation orale plutôt que visuelle ou le rythme de l’interview rendent difficile ou impossible la suppression complète de ces effets. De plus, la conception des questionnaires ne permet pas de supprimer les effets de sélection, mais leur longueur, leur disposition et leur contenu peuvent fréquemment produire des effets de mesure et de sélection. Par ailleurs, l’historique des questions peut empêcher une refonte complète du questionnaire par mode, lorsque les utilisateurs de l’enquête ou les intervenants ne veulent pas raccourcir le questionnaire ou modifier le libellé des questions. En résumé, il restera toujours des effets de mode, même après un remaniement en profondeur du questionnaire. Si des estimations des effets de mesure et des effets de sélection sont disponibles, elles peuvent être utilisées pour concevoir la stratégie de collecte de données d’une enquête de manière à éviter ces effets, ou pour concevoir la stratégie d’estimation afin d’en tenir compte dans les futures enquêtes.
L’option de plan suppose que certains modes ou séquences de modes ne sont pas appliqués, parce qu’ils sont censés produire d’importants effets de mode par rapport à un plan de collecte repère, c’est‑à‑dire un plan de sondage considéré comme exempt d’effets de mode. L’espérance relative aux effets de mode importants se fonde idéalement sur des études pilotes, mais elle peut aussi être le fruit de l’expérience. Lorsque le choix de mode(s) n’est pas uniforme pour tout l’échantillon et qu’il se fonde plutôt sur les caractéristiques des personnes ou des ménages, l’option du plan de sondage revient à un plan de sondage adaptatif (Wagner 2008; Schouten, Calinescu et Luiten 2013a). Ces caractéristiques peuvent être disponibles avant le début de la collecte de données ou le devenir durant la collecte de données sous forme de paradonnées (données sur le processus de collecte des données [Kreuter 2013]), ce qui mène à des plans de collecte adaptatifs respectivement statiques et dynamiques. Le présent article est axé sur la prévention des effets de mode au moyen de plans de collecte adaptatifs.
L’option d’ajustement est particulièrement intéressante lorsqu’il y a une bonne raison d’approximer les valeurs réelles d’une statistique, c’est‑à‑dire lorsque l’accent est mis non seulement sur la comparabilité mais aussi sur l’exactitude des statistiques. Un inconvénient de l’option d’ajustement est qu’elle est plus coûteuse que l’option de plan, puisque des estimations précises des effets de mode sont requises pour que l’exactitude des statistiques résultantes ne soit pas affectée. Un avantage de cette option est qu’elle est plus souple. En effet, elle permet d’apporter différents ajustements à différentes variables d’enquête, tandis que l’option du plan de sondage nécessite un choix global. Une discussion de l’ajustement durant l’estimation figure dans Vannieuwenhuyze (2013), Klausch, Hox et Schouten (2013a) et Suzer‑Gurtekin (2013).
Une autre option consiste à stabiliser les effets de mode, ce qui constitue une option de dernier recours utile. Comme on suppose que les effets de mode sont présents après l’administration du questionnaire, la collecte de données et l’estimation fondée sur le plan, ils peuvent être stabilisés au fil du temps par calage de la distribution des modes dans la réponse à une certaine répartition fixe des modes. Si la proportion moyenne d’un mode de réponse diffère d’un mois à l’autre, on attribue un poids plus important aux répondants à ce mode et un poids plus faible aux répondants à d’autres modes. Pour une discussion de cette méthode, voir Buelens et van den Brakel (2014).
Dans cet article, nous minimisons l’effet de méthode ajusté à un plan de collecte à mode repère en stratifiant la population en sous‑groupes pertinents et en répartissant les différents sous‑groupes entre différents modes ou séquences de modes. L’effet de méthode ajusté d’un plan est la différence entre la moyenne ajustée de la non‑réponse de ce plan et celle du plan de collecte repère. L’ajustement suit les procédures standard, c’est‑à‑dire le calage de la réponse à une répartition de la population. Par conséquent, l’effet de méthode ajusté est l’hybride de l’effet de mesure entre les deux plans d’échantillonnage et l’effet de sélection résiduel entre les deux plans qui n’est pas éliminé par l’ajustement pour la non‑réponse.
Les plans de collecte adaptatifs et les plans de collecte réactifs qui leur ressemblent beaucoup (Heeringa et Groves 2006; Kreuter 2013) sont généralement appliqués afin de réduire l’erreur due à la non‑réponse. À notre connaissance, jusqu’ici, seuls Calinescu et Schouten (2013a) ont tenté d’axer les plans de collecte adaptatifs sur les erreurs de mesure ou la combinaison d’erreurs dues à la non‑réponse et d’erreurs de mesure. Les principales raisons de ce choix sont, premièrement, que les plans de collecte adaptatifs et réactifs en sont encore à leurs débuts et que leur application est limitée et, deuxièmement, que les erreurs de mesure et effets de mesure sont intrinsèquement difficiles à mesurer. De nombreuses applications des plans de collecte adaptatifs impliquent un seul mode d’enquête dans lequel il est plausible que l’erreur de mesure soit relativement stable pour différents choix de conception. Lorsque le mode d’enquête est une des caractéristiques du plan de sondage, cette hypothèse n’est plus plausible. Le mode d’enquête est toutefois la caractéristique la plus intéressante des plans de collecte adaptatifs en raison de son écart qualité‑coûts important.
Une complication qui survient lors de l’inclusion de l’erreur de mesure dans les plans de collecte adaptatifs est que, contrairement à l’erreur due à la non‑réponse, elle ne résulte pas d’une simple décision de type oui ou non. Une unité d’échantillonnage fournit une réponse ou une non‑réponse, tandis qu’une erreur de mesure a aussi une ampleur. L’ampleur de l’erreur de mesure peut varier selon la question du questionnaire d’enquête. Cela suppose qu’en présence de multiples questions d’enquête ou variables, le choix de modes est une décision multidimensionnelle. Calinescu et Schouten (2013a) tentent de réduire cette multidimensionnalité en utilisant des styles de réponse (ou des tendances de réponse). Lorsqu’une enquête compte seulement une ou quelques variables clés, ce qui est le cas de l’EPA, cette complication n’existe pas et l’accent peut être mis directement sur les principales variables. C’est le cheminement que nous suivons dans cet article.
Dans cet article, nous adoptons donc deux approches novatrices : nous incluons les effets dus aux modes dans les plans de collecte adaptatifs et nous mettons l’accent sur une seule variable clé. Dans notre démonstration utilisant l’EPA des Pays‑Bas, nous examinons trois modes d’enquête en ligne, par téléphone et en personne et diverses séquences de ces modes. Au cours des dernières années, la conception de l’EPA des Pays‑Bas a subi une série de modifications dans le cadre de la transition d’une enquête en personne à une enquête à modes mixtes. Une vaste base de connaissances et des données d’enquête historiques sur l’interaction entre les caractéristiques des plans de sondage, le mode d’enquête en particulier, et le processus de réponse sont disponibles. Nous utilisons ces données pour estimer les différents paramètres requis pour le modèle d’optimisation.
L’article se présente comme suit. Dans la section 2, nous formulons le problème d’optimisation multimodal. Dans la section 3, nous décrivons un algorithme pour l’optimisation du problème de l’effet de mode. Dans la section 4, nous présentons les résultats d’optimisation. Enfin, dans la section 5, nous examinons les résultats obtenus. Les annexes A et B présentent des extensions aux résultats numériques de la section 4.
- Date de modification :