4. Méthodes
Natalja Menold
4.1 Données
Afin d'isoler tout effet dû à la méthode d'échantillonnage des autres effets propres à l'enquête, on peut utiliser des données provenant d'une enquête réalisée dans plusieurs pays qui ont appliqué des méthodes d'échantillonnage différentes. Les données provenant de nombreuses vagues de l'enquête devraient être disponibles afin de pouvoir tenir compte de l'effet temporel. Par conséquent, nous avons utilisé les données provenant des vagues 1 à 4 de l'ESS (European Social Survey Round 1-4 Data 2011). L'ESS a été réalisée dans 20 à plus de 30 pays, qui diffèrent en ce qui a trait aux méthodes d'échantillonnage. En outre, le programme de l'ESS impose des normes rigoureuses aux organismes d'enquête, comme un échantillonnage aléatoire strict et des procédures de prise de contact étendues, ou des procédures de contrôle sur le terrain (Koch, Blom, Stoop et Kappelhof 2009; Philippens et Billiet 2004). L'efficacité des normes utilisées pour l'ESS a été illustrée par Kohler (2007), qui a montré que les écarts par rapport au ratio hommes-femmes de 50/50 étaient moins nombreux pour la vague 1 de l'ESS que pour d'autres enquêtes. De plus, les méthodes de collecte des données de l'ESS ont été améliorées régulièrement (Koch et coll., 2009). De surcroît, l'ESS fournit de la documentation détaillée sur les procédures d'échantillonnage, ainsi que sur la collecte des données (voir les ESS Documentation Reports), qui permettent d'opérationnaliser les variables d'intérêt.
4.2 Méthode d'évaluation de l'effet de l'intervieweur
La méthode mise au point par Sodeur (1997) a été choisie pour l'analyse. Cette méthode permet d'évaluer la qualité de l'échantillon net dans le cas des échantillons probabilistes. La qualité de la sélection aléatoire de l'échantillon a été examinée fréquemment au moyen d'autres statistiques disponibles dans un pays (critères externes). Toutefois, ces statistiques externes sont souvent inconnues, ce qui a poussé Sodeur à proposer l'utilisation de critères internes - c'est-à-dire l'utilisation d'information provenant de l'échantillon net seulement. Sodeur (1997) décrit la méthode comme comprenant les étapes suivantes : 1) tirer un sous-échantillon à partir de l'échantillon complet afin de se concentrer sur les répondants qui sont représentatifs des couples hétérosexuels : les conjoints doivent vivre ensemble dans un ménage et doivent appartenir tous deux à la population cible de l'enquête; 2) définir les unités qui doivent être retirées du sous-échantillon : célibataires, conjoints ne vivant pas ensemble dans un ménage et ménages comptant d'autres personnes apparentées qui appartiennent à la population cible. Alors, l'étape trois consiste à 3) définir une statistique d'enquête - p. ex., le pourcentage d'hommes - comme étant la variable dépendante qu'il faut comparer au paramètre de population.
Une analyse pour déterminer les causes des écarts par rapport au paramètre de population - par exemple, le comportement de l'intervieweur - requiert des spécifications supplémentaires aux étapes 1 et 2 pour s'assurer que le comportement de l'intervieweur varie (conceptuellement) en fonction de la facilité de prendre contact avec les personnes cibles ou de la coopération de ces dernières. Des spécifications de ce genre ont été formulées dans le présent article sous forme de définitions de différents types de ménages (voir l'hypothèse H1), dont la sélection est décrite à la section 4.3.
Le ratio hommes-femmes vrai de 50/50 chez les couples hétérosexuels n'est relié à aucun autre ratio hommes-femmes, tel que celui observé pour la population totale de résidents d'un pays. Par conséquent, comme le soutient Kohler (2007), ce ratio hommes-femmes ne peut être affecté par aucune sorte d'erreur de mesure et ne dépend pas de la taille du ménage, puisque l'analyse est limitée à deux personnes dans le ménage et que ces personnes appartiennent toutes deux à la population cible.
La méthode de Sodeur offre des avantages par rapport à d'autres méthodes, car aucune information ou données externes supplémentaires ne sont nécessaires. Cependant, elle requiert que les caractéristiques définies pour sélectionner les sous-échantillons soient connues non seulement pour les répondants, mais aussi pour leurs conjoints (p. ex., le sexe du conjoint). En outre, il ne doit pas exister de différence systématique de comportement de refus entre les hommes et les femmes (différences à l'égard du refus), ce qui peut se manifester même si les intervieweurs travaillent honnêtement. Dans la pratique, on a constaté que les femmes sont plus hésitantes à participer que les hommes (Pickery et Loosveldt 2002; Schnauber et Daschmann 2008; Stoop 2004; Williams et coll. 2007). Cela semble être également le cas dans l'ESS, dans laquelle il s'est avéré que les femmes refusaient plus souvent de participer que les hommes. L'analyse des données des vagues 1 à 4 de l'ESS provenant des formulaires de prise de contact effectuée par l'auteur montre que 30,3 % d'hommes et 37,9 % de femmes ont refusé de participer à l'ESS1 (dans certains pays, aucune donnée concernant la variable de sexe n'a été fournie; par conséquent, la proportion de données manquantes était de 32,4 %). Dans l'ESS2, 30,8 % d'hommes et 37,9 % de femmes ont refusé de coopérer (31,3 % de données manquantes); dans l'ESS3, 33,8 % d'hommes et 39,0 % de femmes ont refusé de coopérer (27,2 % de données manquantes) et dans l'ESS4, 38,4 % d'hommes et 45,8 % de femmes ont refusé de coopérer (avec une proportion de données manquantes réduite à 15,8 %). Par conséquent, le fait que les hommes étaient présents dans un sous-échantillon de données de l'ESS moins de 50 % du temps peut être expliqué plausiblement par les substitutions, tandis qu'une fréquence des hommes supérieure à 50 % peut être expliquée par des différences à l'égard du refus. Cependant, si le pourcentage d'hommes variait selon la méthode d'échantillonnage - comme le prévoit l'hypothèse H2 -, il serait difficile d'expliquer un tel résultat uniquement par les différences à l'égard du refus, qui semblent être une caractéristique relativement stable.
4.3 Procédure
La section qui suit décrit les procédures utilisées pour tester les hypothèses H1 à H3. Le tirage des sous-échantillons à partir de l'échantillon complet de l'ESS est décrit pour commencer. Les écarts par rapport au ratio hommes-femmes vrai de 50/50 dans un sous-échantillon représentent la variable dépendante dans toutes les analyses subséquentes. Les valeurs de sont comparées entre différents types de ménages pour tester l'hypothèse H1. Ensuite, l'opérationnalisation de la variable « méthode d'échantillonnage » (pour tester l'hypothèse H2) est décrite. Enfin, l'hypothèse H3 est reliée aux variables de temps, de changement d'organisme de collecte des données, de mode de rémunération et procédures de contrôle des intervieweurs, dont l'opérationnalisation est décrite à la dernière section. Les hypothèses H2 et H3 ont été testées en faisant appel à l'analyse de covariance multivariée (MANCOVA) suivie d'analyses de covariance (ANCOVA) dans lesquelles la méthode d'échantillonnage a été utilisée comme variable indépendante et la vague de l'ESS, le changement d'organisme de collecte des données, la prime de rémunération et les contrôles de l'intervieweur ont servi de covariables.
Tirage des sous-échantillons
La population cible de l'ESS correspond dans chaque pays aux personnes de 15 ans et plus qui résident dans des logements privés, indépendamment de leur nationalité et leur citoyenneté, leur langue ou leur statut légal (p. ex., ESS-1 2002 Documentation Report, page 2). Les répondants ( 88 375) qui vivent avec un conjoint de sexe opposé âgé de 15 ans ou plus ont été sélectionnés à partir de l'échantillon total des vagues 1 à 4 de l'ESS ( 184 988). Le tirage de cet échantillon a réduit la base de données d'analyse à la moitié environ de l'échantillon total. Cependant, cette sélection était nécessaire pour s'assurer que le pourcentage prévu d'hommes soit de 50 %.
Trois types de ménages ont été distingués dans le sous-échantillon sélectionné : les couples avec enfants de 0 à 6 ans ( 18 791), les couples avec enfants de 7 à 14 ans ( 53 651) et les couples dont les deux conjoints étaient à l'âge de la retraite (retraités, 15 933). Afin de déterminer l'âge de la retraite, on s'est servi de l'âge légal de la retraite en vigueur dans chaque pays (voir l'annexe). Les deux premiers groupes avec enfants ont été formés parce que l'on supposait que les différences de facilité de prise de contact entre les conjoints étaient particulièrement prononcées dans ces ménages. Pour le troisième groupe, on a supposé que les différences de facilité de prise de contact selon le sexe étaient relativement modestes, mais que les hommes et les femmes différaient en ce qui concerne la coopération.
Le fait que les hommes sont les soutiens de famille dans les deux sous-échantillons contenant des ménages avec enfants est corroboré par l'analyse effectuée par l'auteur en utilisant les données de l'ESS. L'examen des activités des répondants au cours des sept jours qui ont précédé l'enquête dans les ménages avec enfants de moins de sept ans a montré que 58 % d'hommes et 42 % de femmes avaient un emploi rémunéré. Pour ce qui est du conjoint du répondant, 64 % d'hommes et 36 % de femmes avaient un emploi rémunéré. Des résultats comparables ont été obtenus pour les répondants dans les ménages avec enfants de 7 à 14 ans (pour les répondants, 54 % d'hommes et 46 % de femmes avaient un emploi rémunéré et pour les conjoints des répondants, 60,5 % d'hommes et 39,5 % de femmes étaient dans cette situation). Dans les ménages dont les conjoints étaient retraités, 80,6 % des répondants étaient retraités, 11,5 % faisaient des travaux ménagers et 1,3 % étaient atteints d'une maladie ou d'une incapacité de longue durée. En ce qui concerne le conjoint du répondant, 84,4 % étaient retraités, 17 % faisaient des travaux ménagers et 2,1 % étaient atteints d'une maladie ou d'une incapacité de longue durée.
Catégorisation des méthodes d'échantillonnage
Les méthodes d'échantillonnage ont été classées en se basant sur les rapports documentaires produits pour chaque vague de l'ESS (European Social Survey (2011): ESS 1-4 Documentation Reports). Le tableau 4.1 résume les principales caractéristiques des méthodes d'échantillonnage utilisées dans l'ESS. Le tableau 4.2 montre quelles méthodes d'échantillonnage ont été utilisées dans chaque pays à chaque vague. Pour des renseignements plus détaillés sur les procédures de sélection de l'ESS, consulter les rapports documentaires ou Lynn et coll. (2007).
Dans le cas de l'ERA, il est important d'examiner le traitement des immeubles à logements multiples correspondant à une adresse, puisque ce sont également les intervieweurs qui gèrent la situation. La documentation de l'enquête ne décrivait ce traitement que pour quelques pays (Irlande, Israël, Pays-Bas et Royaume-Uni). En Irlande, par exemple, les intervieweurs dressaient la liste des ménages et sélectionnaient l'un d'entre eux en utilisant la grille de Kish (Kish 1965).
En Autriche, une méthode d'ENR a été appliquée à 50 % seulement de l'échantillon, tandis que les 50 % restants ont été sélectionnés par une méthode d'ERA. Puisque l'ENR peut entraîner un plus grand nombre de substitutions que l'ERA seulement, on peut s'attendre à ce que les résultats en Autriche soient plus semblables aux résultats obtenus dans les pays ayant utilisé un ENR que dans ceux ayant utilisé un ERA. Par conséquent, l'auteur a classé l'Autriche dans la catégorie de l'ENR.
| Échantillonnage à partir d’un registre de personnes | Échantillonnage à partir d’un registre d’adresses/de ménages | Échantillonnage non effectué à partir d’un registre | |
|---|---|---|---|
| Base de sondage | Listes fiables de résidents | Listes fiables d’adresses/de ménages | Régions (pas de listes de résidents, d’adresses ni de ménages) |
| 1er degré : Sélection des UPE |
|||
| Définition d'une unité | Grappes régionales, régions, municipalités | Circonscriptions électorales, régions de codes postaux | Grappes régionales, régions, municipalités |
| Processus de sélection | Échantillonnage aléatoire systématique | Échantillonnage aléatoire systématique | Échantillonnage aléatoire systématique |
| Résultat | Communauté, municipalité | Circonscriptions électorales, circonscriptions de code postal | Régions géographiques, municipalités |
| 2e degré : Sélection des ménages |
|||
| Définition d'une unité | Sans objet | Un ménage, une adresse | Un ménage/logement |
| Processus de sélection | Sans objet | Échantillonnage aléatoire simple ou systématique | Marche aléatoire/LAE échantillonnage aléatoire simple |
| Résultat | Sans objet | Adresses des ménages | Ménage/adresse/logement |
| 3e degré : Sélection des personnes |
|||
| Définition d’une unité | Personne cible | Personne cible | Personne cible |
| Processus de sélection | Échantillonnage aléatoire simple ou systématique | Sélection aléatoire par l’intervieweur par la méthode de la grille de Kish ou du dernier anniversaire | Sélection aléatoire par l’intervieweur par la méthode de la grille de Kish ou du dernier anniversaire |
| Résultat | Nom et adresse des personnes échantillonnées | Personnes échantillonnées | Personnes échantillonnées |
| Vague de l’ESS | Échantillonnage à partir d’un registre de personnes (ERP) | Échantillonnage à partir d’un registre d’adresses/de ménages (ERA) | Échantillonnage non effectué à partir d’un registre (ENR) |
|---|---|---|---|
| ESS 1 | BE, DE, HU, NO, PL, SI, DK, FI, SE | Addresse: IE, IT, NL, GB, CH Ménage: CZ, LU, ES |
FR, GR, PT, AT |
| ESS 2 | BE, DE, HU, NO, PL, SI, DK, FI, SE, ES, EE, IS, SK | Addresse: IE, NL, GB, CH Ménage: LU, TR |
FR, GR, PT, AT, CZ, UA |
| ESS 3 | BE, DE, NO, PL, SI, DK, FI, SE, ES, EE, SK | Addresse: IE, NL, GB, CH, LV Ménage: CY, BG, HU |
FR, PT, AT, UA, RU, RO |
| ESS 4 | BE, DE, HU, NO, PL, SI, DK, FI, SE, ES, EE | Addresse: IE, NL, GB, CH, IL, LV Ménage: CZ, CY, LT, GR, KRO, TR, BG |
FR, PT, SK, UA, RU, RO |
| Note: La Roumanie n’est pas incluse dans le fichier de données intégré de l’ESS; aucune information sur la méthode d’échantillonnage n’a été fournie par l’Italie dans les rapports documentaires ESS2 à ESS4. Les pays sont étiquetés conformément à la norme ISO 3166-1, voir l’annexe. | |||
Le type de méthode d'ENR utilisé par un pays a rarement été décrit dans la documentation. Dans le cas de l'ESS1, il est évident que la Grèce est la seule à avoir utilisé la méthode LAE. L'utilisation d'une méthode LAE est décrite pour la République tchèque et la Slovaquie pour les dernières vagues. Pour l'ESS4, l'Ukraine, la Russie et le Portugal décrivent une procédure comparable à la méthode LAE. Cependant, dans ces pays, les intervieweurs (et non les bureaux) ont sélectionné un nombre fixe d'unités à partir des listes produites par d'autres intervieweurs.
Variables explicatives
L'information se rapportant à une vague particulière de l'ESS a été utilisée comme variable pour tenir compte de l'effet temporel. Les rapports documentaires ont fourni des renseignements sur les autres variables explicatives, le changement d'organisme de collecte des données, ainsi que le mode de rémunération et les procédures de contrôle des intervieweurs. Les pays qui ont changé d'organisme de collecte des données entre les vagues sont présentés en annexe. Pour ce qui est du mode de rémunération, il s'est avéré que la principale méthode employée pour l'ESS était la rémunération par interview achevée. Un taux de rémunération horaire n'a été utilisé que dans quelques pays qui ont également utilisé un ERP (pour les ESS1 et 2 en Norvège et en Suède, ainsi que les ESS3 et 4 en Norvège et en Finlande). Par conséquent, les modes de rémunération variaient peu et il n'a pas été possible d'effectuer une analyse des données correspondantes. Toutefois, le paiement de primes variait selon le pays et selon la vague de l'enquête. Par conséquent, cette information a été utilisée pour produire une variable de contrôle dichotomique (paiement d'une prime : oui/non).
Deux variables ont été utilisées pour décrire les procédures de contrôle : le nombre d'éléments de l'échantillon admissibles sélectionnés pour les contrôles divisé par le nombre d'éléments de l'échantillon admissibles (ratio d'éléments sélectionnés), ainsi que le nombre de résultats confirmés divisé par le nombre d'éléments de l'échantillon sélectionnés pour les contrôles (ratio de résultats confirmés). La première variable décrit le nombre de contrôles dans un pays, tandis que la seconde décrit l'efficacité de ces contrôles. Le « ratio d'éléments sélectionnés » varie de 10 % pour l'ERP, à 13 % pour l'ENR et à 16 % pour l'ERA. Le « ratio de résultats confirmés » est un peu plus élevé pour l'ENR ( 75,21, 24,81) que pour les deux autres méthodes d'échantillonnage (ERP : 61,89, 31,95; ERA : 66,49; 32,56).
- Date de modification :