Imputation multiple de valeurs manquantes dans des données des ménages contenant des zéros structurels
Section 5. Étude empirique

• Précédent
• Suivant

Pour évaluer le rendement du MDPDM comme méthode d’imputation, ainsi que les stratégies d’accélération, nous utilisons les fichiers de microdonnées à grande diffusion de l’American Community Survey (ACS) de 2012, lesquels peuvent être téléchargés du site du Census Bureau (http://www2.census.gov/acs2012_1yr/pums/). Nous construisons une population de 764 580 ménages de taille $\mathcal{H}\mathrm{<mo>=</mo>}\left\{\mathrm{2,}\mathrm{3,}4\right\}$ sur laquelle nous échantillonnons $n\mathrm{<mo>=</mo>}\text{5}\text{000}$ ménages comprenant $N\mathrm{<mo>=</mo>}\text{13}\text{181}$ particuliers. Nous travaillons avec les variables décrites au tableau 5.1 qui imitent celles du recensement décennal des États-Unis. Les zéros structurels sont ceux de l’âge et des liens entre les particuliers partageant un logement (voir en annexe toute la liste des règles que nous avons appliquées). Nous faisons passer le chef du ménage au niveau des ménages comme à la section 4.1 pour réaliser des gains de calcul.

Nous introduisons les valeurs manquantes à l’aide du scénario qui suit. Nous mettons la taille du ménage et l’âge du chef du ménage en observation intégrale. Nous mettons en blanc aléatoirement et indépendamment 30 % de chaque variable dans le cas des variables restantes au niveau des ménages. Pour les particuliers autres que le chef du ménage, nous mettons en blanc aléatoirement et indépendamment 30 % des valeurs du sexe, de la race et de l’origine hispanique. Nous mettons l’âge en valeurs manquantes à des taux de 50 %, 20 %, 40 % et 30 % pour la variable des liens dans les ensembles {2}, {3, 4, 5, 10}, {7, 9} et {6, 8, 11, 12, 13} respectivement. Nous mettons en valeurs manquantes la variable des liens à des taux de 40 %, 25 %, 10 % et 55 % pour la variable de l’âge dans les ensembles $\left\{x\mathrm{<mo>:</mo>}x\le 20\right\},$ $\left\{x\mathrm{<mo>:</mo>}\mathrm{20\; <mo><</mo>}x\le 50\right\},$ $\left\{x\mathrm{<mo>:</mo>}\mathrm{50\; <mo><</mo>}x\le 70\right\}$ et $\left\{x\mathrm{<mo>:</mo>}x\mathrm{<mo>></mo>\; 70}\right\}$ respectivement. Nous obtenons ainsi une proportion approximative de 30 % de valeurs manquantes pour les deux variables. Les valeurs sont manquantes pour environ 8 % des particuliers de l’échantillon dans la double variable de l’âge et des liens et pour 2 % dans les variables du sexe, de l’âge et des liens conjointement. Ce mécanisme produit des données qui, d’un point de vue technique, ne sont pas manquantes au hasard, mais nous employons le modèle MDPDM de toute manière pour voir les possibilités dans le cas d’un mécanisme compliqué de valeurs manquantes. Les taux réels de non-réponse partielle dans les données du recensement sont généralement inférieurs à ceux que nous utilisons ici, mais nous employons des taux élevés pour soumettre le MDPDM à un test éprouvant de résistance. Nous introduisons aussi les valeurs manquantes à l’aide d’un scénario de données manquantes entièrement au hasard avec des taux de l’ordre de 10 % pour toutes les variables. Bref, les résultats seront semblables à ceux que nous aurons ici, mais en plus exacts en raison de proportions inférieures de valeurs manquantes. On peut examiner ces résultats en annexe.

Nous estimons le MDPDM au moyen de deux méthodes avec dans chaque cas l’étape d’échantillonnage de rejet S9' à la section 3. Dans la première, nous considérons ${\psi }_2\mathrm{<mo>=</mo>}{\psi }_3\mathrm{<mo>=</mo>}{\psi }_4\mathrm{<mo>=</mo>\; 1}$ sans employer la méthode de plafonnement-pondération et, dans la seconde, nous prenons ${\psi }_2\mathrm{<mo>=</mo>}{\psi }_3\mathrm{<mo>=</mo>}1/2$ et ${\psi }_4\mathrm{<mo>=</mo>}1/3.$ Dans chacune, nous exécutons 10 000 itérations de l’échantillonneur MCMC, écartant les 5 000 premières comme rodage et élaguant les échantillons restants à toutes les cinq itérations, ce qui donne 1 000 itérations MCMC après rodage. Nous posons $F\mathrm{<mo>=</mo>\; 30}$ et $S\mathrm{<mo>=</mo>\; 15}$ pour chaque méthode en fonction des passages initiaux de rodage. Pour les deux méthodes, le nombre effectif de grappes occupées au niveau des ménages va ordinairement de 13 à 16 avec 25 comme maximum; le nombre effectif de grappes occupées au niveau des particuliers va de 3 à 5 avec 10 comme maximum à l’échelle des grappes des ménages. Pour le contrôle de convergence, nous avons examiné les tracés temporels de $\alpha ,$ $\beta ,$ et les moyennes pondérées d’un échantillon aléatoire des probabilités multinomiales en (2.3) et (2.4) (puisque les probabilités multinomiales mêmes sont sujettes à commutation d’étiquettes).

Avec les deux méthodes, nous produisons $L\mathrm{<mo>=</mo>\; 50}$ jeux de données complètes, $Z=\left(Z^{\mathrm{<mo\; stretchy="false">(</mo>\; 1\; <mo\; stretchy="false">)</mo>}}\mathrm{,}\dots \mathrm{,}{Z}^{\left(50\right)}\right),$ au moyen de la distribution prédictive postérieure du MDPDM par laquelle nous estimons toutes les distributions marginales, les distributions bivariées de toutes les paires possibles de variables et les distributions trivariées de tous les trios possibles de variables. Nous estimons également plusieurs probabilités qui dépendent des liens au sein du ménage et du chef du ménage pour juger du rendement du MDPDM dans l’estimation de relations complexes. Nous obtenons des intervalles de confiance par inférence d’imputation multiple (Rubin, 1987). Reprenons brièvement la marche à suivre. Soit $q$ l’estimateur ponctuel de données complètes pour un certain paramètre $Q$ et soit $u$ l’estimateur de variance lié à $q.$ Pour $l\mathrm{<mo>=</mo>\; 1,}\dots \mathrm{,}L,$ soit $q^{\left(l\right)}$ et $u^{\left(l\right)}$ les valeurs de $q$ et $u$ dans le jeu de données complètes $Z^{\left(l\right)}\text{}.$ Nous utilisons ${\overline{q}}_L\mathrm{<mo>=</mo>}{\displaystyle {\sum }_{l\mathrm{<mo>=</mo>\; 1}}^L}{q}^{\left(l\right)}/L$ comme estimation ponctuelle de $Q.$ Nous employons $T_L\mathrm{<mo>=</mo>}\left(1+1/L\right)b_L+{\overline{u}}_L$ comme variance estimée de $\overline{q},$ où $b_L={\displaystyle {\sum }_{l\mathrm{<mo>=</mo>\; 1}}^L}{\left(q^{\left(l\right)}-{\overline{q}}_L\right)}^2/\left(L-1\right)$ et ${\overline{u}}_L\mathrm{<mo>=</mo>}{\displaystyle {\sum }_{l\mathrm{<mo>=</mo>\; 1}}^L}{u}^{\left(l\right)}/L.$ Nous inférons au sujet de $Q$ par $\left({\overline{q}}_L-Q\right)\sim t_v\left(\mathrm{0,}{T}_L\right),$ où $t_v$ est une distribution $t$ avec $v\mathrm{<mo>=</mo>}\left(L-1\right){\left(1+{\overline{u}}_L/\left[\left(1+1/L\right)b_L\right]\right)}^2$ degrés de liberté.

Les figures 5.1 et 5.2 présentent la valeur de ${\overline{q}}_{50}$ pour les diverses probabilités marginales, bivariées et trivariées estimées et tracées par rapport à leur estimation correspondante du jeu de données initiales sans valeurs manquantes. La figure 5.1 indique les résultats du MDPDM avec l’échantillonneur de rejet et la figure 5.2, les résultats correspondants avec la méthode de plafonnement-pondération. Dans les deux cas, les estimations ponctuelles sont proches de celles des données avant introduction des valeurs manquantes, d’où l’impression que le MDPDM réussit vraiment à appréhender les caractéristiques importantes de la distribution conjointe des variables. La figure 5.2 en particulier montre aussi que la méthode de plafonnement-pondération ne vient pas dégrader les estimations.

Le tableau 5.2 fait état des intervalles de confiance à 95 % de plusieurs probabilités concernant les liens au sein du ménage, ainsi que de la valeur de la population entière de 764 580 ménages. Il s’agit des deux intervalles venant des moteurs d’imputation MDPDM et de l’intervalle venant des données avant introduction des valeurs manquantes. Dans ce dernier cas, nous utilisons l’intervalle habituel de Wald, $\widehat{p}\pm \text{1,96}\sqrt{\widehat{p}\left(1-\widehat{p}\right)/n},$ où $\widehat{p}$ est le pourcentage de l’échantillon correspondant. Le plus souvent, les intervalles du modèle MDPDM avec échantillonnage de rejet intégral sont proches des intervalles des données sans valeurs manquantes. Ils comprennent généralement la quantité vraie de la population. Le moteur d’imputation MDPDM crée un biais par défaut perceptible pour les pourcentages des ménages de race homogène et le biais s’accroît avec la taille du ménage. C’est là un paramètre difficile à estimer exactement par imputation, plus particulièrement dans le cas des ménages de plus grande taille. Hu et coll. (2018) relèvent des biais par défaut lorsqu’on utilise le MDPDM (avec traitement des données du chef du ménage comme variables au niveau des particuliers) pour produire des données synthétiques intégrales en faisant observer que le biais diminue à mesure qu’augmente la taille de l’échantillon. Le MDPDM s’ajuste de mieux en mieux à la distribution conjointe à mesure que progresse la taille de l’échantillon. Nous nous attendons, par conséquent, à ce que le moteur d’imputation MDPDM gagne en précision à mesure qu’augmente cette taille et que diminue la proportion de valeurs manquantes.

Les estimations par intervalle sont généralement semblables dans la méthode de plafonnement-pondération et dans l’échantillonnage de rejet intégral avec une certaine dégradation en particulier pour les pourcentages de ménages de race homogène selon la taille du ménage. Cette dégradation ne va pas sans un côté positif : à en juger par les passages de l’échantillonneur MCMC dans un portable standard, le MDPDM est environ de 42 % plus rapide avec la méthode de plafonnement-pondération et le passage du chef du ménage au niveau des ménages qu’avec le seul traitement des données du chef du ménage au niveau des ménages.

• Précédent
• Page principale de l'article
• Suivant