Nouvelle méthode d’imputation hot deck double pour données manquantes bornées
Section 3. Simulation

• Précédent
• Suivant

Nous utilisons les abréviations suivantes pour les méthodes d’imputation examinées dans les sections 1 et 2 : OBS (cas disponibles), T-NORM (imputation normale tronquée dans Rubin (1978); Raghunathan et coll. (2001)), MV (méthode corrigée pour l’incertitude de la moyenne et de la variance dans Rubin et Schenker (1986)), AMP (appariement de la moyenne prédictive dans Little (1988)), TRL (méthode de tirage de résidu local dans Schenker et coll. (2006)) et trois variantes du TRP-AB notées TRP, STRP et ${\text{STRP}}_2.$ Nous comparons ces huit méthodes d’imputation à notre méthode de TRP-AB où une procédure de troncature est ajoutée dans MV, AMP et TRL pour tenir compte des contraintes de bornes; la troncature est notée T-MV, T-AMP et T-TRL, respectivement.

Nous considérons une taille d’échantillon de 1 000 et des taux de valeurs manquantes de 20 % ou 50 % dans le modèle linéaire suivant :

$Y_i\mathrm{<mo>=</mo>}{X}_i+{\epsilon }_i\mathrm{,}$  où  $C_{iL}\le Y_i\le C_{iU}$  pour  $i\mathrm{<mo>=</mo>}\mathrm{1,}\dots ,n\mathrm{,}(3.1)$

et les $X_i$ sont générés indépendamment de $N\left(\mathrm{2,}2\right)$ et de variables i.i.d. Les valeurs ${\epsilon }_i$ sont simulées à partir de $N\left(\mathrm{0,}{\sigma }_Y\right)$ ou de la distribution-t avec un degré de liberté $t_{df}$ . Les valeurs de bornes $C_{i\mathrm{,}U}$ et $C_{i\mathrm{,}L}$ sont générées avec $Y_i+\left|Z_{i\mathrm{,}U}\right|$ et $Y_i-\left|Z_{i\mathrm{,}L}\right|$ où $Z_{i\mathrm{,}U}~N\left(\mathrm{0,}{\sigma }_U\right)$ et $Z_{i\mathrm{,}L}~N\left(\mathrm{0,}{\sigma }_L\right),$ respectivement. Nous établissons $\text{Cor}\left(X\mathrm{,}Y\right)$ à 0,7 ou 0,9 en ajustant ${\sigma }_Y$ (ou $t_{df}),$ et nous établissons $\text{Cor}\left(Y\mathrm{,}{C}_U\right)$ et $\text{Cor}\left(Y\mathrm{,}{C}_L\right)$ entre 0 et 0,9 en ajustant ${\sigma }_U$ et ${\sigma }_L.$ La corrélation $\text{Cor}\left(Y\mathrm{,}{C}_U\right)$ $\left(\text{Cor}\left(Y\mathrm{,}{C}_L\right)\right)$ notée ${\rho }_{y\mathrm{,}{c}_u}$ $\left({\rho }_{y\mathrm{,}{c}_l}\right)$ indique que la borne supérieure $C_U$ a une information plus robuste pour $Y$ que la borne inférieure $C_L$ quand ${\rho }_{y\mathrm{,}{c}_u}$ est supérieur à ${\rho }_{y\mathrm{,}{c}_L}$ en valeur absolue.

Deux types de mécanismes de valeurs manquantes sont examinés. Premièrement, 20 % des valeurs $Y$ sont choisies aléatoirement et traitées comme manquantes pour refléter le mécanisme de valeurs manquantes « entièrement au hasard (MCAR) ». Deuxièmement, nous établissons 80 % des valeurs $Y_i$ à manquantes quand la valeur correspondante $X_i$ est supérieure à sa moyenne et 20 % des valeurs $Y_i$ à manquantes quand la valeur correspondante $X_i$ est inférieure à sa moyenne. Cela résulte en approximativement 50 % de valeurs manquantes pour $Y_i$ globalement et reflète les « données manquantes au hasard (MAR) ». Notons qu’aucune imputation n’est nécessaire pour les valeurs manquantes en cas de valeurs manquantes entièrement au hasard (MCAR), alors que l’imputation des valeurs manquantes est requise en cas de données manquantes au hasard (MAR) (Scheffer, 2002).

Nous répétons chaque scénario de simulation 1 000 fois avec le nombre d’imputations $M$ égal à 5 et le nombre de donneurs possibles dans le bassin de sélection pour l’imputation $m_d$ égal à 6. Une taille de donneur possible $m_d$ peut être inférieure à 6 quand l’échantillon ne suffit pas pour composer un donneur, mais cela ne se produit pas quand la taille de l’échantillon est de 1 000. Nous choisissons les nombres fixes couramment utilisés $M\mathrm{<mo>=</mo>}5$ et $m_d\mathrm{<mo>=</mo>}6$ (Geraci et McLain, 2018; Schafer, Ezzati-Rice, Johnson, Khare, Little et Rubin, 1996; Schenker et Taylor, 1996), car on sait que ce type de configuration n’affecte pas significativement les performances des méthodes d’imputation comme cela a été démontré dans Schafer (1999) et Schenker et Taylor (1996).

Les méthodes d’imputation sont comparées sur le plan de l’exactitude et de l’efficacité des estimations pour les quantités de population : moyenne $\left(\mu \right)$ et les 5^e, 25^e, 50^e, 75^e et 95^e centiles. L’inférence statistique après l’imputation multiple est effectuée, d’après Rubin (2004) et Schafer et coll. (1996). Nous employons l’erreur absolue moyenne (EAM), la racine de l’erreur quadratique moyenne (REQM), un taux de couverture d’intervalle de confiance de 95 % (TC) et une largeur moyenne d’intervalle de confiance de 95 % (LMIC) comme critères d’évaluation pour mesurer l’exactitude et l’efficacité de l’estimation (Yucel et Demirtas, 2010; Yucel, He et Zaslavsky, 2008; Gelman, Van Mechelen, Verbeke, Heitjan et Meulders, 2005).

3.1  Résultats de la simulation selon un scénario de données manquantes entièrement au hasard (MCAR)

La figure 3.1 montre la distribution de $\widehat{\mu }-\mu$ (biais) dans 1 000 ensembles de données simulées, avec 20 % de valeurs manquantes entièrement au hasard (MCAR) sous $\left({\rho }_{y\mathrm{,}{c}_l}\text{}\mathrm{,}{\rho }_{y\mathrm{,}{c}_u}\right)\mathrm{<mo>=</mo>}\left(\text{0,8};0\right)$ et ${\rho }_{x\mathrm{,}y}\mathrm{<mo>=</mo>}\text{0,7}.$ Étant donné qu’aucune imputation n’est nécessaire pour les valeurs manquantes selon un scénario de données manquantes entièrement au hasard dans l’estimation de la moyenne et de la variance de $Y,$ OBS est sans biais pour la moyenne de $Y,$ comme on pouvait s’y attendre. La figure 3.1 montre toutefois que toutes les méthodes d’imputation, sauf TRP-AB, révèlent un problème de surestimation. Notons que la borne inférieure a une information robuste pour $Y({\rho }_{y\mathrm{,}{c}_l}\mathrm{<mo>=</mo>}\text{0,8})$ mais que la borne supérieure n’a pas d’information $({\rho }_{y\mathrm{,}{c}_u}\mathrm{<mo>=</mo>}0).$ À part OBS et TRP-AB, cette information de borne asymétrique pousse les valeurs imputées vers le haut dans les autres méthodes d’imputation. Pour connaître l’effet de l’information de borne asymétrique sur l’exactitude de l’imputation, différentes valeurs de $\left({\rho }_{y\mathrm{,}{c}_l}\text{}\mathrm{,}{\rho }_{y\mathrm{,}{c}_u}\right)$ sont prises en compte dans le tableau 3.1.

Quand les bornes supérieures et inférieures fournissent de l’information de borne pour $Y$ de façon symétrique (c’est-à-dire $({\rho }_{y\mathrm{,}{c}_l}\text{}\mathrm{,}{\rho }_{y\mathrm{,}{c}_u})\mathrm{<mo>=</mo>}(\text{0,9};\text{0,9})),$ toutes les méthodes d’imputation sont comparables et font concurrence à OBS. Cependant, en présence d’information de borne asymétrique $(({\rho }_{y\mathrm{,}{c}_l}\text{}\mathrm{,}{\rho }_{y\mathrm{,}{c}_u})\mathrm{<mo>=</mo>}(\text{0,8};0)$ ou $\mathrm{<mo\; stretchy="false">(</mo>}{\rho }_{y\mathrm{,}{c}_l}\text{}\mathrm{,}{\rho }_{y\mathrm{,}{c}_u}\mathrm{<mo\; stretchy="false">)</mo>}\mathrm{<mo>=</mo>}(\text{0,5};\text{0,8}),$ l’exactitude de l’estimation des T-NORM, T-MV, T-AMP et T-TRL existantes est nettement plus mauvaise que celle d’OBS et de TRP-AB. En particulier, le taux de couverture de 95 % de l’IC (TC) diminue considérablement à mesure que le degré d’asymétrie augmente. En revanche, les taux de couverture de la série TRP (c’est-à-dire TRP, STRP, TRP-AB) résistent à une telle asymétrie, ce qui indique que le tirage de résidu proportionné résiste à l’information de borne asymétrique. Dans la série TRP, le TRP-AB surpasse TRP et STRP et est même meilleur qu’OBS pour ce qui est de l’EAM et de la REQM.

Notons qu’à part dans OBS et TRP-AB, les valeurs imputées par toutes les autres méthodes d’imputation font que la distribution de $Y$ tend vers la borne ayant une information de borne plus faible. Plus précisément, toutes les méthodes d’imputation, sauf OBS et TRP-AB, ont tendance à surestimer la moyenne véritable de $Y\left(E\left(Y\right)\mathrm{<mo>=</mo>}2\right)$ pour $\left({\rho }_{y\mathrm{,}{c}_l}\text{}\mathrm{,}{\rho }_{y\mathrm{,}{c}_u}\right)\mathrm{<mo>=</mo>}(\text{0,8};0)$ car ${\rho }_{y\mathrm{,}{c}_u}\mathrm{<mo><</mo>}{\rho }_{y\mathrm{,}{c}_l},$ mais aussi à sous-estimer la moyenne véritable de $\left({\rho }_{y\mathrm{,}{c}_l}\text{}\mathrm{,}{\rho }_{y\mathrm{,}{c}_u}\right)\mathrm{<mo>=</mo>}(\text{0,5};\text{0,8})$ car ${\rho }_{y\mathrm{,}{c}_u}\mathrm{<mo>></mo>}{\rho }_{y\mathrm{,}{c}_l}.$ Cette dépendance s’observe également avec le mécanisme de valeurs manquantes au hasard (MAR), comme cela est montré dans la prochaine section.

3.2  Résultats de simulation selon un scénario de données manquantes au hasard (MAR)

Le tableau 3.2 résume les résultats avec 50 % de valeurs manquantes au hasard (MAR) en cas de distribution $t\left(t_{df}\mathrm{<mo>=</mo>}3\right)$ et normale des erreurs. Comme on pouvait s’y attendre, OBS, qui utilise uniquement des valeurs observées dans l’estimation donne des résultats bien moins bons que toutes les méthodes d’imputation pour ce qui est de l’estimation de la moyenne véritable $\mu \mathrm{<mo>=</mo>\; 2.}$ Les résultats liés à l’information de borne asymétrique ressemblent aux résultats de simulation selon un scénario de données manquantes entièrement au hasard. L’exactitude et l’efficacité de T-NORM, T-MV, T-AMP et T-TRL sont nettement plus mauvaises que celles de la série TRP quand l’information de borne est asymétrique. Cela montre l’effet des deux étapes hot decks et du tirage de résidu proportionné sur l’exactitude et l’efficacité de l’estimation de la moyenne. Sauf pour l’information de borne symétrique selon les distributions $t$ et normale, les taux de couverture de T-NORM, T-MV, T-AMP et T-TRL sont moins de 50 % plus petits que le taux visé de 95 %. Toutes les méthodes d’imputation, sauf TRP-AB, produisent la distribution empirique de $Y$ biaisée à la borne avec une information de borne plus faible dans les distributions normale et $t$ des erreurs. Cela signifie que seul TRP-AB résiste à l’information de borne asymétrique et aux distributions des erreurs, quel que soit le mécanisme de valeurs manquantes. Ainsi, TRP-AB surpasse les autres méthodes d’imputation dans tous les scénarios de simulation.

Afin d’examiner l’effet des procédures hot deck utilisées dans la méthode TRP-AB, nous l’avons comparée à STRP. On peut examiner l’effet de la première procédure hot deck en comparant TRP-AB et STRP, étant donné que cette première étape est supprimée dans STRP. On constate que TRP-AB donne toujours de meilleurs résultats que STRP, quelle que soit la mesure d’évaluation, tant que l’information de borne est asymétrique. Ainsi, plus l’information de borne est asymétrique d’un côté, plus le TC de STRP est mauvais, si on le compare à celui de TRP-AB. On comprend que la première étape de hot deck joue un rôle important dans la résistance à l’asymétrie de l’information de borne.

On peut ensuite vérifier le rôle de la deuxième étape de hot deck en comparant STRP à TRP, qui n’utilise aucune des procédures hot deck. La méthode STRP est meilleure que TRP quand l’information de borne est moyennement asymétrique dans l’erreur normale ou l’erreur distribuée $t,$ ce qui implique que la deuxième étape de hot deck fonctionne pour une distribution dont la queue est plus lourde que dans la distribution normale. Cette comparaison est examinée plus en détail dans l’évaluation suivante de l’estimation des centiles.

Comme nous l’avons décrit auparavant, ${\text{STRP}}_2$ est identique à STRP si ce n’est la méthode d’appariement aux fins de construction de donneurs possibles. Le donneur possible dans ${\text{STRP}}_2$ consiste en ${\tilde{r}}_{i\mathrm{,}U}$ et ${\tilde{r}}_{i\mathrm{,}L}$ dont la moyenne prédite ${\widehat{Y}}_i^{\text{obs}}$ est proche de ${\widehat{Y}}_j^{\text{manq}}.$ Ainsi, en comparant STRP et ${\text{STRP}}_2,$ nous examinons l’effet de l’appariement d’information de borne utilisé dans TRP-AB. Le tableau 3.2 montre que la méthode STRP est plus performante que ${\text{STRP}}_2$ quelles que soient l’information de borne et les distributions des erreurs, ce qui signifie que l’appariement d’information de borne fonctionne mieux que l’appariement d’après la moyenne habituel pour l’imputation de données manquantes bornées.

Nous examinons également l’estimation des centiles en évaluant la performance de chaque méthode d’imputation dans l’estimation de la probabilité que $Y$ soit plus grand que des quantiles de 5 %, 25 %, 50 %, 75 %, 95 %. Notons le quantile $p^{\text{e}}$ par $y^{-1}\left(p\right)$ satisfaisant $P\left(Y\mathrm{<mo>></mo>}{y}^{-1}\left(p\right)\right)\mathrm{<mo>=</mo>}1-p.$ On choisit les cinq centiles pour savoir dans quelle mesure la distribution vraie de $Y$ et la distribution estimée de $Y$ diffèrent selon les différentes méthodes d’imputation. Le tableau 3.3 présente les résultats de l’estimation de centile selon un scénario de 50 % de données manquantes au hasard avec erreur normale quand $({\rho }_{x\mathrm{,}y}\text{}\mathrm{,}{\rho }_{y\mathrm{,}{c}_l}\text{}\mathrm{,}{\rho }_{y\mathrm{,}{c}_u})\mathrm{<mo>=</mo>}(\text{0,7};\text{0,5};\text{0,8})$ et (0,7; 0,8; 0). On voit dans la première ligne de chaque tableau que les méthodes existantes produisent visiblement des distributions asymétriques à droite quand $\left({\rho }_{x\mathrm{,}y}\mathrm{,}{\rho }_{y\mathrm{,}{c}_l}\text{}\mathrm{,}{\rho }_{y\mathrm{,}{c}_u}\right)\mathrm{<mo>=</mo>}(\text{0,7};\text{0,5};\text{0,8})$ car ${\rho }_{y\mathrm{,}{c}_u}\mathrm{<mo>></mo>}{\rho }_{y\mathrm{,}{c}_l},$ alors qu’elles produisent des distributions asymétriques à gauche quand $\mathrm{<mo\; stretchy="false">(</mo>}{\rho }_{x\mathrm{,}y}\text{}\mathrm{,}{\rho }_{y\mathrm{,}{c}_l}\text{}\mathrm{,}{\rho }_{y\mathrm{,}{c}_u}\text{}\mathrm{<mo\; stretchy="false">)</mo>}\mathrm{<mo>=</mo>}(\text{0,7};\text{0,8};\text{0})$ car ${\rho }_{y\mathrm{,}{c}_u}\text{}\mathrm{<mo><</mo>}{\rho }_{y\mathrm{,}{c}_l}.$

Le degré d’asymétrie est considérablement moindre dans la série TRP, le TRP-AB étant la méthode la plus performante dans l’estimation des centiles. Quand l’information de borne est moyennement asymétrique (c’est-à-dire $({\rho }_{x\mathrm{,}y}\text{}\mathrm{,}{\rho }_{y\mathrm{,}{c}_l}\text{}\mathrm{,}{\rho }_{y\mathrm{,}{c}_u})\mathrm{<mo>=</mo>}(\text{0,7};\text{0,5};\text{0,8}),$ la deuxième procédure hot deck est importante, tandis que la première l’est moins car STRP est meilleur que TRP, mais comparable à TRP-AB. En revanche, quand $({\rho }_{x\mathrm{,}y}\text{}\mathrm{,}{\rho }_{y\mathrm{,}{c}_l}\text{}\mathrm{,}{\rho }_{y\mathrm{,}{c}_u})\mathrm{<mo>=</mo>}(\text{0,7};\text{0,8};\text{0}),$ la première étape hot deck est plus importante pour le choix d’une borne correcte en raison d’une information de borne extrêmement asymétrique. TRP-AB est alors la méthode la plus efficace de la série TRP parce qu’elle est la seule à comporter la première étape de hot deck. De plus, la méthode STRP est plus efficace que ${\text{STRP}}_2$ dans l’estimation des centiles. En bref, les doubles procédures hot deck comprenant un appariement d’information de borne et un tirage de résidu proportionné sont essentielles non seulement pour les restrictions de borne, mais aussi pour l’information de borne asymétrique et même pour l’information de borne symétrique et les distributions à queue lourde.

• Précédent
• Page principale de l'article
• Suivant