3. Méthode proposée

Jae Kwang Kim et Shu Yang

Précédent | Suivant

Nous examinons d’abord une méthode d’imputation fractionnaire hot deck appelée imputation fractionnaire complète, où les valeurs imputées sont tirées de l’ensemble de répondants désigné par $A_R=\left\{i\in A;{\delta }_i=1\right\}$. C’est-à-dire que la $j\text{-ième}$ valeur imputée de la donnée manquante $y_i,$ désignée par $y_i^{*(j)},$ est égale à la $j\text{-ième}$ valeur de $y$ dans l’ensemble $A_R.$ Nous proposons une méthode d’imputation fractionnaire hot deck qui utilise l’hypothèse du modèle paramétrique $f\left(y|x;\theta \right)$. Si tous les éléments de $A_R$ sont choisis comme valeurs imputées de la donnée manquante $y_i,$ nous pouvons traiter $\left\{y_j;j\in A_R\right\}$ comme une réalisation de $f\left(y_j|{\delta }_j=1\right)$ et, si $h\left(y_j|x_i\right)=f\left(y_j|{\delta }_j=1\right)$ est choisi en (2.6), le poids fractionnaire assigné au donneur $y_j$  pour la donnée manquante $y_i$  devient

$$\begin{array}{llllll}{w}_{ij}^{\mathrm{<mo>*</mo>}}\hfill & \propto \hfill & f\left(y_j\mathrm{<mo>|</mo>}{x}_i\mathrm{,}{\delta }_i\mathrm{<mo>=</mo>0<mo>;</mo>}\widehat{\theta }\right)/f\left(y_j\mathrm{<mo>|</mo>}{\delta }_j\mathrm{<mo>=</mo>1}\right)\hfill & \hfill & \hfill & (3.1)\hfill \\ \hfill & \propto \hfill & f\left(y_j\mathrm{<mo>|</mo>}{x}_{i\mathrm{<mo>;</mo>}}\widehat{\theta }\right)/f\left(y_j\mathrm{<mo>|</mo>}{\delta }_j\mathrm{<mo>=</mo>1}\right)\mathrm{,}\hfill & \hfill & \hfill & \hfill \end{array}$$

où ${\displaystyle {\sum }_{j;{\delta }_j=1}}{w}_{ij}^{*}=1$ et $\widehat{\theta }$  est l’estimateur du maximum de vraisemblance (EMV) obtenu de l’équation (2.4). La deuxième ligne découle de l’hypothèse des données manquant au hasard. Nous pouvons aussi écrire

$$\begin{array}{llllll}f\left(y_j\mathrm{<mo>|</mo>}{\delta }_j\mathrm{<mo>=</mo>1}\right)\hfill & =\hfill & {\displaystyle \int }f\left(y_j|x\mathrm{,}{\delta }_j\mathrm{<mo>=</mo>1}\right)f\left(x|{\delta }_j\mathrm{<mo>=</mo>1}\right)dx\hfill & \hfill & \hfill & (3.2)\hfill \\ \hfill & =\hfill & {\displaystyle \int }f\left(y_j|x\right)f\left(x|{\delta }_j\mathrm{<mo>=</mo>1}\right)dx\hfill & \hfill & \hfill & \hfill \\ \hfill & \cong \hfill & \frac{1}{N_R}{\displaystyle \sum _{k\mathrm{<mo>=</mo>1}}^N}{\delta }_{k}f\left(y_j|x_k\right)\mathrm{,}\hfill & \hfill & \hfill & \hfill \end{array}$$

où la deuxième égalité découle de l’hypothèse des valeurs manquant au hasard, et la dernière égalité (approximative) est obtenue en approximant l’intégrale par distribution empirique de la population. $N_R$  est le nombre de répondants dans la population. En utilisant les poids d’enquête, nous pouvons approximer

$$f\left(y_j|{\delta }_j=1\right)\cong \frac{{\displaystyle {\sum }_{k\in A_R}{w}_{k}f\left(y_j|x_k\right)}}{{\displaystyle {\sum }_{k\in A_R}{w}_k}}$$

et les poids fractionnaires en (3.1) sont calculés comme suit :

$$w_{ij}^{*}\propto \frac{f\left(y_j|x_i;\widehat{\theta }\right)}{{\displaystyle {\sum }_{k\in A_R}{w}_{k}f\left(y_j|x_k;\widehat{\theta }\right)}} (3.3)$$

où ${\displaystyle {\sum }_{j\in A_R}}{w}_{ij}^{*}=1$. En (3.3), la masse ponctuelle $w_{ij}^{*}$ assignée au donneur $y_j$  pour l’unité manquante $i$ est exprimée par le ratio de la densité $f\left(y|x\right).$  Ainsi, pour chaque unité manquante $i,n_R=\left|A_R\right|$, nous utilisons les observations comme donneurs pour l’imputation hot deck et $w_{ij}^{*}$ comme poids fractionnaires. Cette méthode d’imputation fractionnaire peut être qualifiée d’imputation fractionnaire complète (IFC) en l’absence de caractère aléatoire attribuable au mécanisme d’imputation. L’estimateur IFC de $\eta ,$ défini par ${\displaystyle {\sum }_{i=1}^N}U\left(\eta ;x_i\mathrm{,}{y}_i\right)=0$ est alors calculé en résolvant

$${\displaystyle \sum _{i\in A}}{w}_i\left\{{\delta }_{i}U\left(\eta ;x_i\mathrm{,}{y}_i\right)+\left(1-{\delta }_i\right){\displaystyle \sum _{j\in A_R}}{w}_{ij}^{*}U\left(\eta ;x_i\mathrm{,}{y}_j\right)\right\}=0, (3.4)$$

où $w_{ij}^{*}$ est défini en (3.3). Il est à noter que l’équation d’estimation imputée (3.4) est une bonne approximation de l’équation d’estimation prévue en (2.2).

En échantillonnage, un ensemble de données imputées où la quantité d’imputation est importante n’est pas toujours souhaitable. Au lieu d’utiliser toutes les observations en $A_R$  comme donneurs pour chaque donnée manquante, nous pouvons sélectionner un sous-ensemble de $A_R$  afin de réduire la taille de l’ensemble donneur de la donnée manquante $y_i.$  Ainsi, la sélection des donneurs est considérée comme un problème d’échantillonnage et nous utilisons un plan d’échantillonnage et des techniques de pondération efficaces pour obtenir des estimateurs par imputation efficaces. Des plans d’échantillonnage efficaces, comme un échantillonnage stratifié ou un échantillonnage systématique avec probabilité proportionnelle à la taille (PPT), peuvent être utilisés pour sélectionner des donneurs de taille $m.$  Un échantillonnage PPT systématique pour l’imputation fractionnaire hot deck peut être décrit comme suit :

1. Dans chaque $i$ où ${\delta }_i=0,$ trier les donneurs de l’ensemble complet de répondants $\left\{y_j;{\delta }_j=1\right\}$ par ordre croissant où $y_{(1)}\le \cdots \le y_{(r)}$ et utiliser $w_{i(j)}^{*}$ pour désigner le poids fractionnaire associé à $y_{(j)}$, c’est-à-dire $w_{i(j)}^{*}=w_{ik}^{*}$ pour $y_{(j)}=y_k.$
2. Partitionner $\left[\mathrm{0,1}\right]$  par $\left\{I_j\equiv \left[{\displaystyle {\sum }_{k=0}^j}{w}_{i(j)}^{*}\mathrm{,}{\displaystyle {\sum }_{k=0}^{j+1}}{w}_{i(j)}^{*}\right)\mathrm{,}j=\mathrm{1,}\dots \mathrm{,}r-1\right\},$ où $w_{i(0)}^{*}=0.$
3. Générer $u\sim \text{uniforme}\left(\mathrm{0,}1/m\right)$ et poser $u_k=u+k/m,$  $k=0,\dots \mathrm{,}m-1.$ Pour $k=0,\dots \mathrm{,}m-1,$ si $u_k\in I_j$  pour certains $0\le j\le r-1,$  inclure $j$  dans l’échantillon $D_i.$

Après avoir sélectionné $D_i$  dans l’ensemble complet de répondants, nous assignons les poids fractionnaires initiaux $w_{ij0}^{*}=1/m$ aux donneurs choisis en $D_i$ . D’autres ajustements sont apportés aux poids fractionnaires afin de satisfaire

$${\displaystyle \sum _{i\in A}}{w}_i\left\{\left(1-{\delta }_i\right){\displaystyle \sum _{j\in D_i}}{w}_{ij\mathrm{,}c}^{*}q\left(x_i\mathrm{,}{y}_j\right)\right\}={\displaystyle \sum _{i\in A}}{w}_i\left\{\left(1-{\delta }_i\right){\displaystyle \sum _{j\in A_R}}{w}_{ij}^{*}q\left(x_i\mathrm{,}{y}_j\right)\right\}\mathrm{,} (3.5)$$

pour certains $q\left(x_i\mathrm{,}{y}_j\right)$ , et ${\displaystyle {\sum }_{j\in D_i}}{w}_{ij\mathrm{,}c}^{*}=1$ pour tous les $i$  où ${\delta }_i=0,$  $w_{ij}^{*}$ étant les poids fractionnaires pour la méthode d’IFC définie en (3.3). En ce qui concerne le choix de la fonction de contrôle $q\left(x\mathrm{,}y\right)$  en (3.5), nous pouvons utiliser $q\left(x\mathrm{,}y\right)={\left(y\mathrm{,}{y}^2\right)}^{\prime }$, ce qui rapproche le plus possible les distributions empiriques de $y$  pour $D_i$  et $A_R$  en ce sens que les premier et second moments de $y$  sont les mêmes. D’autres choix peuvent être envisagés. Voir Fuller et Kim (2005).

Le problème d’ajustement des poids initiaux afin de respecter certaines contraintes est souvent qualifié de calage et les poids fractionnaires résultants peuvent être qualifiés de poids fractionnaires calés. En utilisant la pondération par régression, nous pouvons calculer des poids fractionnaires finaux de calage qui satisfont à (3.5) et ${\displaystyle {\sum }_j}{w}_{ij\mathrm{,}c}^{*}=1$ comme suit :

$$w_{ij\mathrm{,}c}^{*}=w_{ij0}^{*}+w_{ij0}^{*}\Delta \left(q_{ij}^{*}-{\overline{q}}_{i\cdot }^{*}\right)\mathrm{,} (3.6)$$

où $q_{ij}^{*}=q\left(x_i\mathrm{,}{y}_j\right),{\overline{q}}_{i\cdot }^{*}={\displaystyle {\sum }_{j\in A_R}}{w}_{ij0}^{*}{q}_{ij}^{*},$

$\Delta ={\left\{C_q-{\displaystyle {\sum }_{i\in A}{w}_i\left(1-{\delta }_i\right)}{\displaystyle {\sum }_{j\in A_R}{w}_{ij0}^{*}{q}_{ij}^{*}}\right\}}^T{\left\{{\displaystyle {\sum }_{i\in A}{w}_i\left(1-{\delta }_i\right)}{\displaystyle {\sum }_{j\in A_R}{w}_{ij0}^{*}{\left(q_{ij}^{*}-{\overline{q}}_{i\cdot }^{*}\right)}^{\otimes 2}}\right\}}^{-1}$

et $C_q={\displaystyle {\sum }_{i\in A}}{w}_i\left\{\left(1-{\delta }_i\right){\displaystyle {\sum }_{j\in A_R}}{w}_{ij}^{*}q\left(x_i\mathrm{,}{y}_j\right)\right\}$. Ici, $B^{\otimes 2}$  désigne $B{B}^T.$  Certains des poids fractionnaires calculés en (3.6) peuvent prendre des valeurs négatives. Le cas échéant, il faut utiliser des algorithmes remplaçant la pondération par régression. Par exemple, considérons la pondération par l’entropie, où les poids fractionnaires de la forme

$$w_{ij\mathrm{,}c}^{*}=\frac{w_{ij}^{*}\exp \left(\Delta q_{ij}^{*}\right)}{{\displaystyle {\sum }_{k\in A_R}{w}_{ik}^{*}\exp \left(\Delta q_{ik}^{*}\right)}} (3.7)$$

sont à peu près égaux aux poids fractionnaires par régression en (3.6) et sont toujours positifs. Après avoir obtenu les poids fractionnaires de calage, nous pouvons calculer l’estimateur IFHD de $\eta$  en résolvant

$${\displaystyle \sum _{i\in A}}{w}_i\left\{{\delta }_{i}U\left(\eta ;x_i\mathrm{,}{y}_i\right)+\left(1-{\delta }_i\right){\displaystyle \sum _{j\in D_i}}{w}_{ij\mathrm{,}c}^{*}U\left(\eta ;x_i\mathrm{,}{y}_j\right)\right\}=0. (3.8)$$

Une méthode par rééchantillonnage peut être utilisée pour estimer la variance. L’annexe A.1 contient une brève discussion de l’estimateur de variance par rééchantillonnage pour la méthode proposée.

La méthode proposée peut aussi traiter la non-réponse non ignorable sous spécification correcte du modèle de réponse. Voir l’annexe A.3 pour l’extension à un cas de non-réponse non ignorable.

Précédent | Suivant