2. Modèle d'imputation bayésien à classes latentes avec zéros structurels

Daniel Manrique-Vallier et Jerome P. Reiter

Précédent | Suivant

Supposons que nous avons un échantillon de $n$ individus mesurés sur $J$ variables catégoriques. Chaque individu est associé à un vecteur de réponses $x_i=\left(x_{i1}\mathrm{,}{x}_{i2}\mathrm{,}\dots \mathrm{,}{x}_{iJ}\right),$ dont les composantes prennent des valeurs provenant d'un ensemble de $L_j$ niveaux. Pour simplifier, nous étiquetons ces niveaux en utilisant des nombres consécutifs, $x_{ij}\in \left\{\mathrm{1,}\dots \mathrm{,}{L}_j\right\},$ de sorte que $x_i\in C={\displaystyle {\prod }_{j=1}^J}\left\{\mathrm{1,}\dots \mathrm{,}{L}_j\right\}.$ Notons que $C$ inclut toutes les combinaisons des $J$ variables, y compris les zéros structurels, et que chaque combinaison $x$ peut être considérée comme une cellule dans le tableau de contingence formé par $C.$ Soit $x_i=\left(x_i^{\text{obs}}\mathrm{,}{x}_i^{\text{manq}}\right),$ où $x_i^{\text{obs}}$ inclut les variables dont les valeurs sont observées et $x_i^{\text{manq}}$ inclut les variables dont les valeurs manquent. Enfin, soit $S=\left\{s_1\mathrm{,}\dots ,s_C\right\},$ où $s_c\in C$ et $c=\mathrm{1,}\dots \mathrm{,}C<\left|S\right|,$ l'ensemble de cellules contenant un zéro structurel, c.-à-d. $\mathrm{Pr}\left(x_i\in S\right)=0.$

2.1 Modèles à classes latentes

Pour commencer, nous décrivons le modèle à classes latentes bayésien sans nous préoccuper des zéros structurels et sans aucune donnée manquante, c.-à-d. $x_i=x_i^{\text{obs}}.$ Ce modèle est un mélange fini de produits de lois multinomiales,

$$p\left(x|\lambda \mathrm{,}\pi \right)=f^{MCL}\left(x|\lambda \mathrm{,}\pi \right)={\displaystyle \sum _{k=1}^K}{\pi }_k{\displaystyle \prod _{j=1}^J}{\lambda }_{jk}\left[x_j\right],\left(2.1\right)$$

où $\lambda =\left({\lambda }_{jk}\left[l\right]\right),$ avec tous les ${\lambda }_{jk}\left[l\right]>0$ et ${\displaystyle {\sum }_{l=1}^{L_j}}{\lambda }_{jk}\left[l\right]=1.$ Ici, $\pi =\left({\pi }_1\mathrm{,}\dots \mathrm{,}{\pi }_K\right)$ avec ${\displaystyle {\sum }_{k=1}^K}{\pi }_k=1.$ Ce modèle correspond au processus générateur,

$$x_{ij}|z_i\stackrel{\text{indép}}{{\displaystyle \sim }}{\text{Discrète}}_{1:L_j}\left({\lambda }_{j{z}_i}\left[1\right]\mathrm{,}\dots \mathrm{,}{\lambda }_{j{z}_i}\left[L_j\right]\right)\text{pour }\text{tout}i\text{et}j(2.2)$$

$$z_i|\pi \stackrel{\text{iid}}{{\displaystyle \sim }}{\text{Discrète}}_{1:K}\left({\pi }_1\mathrm{,}\dots \mathrm{,}{\pi }_K\right)\text{pour}\text{tout}i\mathrm{.}\text{ (2}\text{.3)}$$

En ce qui concerne la notation, soit $\left(X\mathrm{,}Z\right)$ un échantillon de $n$ variables obtenu au moyen de ce processus, avec $X=\left(x_1\mathrm{,}\dots \mathrm{,}{x}_n\right)$ et $Z=\left(z_1\mathrm{,}\dots \mathrm{,}{z}_n\right).$ Pour $K$ suffisamment grand, (2.1) peut représenter arbitrairement les lois conjointes de $x$  (Suppes et Zanotti 1981; Dunson et Xing 2009). Et, en utilisant la représentation d'indépendance conditionnelle dans (2.2) et (2.3), le modèle peut être estimé et simulé efficacement même si $J$ est grand.

Pour les lois a priori sur $\pi ,$ nous suivons Si et Reiter (2013) et Manrique-Vallier et Reiter (à paraître en 2014). Nous avons

$${\lambda }_{jk}[\cdot ]\stackrel{\text{indép}}{{\displaystyle \sim }}\text{Dirichlet}\left(1_{L_j}\right)\text{ (2}\text{.4)}$$

$${\pi }_k=V_k{\displaystyle \prod _{h<k}}\left(1-V_h\right)\text{ (2}\text{.5)}$$

$$V_k\stackrel{\text{iid}}{{\displaystyle \sim }}\text{Beta}\left(\mathrm{1,}\alpha \right)\text{pour}k=\mathrm{1,}\dots \mathrm{,}K-1;V_K=1\text{ (2}\text{.6)}$$

$$\alpha \sim \text{Gamma}\left(\mathrm{0.25,0.25}\right)\text{ (2}\text{.7)}$$

Dans (2.4), les lois a priori sont équivalentes à des lois uniformes sur le support des $J\times K$ probabilités multinomiales conditionnelles et représentent donc de vagues connaissances a priori. La loi a priori pour $\pi$ dans (2.5) à (2.7) est un exemple de loi a priori stick-breaking de dimension finie (Sethuraman 1994; Ishwaran et James 2001). Comme il est discuté dans Dunson et Xing (2009) et Si et Reiter (2013), elle attribue habituellement $Z$ à moins de $K$ classes, ce qui réduit les calculs et évite le surajustement. Pour une discussion et une justification plus approfondies de ce modèle en tant qu'outil d'imputation, voir Si et Reiter (2013).

2.2 Modèles tronqués à classes latentes

Le modèle à classes latentes donné dans (2.1) ne spécifie pas naturellement les cellules contenant des zéros structurels a priori, parce qu'il repose sur la supposition d'une probabilité positive dans chaque cellule. Donc, pour représenter les tableaux contenant des zéros structurels, nous devons tronquer le modèle de sorte que

$$f^{\text{MCLT}}\left(x|\lambda \mathrm{,}\pi \mathrm{,}S\right)\propto 1\left\{x\notin S\right\}{\displaystyle \sum _{k=1}^K}{\pi }_k{\displaystyle \prod _{j=1}^J}{\lambda }_{jk}\left[x_j\right]\mathrm{.}\text{ (2}\text{.8)}$$

Comme le montrent Manrique-Vallier et Reiter (à paraître en 2014), l'obtention d'échantillons à partir de la loi a posteriori de paramètres $\left(\lambda \mathrm{,}\pi \right),$ conditionnellement à un échantillon $X^1=\left(x_1\mathrm{,}\dots \mathrm{,}{x}_n\right),$ peut être facilitée considérablement par l'adoption d'une stratégie d'augmentation analogue à celles décrites dans Basu et Ebrahimi (2001) et dans O'Malley et Zaslavsky (2008). Nous considérons que $X^1$ représente la part de variables qui n'ont pas été incluses dans l'ensemble $S$ provenant d'un échantillon plus grand, $X,$  généré directement à partir de (2.1). Soit $n_0,$ $X^0,$ et $Z^0$ la taille (inconnue) de l'échantillon, les vecteurs de réponses et les étiquettes des classes latentes pour la partie de $X$ qui n'est pas comprise dans $S.$ En utilisant une loi a priori empruntée à Meng et Zaslavsky (2002), Manrique-Vallier et Reiter (à paraître en 2014) montrent que, si $p\left(N\right)\propto 1/N,$ où $N=n_0+n,$ la loi a posteriori de $\left(\lambda \mathrm{,}\pi \right)$ sous le modèle tronqué (2.8) peut être obtenue en effectuant sur $\left(n_0\mathrm{,}{X}^0\mathrm{,}{Z}^0\mathrm{,}{Z}^1\right)$ l'intégration de la loi a posteriori sous le modèle d'échantillon augmenté.

En procédant ainsi, Manrique-Vallier et Reiter (à paraître en 2014) élaborent un algorithme efficace sur le plan des calculs pour traiter de grands ensembles de zéros structurels lorsqu'ils peuvent être exprimés comme l'union d'ensembles définis par des conditions marginales. Il s'agit d'ensembles définis en fixant certains niveaux pour un sous-ensemble de variables catégoriques, par exemple, l'ensemble de toutes les cellules, de façon que $\left\{x\in C:x_3=1,x_6=3\right\}.$ Manrique-Vallier et Reiter (à paraître en 2014) introduisent pour exprimer les conditions marginales une notation vectorielle que nous utilisons ici également. Soit $\mu =\left({\mu }_1\mathrm{,}{\mu }_2\mathrm{,}\dots \mathrm{,}{\mu }_J\right)$ où, pour $j=\mathrm{1,}\dots \mathrm{,}J,$ nous posons que ${\mu }_j=x_j$ quand $x_j$ est fixé à un certain niveau et ${\mu }_j=\ast$ autrement, où $\ast$ est une notation spéciale représentant un paramètre substituable. En utilisant cette notation et en supposant que $J=8,$ les conditions qui définissent l'ensemble susmentionné servant d'exemple ( $x_3=1$ et $x_6=3$) correspondent au vecteur $\left(\ast \mathrm{,}\ast \mathrm{,1,}\ast \mathrm{,}\ast \mathrm{,3,}\ast \mathrm{,}\ast \right).$ Pour éviter d'encombrer la notation, nous utilisons les vecteurs $\mu$ pour représenter les conditions marginales ainsi que les cellules définies par ces conditions marginales, le contexte permettant de déterminer s'il s'agit des premières ou des secondes.

2.3 Estimation et imputation multiple

Discutons maintenant de la façon d'estimer le modèle décrit à la section 2.2, puis de le convertir en un outil d'imputation multiple, lorsque certaines réponses manquent au hasard. La stratégie de base consiste à utiliser un échantillonneur de Gibbs. Étant donné un ensemble de données complet $\left(x^{\text{obs}}\mathrm{,}{x}^{\text{manq}}\right),$ nous effectuons une sélection des paramètres en utilisant l'algorithme de Manrique-Vallier et Reiter (à paraître en 2014). Étant donné une sélection des paramètres, nous effectuons la sélection de $x^{\text{manq}}$ tel que décrit plus bas.

Formellement, l'algorithme procède comme il suit. Supposons que l'ensemble de zéros structurels peut être défini comme l'union de $C$  conditions marginales disjointes, $S={\cup }_{c=1}^C{\mu }_c,$ et que nous utilisons les lois a priori pour $\alpha ,$ $\lambda$ et $\pi$ définies à la section 2.1. Sachant $x_i=\left(x_i^{\text{obs}}\mathrm{,}{x}_i^{\text{manq}}\right)$ pour $i=\mathrm{1,}\dots \mathrm{,}n,$ l'algorithme de Manrique-Vallier et Reiter (à paraître en 2014) échantillonne les paramètres comme il suit.

1. Pour $i=\mathrm{1,}\dots \mathrm{,}n,$ échantillonner $z_i^1\sim {\text{Discrète}}_{1:K}\left(p_1\mathrm{,}\dots \mathrm{,}{p}_k\right)\mathrm{,}$ avec $p_k\propto {\pi }_k{\displaystyle {\prod }_{j=1}^J}{\lambda }_{jk}\left[x_{ij}^1\right].$

2. Pour $j=\mathrm{1,}\dots \mathrm{,}J$ et $k=\mathrm{1,}\dots \mathrm{,}K,$  échantillonner ${\lambda }_{jk[\cdot ]}\sim \text{Dirichlet}\left({\xi }_{jk1}\mathrm{,}\dots \mathrm{,}{\xi }_{jk{L}_j}\right),$  avec ${\xi }_{jkl}=1+{\displaystyle {\sum }_{i=1}^n}1\left\{x_{ij}^1=l\mathrm{,}{z}_i^1=k\right\}+{\displaystyle {\sum }_{i=1}^{n_0}}1\left\{x_{ij}^0=l\mathrm{,}{z}_i^0=k\right\}.$  

3. Pour $k=\mathrm{1,}\dots \mathrm{,}K-1$  échantillonner $V_k\sim \text{Beta}\left(1+{\nu }_k\mathrm{,}a+{\displaystyle {\sum }_{h=k+1}^K}{\nu }_k\right)$  où ${\nu }_k={\displaystyle {\sum }_{i=1}^n}1\left\{z_i^1=k\right\}+{\displaystyle {\sum }_{i=1}^{n_0}}1\left\{z_i^0=k\right\}.$  Poser que $V_K=1$  et faire ${\pi }_k=V_k{\displaystyle {\prod }_{h<k}}\left(1-V_h\right)$  pour tout $k=\mathrm{1,}\dots \mathrm{,}K.$

4. Pour $c=\mathrm{1,}\dots \mathrm{,}C,$  calculer ${\omega }_c=\mathrm{Pr}\left(x\in {\mu }_c|\lambda ,\pi \right)={\displaystyle {\sum }_{k=1}^K}{\pi }_k{\displaystyle {\prod }_{{\mu }_{cj}\ne \ast }}{\lambda }_{jk}\left[{\mu }_{cj}\right].$

5. Échantillonner $\left(n_1\mathrm{,}\dots \mathrm{,}{n}_C\right)\sim NM\left(n\mathrm{,}{\omega }_1\mathrm{,}\dots \mathrm{,}{\omega }_C\right),$  où $NM$  est la loi multinomiale négative, et poser que $n_0={\displaystyle {\sum }_{c=1}^C}{n}_c.$

6. Poser que $\kappa \leftarrow 1.$ Répéter ce qui suit pour chaque $c=\mathrm{1,}\dots \mathrm{,}C.$

(a) Calculer le vecteur normalisé $\left(p_1\mathrm{,}\dots \mathrm{,}{p}_K\right),$  où $p_k\propto {\pi }_k{\displaystyle {\prod }_{j:{\mu }_{cj}\ne \ast }{\lambda }_{jk}\left[{\mu }_{cj}\right]}.$

(b) Répéter les trois étapes suivantes $n_c$  fois :

i. échantillonner $z_{\kappa }^0\sim \text{Discrète}\left(p_1\mathrm{,}\dots \mathrm{,}{p}_k\right),$

ii. pour $j=\mathrm{1,}\dots \mathrm{,}J$, échantillonner
$$x_{\kappa j}^0\sim (\begin{array}{ll}{\text{Discrète}}_{1:L_j}\left({\lambda }_{j{z}_{\kappa }^0}\left[1\right]\mathrm{,}\dots \mathrm{,}{\lambda }_{j{z}_{\kappa }^0}\left[L_j\right]\right)\hfill & \text{si}{\mu }_{cj}=\ast \hfill \\ {\delta }_{{\mu }_{jc}}\hfill & \text{si}{\mu }_{cj}\ne \ast \hfill \end{array}$$
où ${\delta }_{{\mu }_{cj}}$  est une distribution de masse ponctuelle à ${\mu }_{cj},$

iii. poser que $\kappa \leftarrow \kappa +1.$

7. Échantillonner $\alpha \sim \text{Gamma}\left(a-1+K\mathrm{,}b-\log {\pi }_K\right).$

Après avoir échantillonné les paramètres, nous devons effectuer un tirage de $x^{\text{manq}}.$ Pour $i=\mathrm{1,}\dots \mathrm{,}n,$ soit $m_i=\left(m_{i1}\mathrm{,}\dots \mathrm{,}{m}_{iJ}\right)$ un vecteur tel que $m_{ij}=1$ si la composante $j$ dans $x_i$ est manquante et $m_{ij}=0$ autrement. En supposant que les données manquent au hasard, nous ne devons échantillonner que les composantes de chaque $x_i$ pour lesquelles $m_{ij}=1,$  conditionnellement aux composantes pour lesquelles $m_{ij}=0.$ Donc, nous ajoutons une huitième étape à l'algorithme.

8. Pour $i=\mathrm{1,}\dots \mathrm{,}n,$ échantillonner $x_i^{\text{manq}}$ à partir de sa distribution conditionnelle complète,
$$p\left(x_i^{\text{manq}}|\dots \right)\propto 1\left\{x_i\notin S\right\}{\displaystyle \prod _{j:m_{ij}=1}}{\lambda }_{j{z}_i}\left[x_{ij}\right]\mathrm{.}\text{ (2}\text{.9)}$$

En l'absence de zéros structurels, les $x_{ij}$ qu'il faut imputer sont conditionnellement indépendants sachant $z_i,$ ce qui transforme la tâche d'imputation en un exercice d'échantillonnage multinomial ordinaire (Si et Reiter 2013). Cependant, les zéros structurels que contient $S$  induisent une dépendance entre les composantes. Donc, nous ne pouvons pas simplement échantillonner les composantes indépendamment les unes des autres. Une approche naïve consiste à utiliser un scénario d'acceptation-rejet en effectuant un échantillonnage répété à partir de la loi proposée $p\left(x^{\text{manq}\ast }\right)={\displaystyle {\prod }_{j:m_{ij}=1}}{\lambda }_{j{z}_i}\left[x_{ij}\right]$ jusqu'à l'obtention d'une variable telle que $x^{\text{manq}\ast }\notin S.$ Cependant, si la région de rejet est grande ou possède une probabilité élevée, cette approche peut être très inefficace.

Nous proposons plutôt de former des étapes d'échantillonnage de Gibbs supplémentaires, en calculant les lois conditionnelles de toutes les composantes manquantes afin de pouvoir les échantillonner individuellement. Soit $\text{Rep}\left(x_i\mathrm{,}j\mathrm{,}l\right)$ le vecteur qui résulte du remplacement de la composante $j$ dans $x_i$ par une valeur arbitraire $l\in \left\{\mathrm{1,2},\dots ,L_j\right\}.$ La loi conditionnelle complète de la composante manquante $j$ de $x_i$ (quand $m_{ij}=1$) est $p\left(x_{ij}|\dots \right)\propto 1\{\text{Rep}\left(x_i\mathrm{,}j\mathrm{,}{x}_{ij}\right)\notin S\}{\lambda }_{j{z}_i}\left[x_{ij}\right].$ Donc, nous remplaçons l'étape 8 dans l'algorithme par

8'. Pour chaque $\left(i\mathrm{,}j\right)\in \left\{\left(i\mathrm{,}j\right):m_{ij}=1\right\},$  échantillonner $x_{ij}\sim {\text{Discrète}}_{1:L_j}\left(p_1\mathrm{,}\dots \mathrm{,}{p}_{L_j}\right),$  où $p_l\propto$ ${\lambda }_{j{z}_i}\left[l\right]1\left\{\text{Rep}\left(x_i\mathrm{,}j\mathrm{,}l\right)\notin S\right\}.$

La définition de $p_l$  implique de tronquer le support de la loi conditionnelle complète de $x_{ij}$, c'est-à-dire $\left\{\mathrm{1,}\dots \mathrm{,}{L}_j\right\}$, de manière à ne garder que les valeurs qui évitent $x_i\in S,$ sachant les valeurs courantes de $\left\{x_{i{j}^{\prime }}:\text{tout}{j}^{\prime }\ne j\right\}.$

Pour obtenir $M$ ensembles de données complets à utiliser pour l'imputation multiple, les analystes sélectionnent $M$ des $x^{\text{manq}}$ échantillonnés après convergence de l'échantillonneur de Gibbs. Ces ensembles de données doivent être suffisamment espacés pour être approximativement indépendants (sachant $x^{\text{obs}}$). Cela requiert de réduire les échantillons MCMC de manière que les autocorrélations entre les paramètres soient proches de zéro.

Précédent | Suivant