Estimation bayésienne robuste sur petits domaines
Section 2. Le modèle

• Précédent
• Suivant

Un modèle au niveau du domaine type est donné par $y_i=x_i^T\beta +u_i+e_i\text{}\mathrm{,}\left(i\mathrm{<mo>=</mo>\; 1,}\dots \mathrm{,}m\right)\mathrm{,}$ où $m$ désigne le nombre de petits domaines, $x_1\mathrm{,}\dots \mathrm{,}{x}_m$ est le vecteur de covariables de dimension $p\left(\mathrm{<mo><</mo>}m\right),$ et $\beta \left(p\times 1\right)$ est le vecteur de coefficients de régression. Les distributions des effets aléatoires $u_i$ et des erreurs d’échantillonnage $e_i$ sont supposées indépendantes avec $u_i\stackrel{\text{iid}}{{\displaystyle \sim }}N\left(\mathrm{0,}{\sigma }_u^2\right)$ et $e_i\stackrel{\text{ind}}{{\displaystyle \sim }}N\left(\mathrm{0,}{v}_i\right).$ Autrement dit, le modèle au niveau du domaine classique est

$$\begin{array}{ll}{y}_i|{\theta }_i\hfill & \stackrel{\text{ind}}{{\displaystyle \sim }}N\left({\theta }_i\mathrm{,}{v}_i\right)\mathrm{,}\hfill \\ {\theta }_i|\beta \mathrm{,}{\sigma }_u^2\hfill & \stackrel{\text{ind}}{{\displaystyle \sim }}N\left(x_i^T\beta \mathrm{,}{\sigma }_u^2\right)\mathrm{,}i\mathrm{<mo>=</mo>\; 1,}\dots \mathrm{,}m.\hfill \end{array}$$

Les $v_i$ sont supposées connues afin d’éviter la non-identifiabilité. L’hypothèse que les $v_i$ sont connues devient presque obligatoire pour les utilisateurs secondaires des données qui n’ont accès à aucunes microdonnées pour les modéliser. Cependant, en réalité les variances sont aléatoires, basées sur des données échantillonnées. Dans les situations où l’on dispose de données additionnelles pour modéliser les $v_i,$ ces dernières peuvent être estimées efficacement. En outre, dans de telles situations, il est possible d’obtenir des estimateurs à rétrécissement des moyennes de petit domaine ${\theta }_i,$ ainsi que des variances $v_i\mathrm{.}$

Nous nous penchons sur les problèmes d’estimation sur petits domaines pour lesquels nous disposons de données additionnelles pour modéliser les $v_i\mathrm{.}$ En outre, pour la robustification, nous supposons que les effets aléatoires suivent une loi $t$ plutôt qu’une loi normale. Nous énonçons notre modèle comme il suit,

$$\begin{array}{ll}{y}_i|{\theta }_i\mathrm{,}{v}_i\hfill & \stackrel{\text{ind}}{{\displaystyle \sim }}N\left({\theta }_i\mathrm{,}{v}_i\right)\mathrm{,}{s}_i^2|v_i\stackrel{\text{ind}}{{\displaystyle \sim }}G\left(\frac{n_i-1}{2}\mathrm{,}\frac{1}{2v_i}\right)\hfill \\ {\theta }_i|\beta \mathrm{,}{\sigma }_{\delta }^2\mathrm{,}\nu \hfill & \stackrel{\text{ind}}{{\displaystyle \sim }}{t}_{\nu }\left(x_i^T\beta \mathrm{,}{\sigma }_{\delta }\right)\mathrm{,}i\mathrm{<mo>=</mo>\; 1,}\dots \mathrm{,}m\mathrm{,}(2.1)\hfill \end{array}$$

où $n_i$ est la taille de l’échantillon dans le $i^{\text{e}}$ domaine, $t_{\nu }\left(\mu \mathrm{,}\sigma \right)$ désigne la loi $t$ de Student avec paramètres de position $\mu \mathrm{,}$ d’échelle $\sigma$ et de degrés de liberté $\nu \mathrm{,}$ et $G\left(c\mathrm{,}d\right)$ désigne la loi gamma avec la densité estimée par noyau $x^{c-1}\text{exp}\left(-dx\right)$ pour $x\mathrm{<mo>></mo>\; 0.}$

Pour une analyse bayésienne complète, notre objectif est de trouver la loi a posteriori de $\theta \mathrm{<mo>=</mo>}{\left({\theta }_1\mathrm{,}\dots \mathrm{,}{\theta }_m\right)}^T\text{}\mathrm{,}$ sachant $y\mathrm{<mo>=</mo>}{\left(y_1\mathrm{,}\dots \mathrm{,}{y}_m\right)}^T$ et $s^2\mathrm{<mo>=</mo>}{\left(s_1^2\mathrm{,}\dots \mathrm{,}{s}_m^2\right)}^T\text{}\mathrm{.}$ Pour cela, nous devons d’abord trouver les lois a priori de tous les hyperparamètres, $\beta \mathrm{,}v\mathrm{<mo>=</mo>}{\left(v_1\mathrm{,}\dots \mathrm{,}{v}_m\right)}^T\text{}\mathrm{,}{\sigma }_{\delta }^2\text{}\mathrm{,}$ et $\nu \mathrm{.}$ Le premier essai habituel est la loi a priori de Jeffreys qui est proportionnelle à la racine carrée positive du déterminant de la matrice d’information de Fisher. Dans notre cas, cette matrice est

$$I\left(\beta \mathrm{,}v\mathrm{,}{\sigma }_{\delta }^2\text{}\mathrm{,}\nu \right)\mathrm{<mo>=</mo>}\left[\begin{array}{cccc}\frac{\left(\nu +1\right)}{{\sigma }_{\delta }^2\left(\nu +3\right)}{X}^{T}X& 0& 0& 0\\ 0& D& 0& 0\\ 0& 0& \frac{m\nu }{2{\left({\sigma }_{\delta }^2\right)}^2\left(\nu +3\right)}& \frac{-m}{{\sigma }_{\delta }^2\left(\nu +1\right)\left(\nu +3\right)}\\ 0& 0& \frac{-m}{{\sigma }_{\delta }^2\left(\nu +1\right)\left(\nu +3\right)}& mg\left(v\right)\end{array}\right]\mathrm{,}$$

où $X={\left(x_1\mathrm{,}\dots \mathrm{,}{x}_m\right)}^T\text{}\mathrm{,}D=\text{Diag}\left(\frac{n_1}{2v_1^2}\text{}\mathrm{,}\dots \mathrm{,}\frac{n_m}{2v_m^2}\right)$ et $g\left(\nu \right)\mathrm{<mo>=</mo>}\left\{{\Psi }^{\prime }\left(\frac{v}{2}\right)-{\Psi }^{\prime }\left(\frac{v+1}{2}\right)\right\}/4-\left(\nu +5\right)/\left\{2\nu \left(\nu +1\right)\left(\nu +3\right)\right\},$ avec $\Psi \left(z\right)\mathrm{<mo>=</mo>}{\Gamma }^{\prime }\left(z\right)/\Gamma \left(z\right)$ et ${\Psi }^{\prime }\left(z\right)\mathrm{<mo>=</mo>}d\Psi \left(z\right)/dz$ qui sont des fonctions digamma et trigamma. Donc, la loi a priori de Jeffreys est

$${\pi }_J\left(\beta \mathrm{,}v\mathrm{,}{\sigma }_{\delta }^2\text{}\mathrm{,}\nu \right)\propto {\mathrm{<mo\; stretchy="false">(</mo>}{\sigma }_{\delta }^2\mathrm{<mo\; stretchy="false">)</mo>}}^{-\frac{p}{2}-1}{\left|X^{T}X\right|}^{\frac{1}{2}}{\left|D\right|}^{\frac{1}{2}}{\left(\frac{\nu +1}{\nu +3}\right)}^{\frac{p}{2}}{\left[\frac{\nu g\left(v\right)}{2\left(\nu +3\right)}-\frac{1}{{\left(\nu +1\right)}^2{\left(\nu +3\right)}^2}\right]}^{\frac{1}{2}}\text{}\mathrm{.}(2.2)$$

Cependant, la loi a priori de Jeffreys mène à une loi a posteriori impropre en raison du facteur ${\left({\sigma }_{\delta }^2\right)}^{-\frac{p}{2}-1}$ dans (2.2).

Théorème 1. La loi a priori de Jeffreys (2.2) mène à une loi a posteriori impropre.

Preuve. Soit ${\pi }_J\equiv {\pi }_J\left(\beta \mathrm{,}v\mathrm{,}{\sigma }_{\delta }^2\text{}\mathrm{,}\nu |y\mathrm{,}{s}^2\right)$ la densité a posteriori avec la loi a priori de Jeffreys (2.2). En considérant les termes qui contiennent ${\sigma }_{\delta }^2$ dans ${\pi }_J$ et en prenant la transformation $w_i\mathrm{<mo>=</mo>}\left({\theta }_i-x_i^T\beta \right)/{\sigma }_{\delta }\text{}\mathrm{,}$ c’est-à-dire ${\theta }_i\mathrm{<mo>=</mo>}{x}_i^T\beta +{\sigma }_{\delta }{w}_i\text{},$ nous avons

$$\begin{array}{l}{\displaystyle {\int }_0^{\infty }}{\left({\sigma }_{\delta }^2\right)}^{-\frac{p}{2}-1}\text{exp}\left[-\frac{1}{2}{\displaystyle \sum _{i\mathrm{<mo>=</mo>1}}^m}\frac{1}{v_i}{\left(y_i-x_i^T\beta -{\sigma }_{\delta }{w}_i\right)}^2\right]d{\sigma }_{\delta }^2\hfill \\ \ge {\displaystyle {\int }_0^{\infty }}{\left({\sigma }_{\delta }^2\right)}^{-\frac{p}{2}-1}\text{exp}\left[-{\displaystyle \sum _{i\mathrm{<mo>=</mo>1}}^m}\left\{\frac{{\left(y_i-x_i^T\beta \right)}^2}{v_i}+\frac{{\sigma }_{\delta }^2{w}_i^2}{v_i}\right\}\right]d{\sigma }_{\delta }^2\hfill \\ \ge \text{exp}\left\{-{\displaystyle \sum _{i\mathrm{<mo>=</mo>1}}^m}\frac{{\left(y_i-x_i^T\beta \right)}^2}{v_i}\right\}{\displaystyle {\int }_0^k}{\left({\sigma }_{\delta }^2\right)}^{-\frac{p}{2}-1}\text{exp}\left(-{\displaystyle \sum _{i\mathrm{<mo>=</mo>1}}^m}\frac{{\sigma }_{\delta }^2{w}_i^2}{v_i}\right)d{\sigma }_{\delta }^2\text{pour}\text{une}\text{constante}k\mathrm{<mo>></mo>0,}\hfill \\ \ge \text{exp}\left[-{\displaystyle \sum _{i\mathrm{<mo>=</mo>1}}^m}\left\{\frac{{\left(y_i-x_i^T\beta \right)}^2}{v_i}+\frac{k{w}_i^2}{v_i}\right\}\right]{\displaystyle {\int }_0^k}{\left({\sigma }_{\delta }^2\right)}^{-\frac{p}{2}-1}d{\sigma }_{\delta }^2\mathrm{<mo>=</mo>}\infty \mathrm{.}\hfill \end{array}$$

Donc, la loi a priori de Jeffreys mène à une loi a posteriori impropre.

Cependant, une fois que la composante ${\left({\sigma }_{\delta }^2\right)}^{-\frac{p}{2}-1}$ dans (2.2) est remplacée par ${\left({\sigma }_{\delta }^2\right)}^{-\frac{p}{2}-1}\text{exp}\left(-a/2{\sigma }_{\delta }^2\right)$ pour une valeur $a\mathrm{<mo>></mo>\; 0},$ cette version modifiée de la loi a priori de Jeffreys mène à une loi a posteriori propre sous la contrainte $\text{min}\left(n_1\text{}\mathrm{,}\dots \mathrm{,}{n}_m\right)\mathrm{<mo>></mo>}p\mathrm{.}$ Par conséquent, nous proposons pour notre modèle une loi a priori de Jeffreys modifiée comme il suit :

$$\begin{array}{ll}{\pi }_{\text{MJ}}\left(\beta \mathrm{,}v\mathrm{,}{\sigma }_{\delta }^2\text{}\mathrm{,}\nu \right)\hfill & \propto {\left({\sigma }_{\delta }^2\right)}^{-\frac{p}{2}-1}\text{exp}\left(-\frac{a}{2{\sigma }_{\delta }^2}\right)\left({\displaystyle \prod _{i\mathrm{<mo>=</mo>\; 1}}^m}\frac{1}{v_i}\right){\left(\frac{\nu +1}{\nu +3}\right)}^{\frac{p}{2}}\hfill \\ \hfill & \times {\left[\frac{\nu g\left(v\right)}{2\left(v+3\right)}-\frac{1}{{\left(v+1\right)}^2{\left(v+3\right)}^2}\right]}^{\frac{1}{2}}\text{où}a\mathrm{<mo>></mo>\; 0.}(2.3)\hfill \end{array}$$

En combinant la vraisemblance de (2.1) et la loi a priori de Jeffreys modifiée (2.3), la loi a posteriori complète des paramètres, sachant les données, est

$$\begin{array}{l}{\pi }_{\text{MJ}}\left(\theta ,\beta \mathrm{,}v\mathrm{,}{\sigma }_{\delta }^2\text{}\mathrm{,}v|y\mathrm{,}{s}^2\right)\hfill \\ \propto {\left({\sigma }_{\delta }^2\right)}^{-\frac{p+m}{2}-1}\text{exp}\left(-\frac{a}{2{\sigma }_{\delta }^2}\right)\left({\displaystyle \prod _{i\mathrm{<mo>=</mo>\; 1}}^m}{v}_i^{-\frac{n_i}{2}-1}\right)\text{exp}\left[-\frac{1}{2}{\displaystyle \sum _{i\mathrm{<mo>=</mo>\; 1}}^m}\frac{1}{v_i}{\left(y_i-{\theta }_i\right)}^2\right]\hfill \\ \times \text{exp}\left(-\frac{1}{2}{\displaystyle \sum _{i\mathrm{<mo>=</mo>\; 1}}^m}\frac{s_i^2}{v_i}\right)\left[{\displaystyle \prod _{i\mathrm{<mo>=</mo>\; 1}}^m}{\left\{1+\frac{{\left({\theta }_i-x_i^T\beta \right)}^2}{\nu {\sigma }_{\delta }^2}\right\}}^{-\frac{\nu +1}{2}}\right]{\left[\frac{\Gamma \left(\frac{\nu +1}{2}\right)}{\Gamma \left(\frac{v}{2}\right)\sqrt{\nu }}\right]}^m\hfill \\ \times {\left(\frac{\nu +1}{\nu +3}\right)}^{\frac{p}{2}}{\left[\frac{\nu g\left(v\right)}{2\left(v+3\right)}-\frac{1}{{\left(v+1\right)}^2{\left(v+3\right)}^2}\right]}^{\frac{1}{2}}\text{}\mathrm{.}(2.4)\hfill \end{array}$$

Théorème 2. Sous le modèle (2.1), la loi a posteriori ${\pi }_{\text{MJ}}\left(\theta ,\beta \mathrm{,}v\mathrm{,}{\sigma }_{\delta }^2\text{}\mathrm{,}v|y\mathrm{,}{s}^2\right)$  dans (2.4) est propre, à condition que $\text{min}\left(n_1\mathrm{,}\dots \mathrm{,}{n}_m\right)\mathrm{<mo>></mo>}p\mathrm{.}$

Preuve. Voir l’annexe A.

Le théorème 2 montre que la loi a priori de Jeffreys modifiée (2.3) mène à une loi a posteriori propre (2.4). L’idée essentielle est que nous avons besoin d’une loi a priori pour ${\sigma }_{\delta }^2$ telle que ${\displaystyle {\int }_0^{\infty }}\pi \left({\sigma }_{\delta }^2\right){\left({\sigma }_{\delta }^2\right)}^{-\frac{p}{2}-1}d{\sigma }_{\delta }^2\mathrm{<mo><</mo>}\infty \mathrm{.}$

Remarque 1. ${\pi }_{\text{MJ}}\left(\beta \mathrm{,}v\mathrm{,}{\sigma }_{\delta }^2\text{}\mathrm{,}\nu \right)$ peut être factorisé en quatre lois a priori indépendantes pour chaque paramètre.

$${\pi }_{\text{MJ}}\left(\beta \mathrm{,}v\mathrm{,}{\sigma }_{\delta }^2\text{}\mathrm{,}\nu \right)\propto \pi \left(\beta \right)\pi \left(v\right)\pi \left({\sigma }_{\delta }^2\right)\pi \left(v\right)$$

où

$$\pi \left(\beta \right)\propto \mathrm{1,}\pi \left(v_i\right)\propto \frac{1}{v_i}\text{pour}i\mathrm{<mo>=</mo>\; 1,}\dots \mathrm{,}m\mathrm{,}$$

$$\pi \left({\sigma }_{\delta }^2\right)\sim \text{GI}\left(\frac{p}{2}\mathrm{,}\frac{a}{2}\right)$$

et

$$\pi \left(v\right)\propto {\left(\frac{\nu +1}{\nu +3}\right)}^{\frac{p}{2}}{\left[\frac{\nu g\left(v\right)}{2\left(v+3\right)}-\frac{1}{{\left(v+1\right)}^2{\left(v+3\right)}^2}\right]}^{\frac{1}{2}}\text{}\mathrm{.}$$

Ici, $\text{GI}\left(c\mathrm{,}d\right)$ désigne la loi gamma inverse avec la densité estimée par noyau $x^{-c-1}\text{exp}\left(-d/x\right)$ pour $x\mathrm{<mo>></mo>\; 0.}$

Les lois conditionnelles complètes pour appliquer la méthode Monte Carlo par chaîne de Markov (MCMC) sont données à l’annexe B. Pour générer les échantillons, nous utilisons l’échantillonnage de Gibbs avec l’algorithme de Metropolis-Hastings, où la loi conditionnelle d’un paramètre est connue uniquement jusqu’à une constante multiplicative. Nous expliquons de façon détaillée comment appliquer un résultat de Chib et Greenberg (1995) pour l’algorithme de Metropolis-Hastings afin de générer les échantillons.

• Précédent
• Page principale de l'article
• Suivant