Réconciliation bayésienne dans le modèle de Fay-Herriot par suppression aléatoire
Section 5. Observations en conclusion

• Précédent
• Suivant

Nous examinons ici en détail le modèle de Fay-Herriot bayésien (BFH). Nous démontrons que ce modèle peut faire l’objet d’un ajustement à l’aide d’échantillons aléatoires plutôt qu’avec un échantillonneur de Monte Carlo à chaîne de Markov. Comme les échantillons aléatoires n’exigent aucune surveillance, la méthode est avantageuse, car le NASS ne dispose guère de temps entre la réception des données sommaires d’enquête au niveau des comtés et la présentation des estimations finales. Dans le sens du modèle BFH, nous montrons que la densité a posteriori sous le modèle BFH est propre, pouvant servir de base à une réconciliation. Nous étudions les effets de la réconciliation dans une étude par simulation où nous comparons les modèles BFH sans réconciliation et aux modèles BHF avec deux méthodes de réconciliation.

Dans cette étude, nous supposons que la contrainte de réconciliation est de la forme ${\displaystyle {\sum }_{i=1}^l{\theta }_i=a.}$ On peut concevoir une généralisation simple des méthodes de réconciliation pour une contrainte de la forme ${\displaystyle {\sum }_{i=1}^l{w}_i{\theta }_i=a,}$ où les $w_i$ sont les poids. Ce dernier cas se présente, par exemple, pour la réconciliation des rendements, des rapports de production et des superficies de récolte.

Notre grande contribution consiste à élargir le modèle BFH en fonction d’une réconciliation. Les méthodes du passé venaient supprimer le dernier domaine, d’où la question de savoir si le choix du domaine à supprimer a de l’importance. Dans cet article, nous concevons et illustrons une méthode donnant une chance de suppression à chaque domaine. Nous indiquons comment ajuster ce modèle BFH élargi au moyen de l’échantillonneur de Gibbs. Une méthode à base d’échantillonnage sans chaînes de Markov ne peut être employée ici en raison de la complexité de la densité a posteriori conjointe. Nous démontrons par des études empiriques que les différences de moyennes a posteriori sont très petites entre les modèles sans réconciliation, avec réconciliation à suppression du dernier comté et avec réconciliation à suppression aléatoire.

Nous avons étudié dans une analyse de sensibilité les effets d’un changement de cible de réconciliation. Comme on pouvait le prévoir, un tel changement mène à des estimations différentes, mais ce qui est inattendu, c’est que les différences des écarts-types a posteriori sont petites. Nous relevons pour les méthodes de réconciliation une faible variation des estimations selon les différentes probabilités de suppression.

On s’attend à ce que, à la suite d’une réconciliation à suppression du dernier domaine et à suppression aléatoire, les écarts-types a posteriori soient plus élevés qu’avec le modèle BFH à cause du bruit aléatoire que crée la réconciliation. Il reste que, dans les études empiriques que nous présentons, les réconciliations à suppression du dernier domaine et à suppression aléatoire donnent en gros les mêmes écarts-types a posteriori avec une modeste baisse dans le cas de la suppression aléatoire. Le grand atout avec la méthode de réconciliation à suppression aléatoire est qu’aucun domaine ou comté ne reçoit de traitement préférentiel.

Avertissement et remerciements

Le département de l’Agriculture des États-Unis n’a pas diffusé officiellement les constatations et conclusions de cette publication préliminaire et celle-ci ne doit pas être interprétée comme représentant une décision ou une politique de l’organisme. La présente étude a été soutenue en partie par le programme de recherche interne du National Agricultural Statistics Service du département de l’Agriculture.

Les travaux du D^r Nandram ont été financés par une subvention de la Simons Foundation (353953, Balgobin Nandram). Les auteurs remercient le rédacteur en chef adjoint et les examinateurs de leurs observations et leurs suggestions. Les travaux de Erciulescu ont été réalisés en tant que chercheur associé pour les projets du NASS au National Institute of Statistical Sciences (NISS).

Annexe A

Illustration de la sensibilité de la suppression

Soit $y_i\stackrel{\text{ind}}{{\displaystyle \sim }}\text{Normale}\left({\mu }_i,{\sigma }_i^2\right),i=1,2,$ de sorte que $y_1+y_2=a,$ et $\lambda ={\sigma }_2^2/\left({\sigma }_1^2+{\sigma }_2^2\right).$ Si nous commençons par supprimer $y_2,$ la densité conjointe de $\left(y_1,y_2\right)$ est

$$f\left(y_1,y_2|\varphi =0\right)={\delta }_{y2}\left(a-y_1\right)\text{Normale}\left\{{\lambda }_{{\mu }_1}+\left(1-\lambda \right)\left(a-{\mu }_2\right),\left(1-\lambda \right){\sigma }_2^2\right\},$$

où ${\delta }_a\left(b\right)=1$ si $a=b$ et ${\delta }_a\left(b\right)=0$ si $a\ne b.$ Toutefois, si nous supprimons d’abord $y_1,$ la densité conjointe de $\left(y_1,y_2\right)$ est

$$g\left(y_1,y_2|\varphi =0\right)={\delta }_{y1}\left(a-y_2\right)\text{Normale}\left\{\lambda \left(a-{\mu }_1\right)+\left(1-\lambda \right){\mu }_2,\left(1-\lambda \right){\sigma }_2^2\right\}.$$

Dans la procédure d’estimation, la variable qui est supprimée en particulier a de l’importance, parce que les deux codistributions sont différentes. À noter que les deux distributions se confondent si et seulement si

$$\lambda {\mu }_1+\left(1-\lambda \right)\left(a-{\mu }_2\right)=\lambda \left(a-{\mu }_1\right)+\left(1-\lambda \right){\mu }_2,$$

ce qui donne

$$\lambda \left({\mu }_1-a/2\right)=\left(1-\lambda \right)\left({\mu }_2-a/2\right).$$

Même si nous supposons que ${\sigma }_1^2={\sigma }_2^2,$ les deux restent différentes. Toutefois, $\lambda =1/2,$ avec cette hypothèse et la condition pour que les deux distributions se confondent est que ${\mu }_1={\mu }_2.$ En d’autres termes, la condition à respecter dans l’ensemble pour cette identité des codistributions est que ${\mu }_1={\mu }_2$ et ${\sigma }_1={\sigma }_2,$ ce qui rend $y_1$ et $y_2$ interchangeables. C’est néanmoins là un cas très restreint.

Pour éviter la difficulté, on peut en réalité supprimer tant $y_1$ que $y_2$ d’une certaine manière. Soit $z=1$ si $y_1$ est supprimé et $z=0$ si $y_2$ l’est. Dans ce cas,

$$p\left(y_1,y_2,z|\varphi =0\right)={\left[pg\left(y_1,y_2|\varphi =0\right)\right]}^z{\left[\left(1-p\right)f\left(y_1,y_2|\varphi =0\right)\right]}^{1-z},$$

où nous avons pris $z\sim \text{Bernoulli}\left(p\right)$ et, comme $z$ n’est pas réellement identifiable, nous allons prendre $p=1/2$ (suppression aléatoire de l’un ou de l’autre). À noter cependant que

$$z|y_1,y_2,\varphi =0\sim \text{Bernoulli}\left\{\frac{pg\left(y_1,y_2|\varphi =0\right)}{\left[pg\left(y_1,y_2|\varphi =0\right)\right]+\left[\left(1-p\right)f\left(y_1,y_2|\varphi =0\right)\right]}\right\}.$$

Annexe B

Ajustement du modèle de Fay-Herriot bayésien

Le modèle de Fay-Herriot bayésien (BFH) est donné en (2.1) et la densité a posteriori conjointe avec ce modèle, en (2.3). Nous l’exprimons ainsi par commodité ici :

$$\pi \left(\theta ,\beta ,{\sigma }^2|\widehat{\theta }\right)\propto \frac{1}{{\left(1+{\sigma }^2\right)}^2}{\left(\frac{1}{{\sigma }^2}\right)}^{l/2}{\displaystyle \prod _{i=1}^l\left\{\exp \left[-\frac{1}{2}\left\{\frac{1}{s_i^2}{\left({\widehat{\theta }}_i-{\theta }_i\right)}^2+\frac{1}{{\sigma }^2}{\left({\theta }_i-x_i^{\prime }\beta \right)}^2\right\}\right]\right\}.}(\text{B}\text{.1})$$

Nous montrons comment procéder à l’ajustement de la densité a posteriori conjointe des paramètres à l’aide d’échantillons aléatoires (pas même avec un échantillonneur de Gibbs), ce qui permet d’éviter toute surveillance des données. Nous emploierons la règle de multiplication pour écrire

$$\pi \left(\theta \mathrm{,}\beta \mathrm{,}{\sigma }^2|\widehat{\theta }\right)\mathrm{<mo>=</mo>}{\pi }_1\left(\theta |\beta \mathrm{,}{\sigma }^2\mathrm{,}\widehat{\theta }\right){\pi }_2\left(\beta |{\sigma }^2\mathrm{,}\widehat{\theta }\right){\pi }_3\left({\sigma }^2|\widehat{\theta }\right)\mathrm{,}$$

où ${\pi }_1\left(\theta |\beta ,{\sigma }^2,\widehat{\theta }\right)$ et ${\pi }_2\left(\beta |{\sigma }^2,\widehat{\theta }\right)$ ont des formes types et où ${\pi }_3\left({\sigma }^2|\widehat{\theta }\right)$ est non standard, mais étant la densité d’un paramètre unique.

Pour le moment, nous oublierons le terme $\frac{1}{{\left(1+{\sigma }^2\right)}^2}{\left(\frac{1}{{\sigma }^2}\right)}^{l/2},$ parce qu’il touche seulement la densité a posteriori de ${\sigma }^2.$ En d’autres termes,

$${\pi }_1\left(\theta |\beta \mathrm{,}{\sigma }^2\mathrm{,}\widehat{\theta }\right)\propto {\displaystyle \prod _{i\mathrm{<mo>=</mo>\; 1}}^l}\left\{\exp \left[-\frac{1}{2}\left\{\frac{1}{s_i^2}{\left({\widehat{\theta }}_i-{\theta }_i\right)}^2+\frac{1}{{\sigma }^2}{\left({\theta }_i-x_i^{\prime }\beta \right)}^2\right\}\right]\right\}\mathrm{.}$$

Les calculs standard réduisent l’argument (sans $-1/2)$ du terme exponentiel à

$$\frac{1}{\left(1-{\lambda }_i\right){\sigma }^2}{\left\{{\theta }_i-\left({\lambda }_i{\widehat{\theta }}_i+\left(1-{\lambda }_i\right)x_i^{\prime }\beta \right)\right\}}^2+\frac{{\lambda }_i}{{\sigma }^2}{\left({\widehat{\theta }}_i-x_i^{\prime }\beta \right)}^2,{\lambda }_i=\frac{{\sigma }^2}{s_i^2+{\sigma }^2},i=1,\dots ,l.$$

Ainsi, pour ${\pi }_1\left(\theta |\beta ,{\sigma }^2,\widehat{\theta }\right),$

$${\theta }_i|\beta \mathrm{,}{\sigma }^2\mathrm{,}\widehat{\theta }\stackrel{\text{ind}}{{\displaystyle \sim }}\text{Normale}\left\{{\lambda }_i{\widehat{\theta }}_i+\left(1-{\lambda }_i\right)x_i^{\prime }\beta \mathrm{,}\left(1-{\lambda }_i\right){\sigma }^2\right\}\mathrm{,}i\mathrm{<mo>=</mo>\; 1,}\dots \mathrm{,}l\mathrm{.}(\text{B}\text{.2})$$

Pour le moment aussi, nous oublierons le terme ${\displaystyle {\prod }_{i\mathrm{<mo>=</mo>\; 1}}^l}{\left[\left(1-{\lambda }_i\right){\sigma }^2\right]}^{1/2}.$ Si nous marginalisons les ${\theta }_i,$ nous obtenons

$${\pi }_2\left(\beta |{\sigma }^2\mathrm{,}\widehat{\theta }\right)\propto \exp \left\{-\frac{1}{2}{\displaystyle \sum _{i\mathrm{<mo>=</mo>\; 1}}^l}\frac{{\lambda }_i}{{\sigma }^2}{\left({\widehat{\theta }}_i-x_i^{\prime }\beta \right)}^2\right\}\mathrm{.}$$

Ainsi, l’exposant (sans $-1/2)$ peut se formuler comme

$${\displaystyle \sum _{i\mathrm{<mo>=</mo>\; 1}}^l}\frac{{\lambda }_i}{{\sigma }^2}{\left({\widehat{\theta }}_i-x_i^{\prime }\widehat{\beta }\right)}^2+{\left(\beta -\widehat{\beta }\right)}^{\prime }{\widehat{\Sigma }}^{-1}\left(\beta -\widehat{\beta }\right)\mathrm{,}$$

où

$$\widehat{\beta }\mathrm{<mo>=</mo>}\widehat{\Sigma }{\displaystyle \sum _{i\mathrm{<mo>=</mo>\; 1}}^l}\frac{{\widehat{\theta }}_i{x}_i}{s_i^2+{\sigma }^2}\text{et}{\widehat{\Sigma }}^{-1}\mathrm{<mo>=</mo>}{\displaystyle \sum _{i\mathrm{<mo>=</mo>\; 1}}^l}\frac{x_i{x}_i^{\prime }}{s_i^2+{\sigma }^2}\mathrm{.}$$

Il convient de noter que $\widehat{\beta }$ et $\widehat{\Sigma }$ sont bien définis pour tous les ${\sigma }^2$ à condition que la matrice de plan, $X,$ avec $X^{\prime }=\left(x_1,\dots ,x_l\right),$ soit de plein rang. Dans ce cas,

$${\pi }_2\left(\beta |{\sigma }^2,\widehat{\theta }\right)\propto \exp \left\{-\frac{1}{2}{\displaystyle \sum _{i=1}^l\frac{{\lambda }_i}{{\sigma }^2}{\left({\widehat{\theta }}_i-x_i^{\prime }\widehat{\beta }\right)}^2-\frac{1}{2}{\left(\beta -\widehat{\beta }\right)}^{\prime }{\widehat{\Sigma }}^{-1}\left(\beta -\widehat{\beta }\right)}\right\}.$$

En d’autres termes,

$$\beta |{\sigma }^2,\widehat{\theta }\sim \text{Normale}\left(\widehat{\beta },\widehat{\Sigma }\right).(\text{B}.3)$$

Si nous marginalisons $\beta$ et incorporons dans ${\sigma }^2$ les termes que nous avons négligés, nous obtenons

$${\pi }_3\left({\sigma }^2|\widehat{\theta }\right)\propto Q\left({\sigma }^2\right)\frac{1}{{\left(1+{\sigma }^2\right)}^2}\mathrm{,}(\text{B}\text{.4})$$

où

$$Q\left({\sigma }^2\right)\mathrm{<mo>=</mo>}{\left|\widehat{\Sigma }\right|}^{1/2}{\displaystyle \prod _{i\mathrm{<mo>=</mo>\; 1}}^l}\frac{1}{{\left(s_i^2+{\sigma }^2\right)}^{1/2}}\exp \left\{-\frac{1}{2}{\displaystyle \sum _{i\mathrm{<mo>=</mo>\; 1}}^l}\frac{1}{s_i^2+{\sigma }^2}{\left({\widehat{\theta }}_i-x_i^{\prime }\widehat{\beta }\right)}^2\right\}\mathrm{.}$$

Pour tirer un échantillon aléatoire de (B.1), nous échantillonnons ${\sigma }^2$ par (B.4), $\beta$ par (B.3) et les ${\theta }_i$ indépendamment par (B.2). La densité a posteriori conditionnelle en (B.4) est non standard et, pour en tirer un échantillon, nous employons une méthode de grille (voir Nandram et Yin (2016), par exemple). D’abord, nous transformons ${\sigma }^2$ en $\varphi ={\sigma }^2/\left(1+{\sigma }^2\right)$ de sorte que $0<\varphi <1.$ Nous divisons ensuite (0, 1) en 100 grilles. En réalité, nous avons situé la fourchette de $\varphi$ dans (0, 1) et divisé cet intervalle en 100 grilles, ce qui nous donne une fonction de masse de probabilité que nous échantillonnons. Nous procédons par bruit aléatoire dans la grille sélectionnée pour obtenir des écarts qui seront différents avec une probabilité un (pour plus de détails, voir Nandram et Yin, 2016).

Annexe C

Preuve du théorème 2

Il est pratique d’opérer les transformations suivantes,

$${\theta }_i={\theta }_i,i=1,\dots ,l-1,\varphi ={\displaystyle \sum _{i=1}^l{\theta }_i-a}.$$

Là, $\varphi$ est une variable nominale correspondant à la contrainte de réconciliation, ce qui garantit que la transformation sera non singulière. Le jacobien est l’unité et la transformation inverse est

$${\theta }_i={\theta }_i,i=1,\dots ,l-1,{\theta }_l=\varphi +a-{\displaystyle \sum _{i=1}^{l-1}{\theta }_i}.$$

La densité transformée est

$$\tilde{\pi }\left({\theta }_1,\dots ,{\theta }_{l-1},\varphi \right).$$

Ainsi, la densité qui correspond exactement à la contrainte de réconciliation est

$$\tilde{\pi }\left({\theta }_1,\dots ,{\theta }_{l-1}|\varphi =0\right),{\theta }_l=a-{\displaystyle \sum _{i=1}^{l-1}{\theta }_i.}$$

Ainsi,

$$\pi \left({\theta }_1,\dots ,{\theta }_{l-1}|\varphi =0\right)\propto \exp \left\{-\frac{1}{2{\delta }^2}\left[{\displaystyle \sum _{i=1}^{l-1}{\left({\theta }_i-u_i^{\prime }\beta \right)}^2+}{\left\{{\displaystyle \sum _{i=1}^{l-1}{\theta }_i-\left(a-u_i^{\prime }\beta \right)}\right\}}^2\right]\right\}.$$

Si nous oublions les termes sans ${\theta }_{\left(l\right)}={\left({\theta }_1,\dots ,{\theta }_{l-1}\right)}^{\prime },$ il est facile de démontrer que l’exposant est

$$\frac{1}{2{\delta }^2}\left\{{\theta }_{\left(l\right)}^{\prime }\left(I+J\right){\theta }_{\left(l\right)}-2\left[{\left(u_1-u_l\right)}^{\prime }\beta ,\dots ,{\left(u_{l-1}-u_l\right)}^{\prime }\beta +a{j}^{\prime }\right]{\theta }_{\left(l\right)}\right\}.$$

Si nous employons les propriétés d’une densité normale multivariée, nous obtenons

$${\theta }_{\left(l\right)}|\varphi =0\sim \text{Normale}\left({\left(I+J\right)}^{-1}{\left(a{j}^{\prime }+{\left(u_1-u_l\right)}^{\prime }\beta ,\dots ,{\left(u_{l-1}-u_l\right)}^{\prime }\beta \right)}^{\prime },{\delta }^2{\left(I+J\right)}^{-1}\right).$$

Par la formule de Sherman-Morrison, ${\left(I+J\right)}^{-1}=I-\frac{1}{l}J,$ nous dégageons enfin la formule

$${\theta }_{\left(l\right)}|\varphi =0\sim \text{Normale}\left\{\left(I-\frac{1}{l}J\right){\left(a{j}^{\prime }+{\left(u_1-u_l\right)}^{\prime }\beta ,\dots ,{\left(u_{l-1}-u_l\right)}^{\prime }\beta \right)}^{\prime },{\delta }^2\left(I-\frac{1}{l}J\right)\right\}.$$

Il convient de noter que le lemme du déterminant de la matrice donne $\det \left(I+J\right)=l$ et donc $\det \left({\delta }^2\left(I-\frac{1}{l}J\right)\right)=\frac{1}{l}{\left({\delta }^2\right)}^{l-1}.$

Bibliographie

Battese, G., Harter, R. et Fuller, W. (1988). An error-components model for prediction of county crop areas using survey and satellite data. Journal of the American Statistical Association, 83(401), 28-36. doi:10.2307/2288915.

Bell, W.R., Datta, G.S. et Ghosh, M. (2013). Benchmarking small area estimators. Biometrika, 100(1), 189-202.

Cruze, N.B., Erciulescu, A.L., Nandram, B., Barboza, W. et Young, L.J. (2019). Producing official county-level agricultural estimates in the United States: Needs and challenges. Statistical Science. À paraître.

Datta, G.S., Ghosh, M., Steorts, R. et Maples, J. (2011). Bayesian benchmarking with applications to small area estimation. Test, 20(3), 574-588.

Erciulescu, A.L., Cruze, N.B. et Nandram, B. (2019). Model-based county level crop estimates incorporating auxiliary sources of information. Journal of Royal Statistical Society, Series A, 182, 283-303. doi:10.1111/rssa.12390.

Fay, R.E., et Herriot, R.A. (1979). Estimates of income for small places: An application of James-Stein procedures to census data. Journal of the American Statistical Association, 74(366), 269-277.

Ghosh, M., et Steorts, R. (2013). Two stage Bayesian benchmarking as applied to small area estimation. Test, 22(4), 670-687.

Janicki, R., et Vesper, A. (2017). Benchmarking techniques for reconciling Bayesian small area models at distinct geographic levels. Statistical Methods and Applications, 26, 4, 557-581.

Jiang, J., et Lahiri, P. (2006). Mixed model prediction and small area estimation. Test, 15(1), 1-96.

Nandram, B., et Sayit, H. (2011). Une analyse bayésienne des probabilités de réponse dans les petits domaines sous une contrainte. Techniques d’enquête, 37, 2, 147-162. Article accessible à l’adresse https://www150.statcan.gc.ca/n1/en/pub/12-001-x/2011002/article/11603-fra.pdf.

Nandram, B., et Toto, M.C.S. (2010). Bayesian predictive inference for benchmarking crop production for Iowa counties. Journal of the Indian Society of Agricultural Statistics, 64 (2), 191-207.

Nandram, B., et Yin, J. (2016). A nonparametric Bayesian prediction interval for a finite population mean. Journal of Statistical Computation and Simulation, 86 (16), 3141-3157.

Nandram, B., Berg, E. et Barboza, W. (2014). A hierarchical Bayesian model for forecasting state-level corn yield. Journal of Environmental and Ecological Statistics, 21, 507-530.

Nandram, B., Toto, M.C.S. et Choi, J.W. (2011). A Bayesian benchmarking of the Scott-Smith model for small areas. Journal of Statistical Computation and Simulation, 81 (11), 1593-1608.

Pfeffermann, D. (2013). New important developments in small area estimation. Statistical Science, 28(1), 40-68.

Pfeffermann, D., Sikov, A. et Tiller, R. (2014). Single-and two-stage cross-sectional and time series benchmarking procedures for small area estimation. Test, 23(4), 631-666.

Pfeffermann, D., et Tiller, R. (2006). Small area estimation with state-space models subject to benchmark constraints. Journal of the American Statistical Association, 101 (476), 1387-1397.

Rao, J.N.K., et Molina, I. (2015). Small Area Estimation, Wiley Series in Survey Methodology.

Toto, M.C.S., et Nandram, B. (2010). A Bayesian predictive inference for small area means incorporating covariates and sampling weights. Journal of Statistical Planning and Inference, 140, 2963-2979.

Wang, J., Fuller, W.A. et Qu, Y. (2008). Estimation pour petits domaines sous une contrainte. Techniques d’enquête, 34, 1, 33-40. Article accessible à l’adresse https://www150.statcan.gc.ca/n1/en/pub/12-001-x/2008001/article/10619-fra.pdf.

You, Y., et Rao, J.N.K. (2002). Small area estimation using unmatched sampling and linking models. The Canadian Journal of Statistics, 30, 3-15.

You, Y., Rao, J.N.K. et Dick, J.P. (2004). Benchmarking hierarchical Bayes small area estimators in the Canadian census under coverage estimation. Statistics in Transition, 6, 631-640.

• Précédent
• Page principale de l'article
• Suivant