Estimation du chômage sur petits domaines à l’aide des modèles latents de Markov
Section 6. Observations en conclusion
Dans cette étude,
nous exposons une nouvelle méthode d’estimation sur petits domaines et à
niveaux de zones où un modèle latent de Markov (MLM) sert de modèle de
couplage. Dans les MLM (Bartolucci et coll., 2013), la caractéristique
d’intérêt et son évolution dans le temps sont représentées par un processus
latent ou caché en chaîne de Markov, habituellement du premier ordre. Dans une
hypothèse de normalité pour la distribution conditionnelle des variables de
réponse étant donné les variables latentes, on estime le modèle à l’aide d’un
échantillonneur de Gibbs à données augmentées. Nous avons appliqué le modèle
proposé aux données trimestrielles de l’EPA italienne de 2004 à 2014. Nous
avons constaté que la méthode par modèle était efficace pour établir des
estimations de fréquence du chômage par niveaux de zones du marché du travail.
Il est plutôt évident qu’elle réduit le coefficient de variation si on la
compare à l’estimateur direct. La méthode proposée est aussi plus précise que
l’estimateur direct et l’estimateur par modèle de séries chronologiques que
proposent You et coll., (2003) lorsqu’il s’agit de reproduire les données du
recensement. Un avantage avec ce cadre méthodologique est qu’il permet de
réunir les petits domaines en des groupes homogènes.
On peut voir
dans les MLM une extension aux données longitudinales des modèles à classes
latentes. À cet égard, notre approche se situe dans le prolongement du modèle
EPD à classes latentes que proposent Fabrizi et coll. (2016). De plus, les MLM
prolongent les modèles à chaîne de Markov pour le contrôle des erreurs de
mesure et peuvent facilement traiter des données multidimensionnelles, d’où
l’obtention d’un cadre de modélisation très souple. On pourrait élargir cette
approche à l’aide de données de corrélation spatiale et envisager des
distributions différentes des variables manifestes comme les distributions de
Poisson, binomiale et multinominale. Dans ce cas, nous pourrions ajuster les
modèles d’échantillonnage et de couplage sans appariement et traiter les
dérogations à l’hypothèse de normalité, mais un échantillonneur de Gibbs ne
pourrait plus être utilisé et l’algorithme de Metropolis-Hastings deviendrait
une possibilité. Le modèle unidimensionnel proposé peut prendre en compte les
erreurs de mesure, mais une extension à un cadre multidimensionnel serait
également possible compte tenu de l’hypothèse d’indépendance conditionnelle.
Dans cette
application, nous n’avons pas expressément tenu compte de l’autocorrélation
induite par un plan d’échantillonnage à renouvellement de panel. Un moyen
naturel de tenir compte des différentes caractéristiques d’un tel plan (biais
de groupe de renouvellement, autocorrélation des erreurs d’enquête, etc.)
serait d’employer des spécifications de modèle à espace d’états comme dans
Pfeffermann (1991) et Pfeffermann et Rubin-Bleuer (1993) et, plus récemment,
dans Van den Brakel et Krieg (2015) et Boonstra et
Van den Brakel (2016). Il serait intéressant dans ce contexte
d’étendre à l’estimation sur petits domaines (EPD) les MLM avec autocorrélation
dans le modèle de mesure proposé par Bartolucci et Farcomeni (2009). Des
spécifications de modélisation à espace d’états peuvent aussi être utiles à
l’appréhension et à la modélisation de la tendance et de la saisonnalité
marquées de ce type de données.
Remerciements
Bertarelli,
Ranalli, D’Aló et Solari ont bénéficié, pour la réalisation de leurs travaux,
du soutien du projet PRIN-2012F42NS8 « Household wealth and youth
unemployment: new survey methods to meet current challenges ». Les auteurs
remercient le rédacteur adjoint et les deux examinateurs anonymes des
observations très utiles formulées à l’égard de versions antérieures de cette
étude.
Annexe A
Estimation
par modèle
Dans ce qui
suit, nous indiquons d’abord ce qu’est une estimation bayésienne avec sélection
de modèle par un algorithme MCMC dans un cadre d’augmentation des données
(Tanner et Wong, 1987).
A.1 Méthode d’augmentation des données
Pour estimer
les paramètres sur petits domaines
les
paramètres de mesure
et
les paramètres latents
nous adoptons un traitement par augmentation
des données. Nous rappelons que les données observées comprennent les
estimations directes
les
EQM ou
lissées correspondantes et les vecteurs de
covariables
avec
et
Dans cette augmentation des données, nous
introduisons explicitement les variables latentes
traitées comme données manquantes et dont les
valeurs sont actualisées en cours d’exécution de l’algorithme MCMC, et donc
dans un traitement complet en vraisemblance des données. Dans ce contexte, l’utilisation
de conjuguées antérieures dans un traitement complet en vraisemblance nous
permet d’échantillonner simplement à partir de la distribution postérieure
conditionnelle des états latents. Comme l’espace des états est fini, il est
tout aussi simple d’échantillonner les états latents conditionnellement étant
donné les paramètres du modèle.
Pour tirer
des échantillons de la codistribution postérieure des paramètres du modèle et
des états latents, l’algorithme MCMC proposé procède comme nous allons l’indiquer.
Soit
la
matrice des réalisations des estimations directes disponibles qui est définie
comme en (4.1) avec chaque
remplacé par
et
soit
la
matrice de la variable latente
aux
éléments organisés comme en
La
distribution postérieure de l’ensemble des paramètres du modèle et des
variables latentes étant donné les données observées est ainsi formulée :
L’algorithme
MCMC alterne en échantillonnage entre les variables latentes et les paramètres
de la distribution conditionnelle intégrale qui y correspond. Le schéma
s’exécute en
itérations. À la fin de chaque itération
on obtient en échantillonnage les
paramètres du modèle et les variables latentes, ces éléments étant désignés par
et
Plus précisément, chaque itération
consiste à:
- tirer
de
- tirer
de
- tirer
de
- tirer
de
Dans ce qui
suit, nous décrivons en détail chacune des étapes énumérées. À cet égard, il
convient de noter que, dans le cas que nous illustrons, tous les éléments de
sont disponibles. Il reste que, dans notre
propre application, certains éléments de cette matrice sont absents. Il faut
donc rajuster légèrement l’algorithme MCMC, c’est-à-dire imputer les valeurs
manquantes par un échantillonneur de Gibbs et échantillonner directement à
partir de sa distribution conditionnelle intégrale.
A.1.1 Simulation de
Nous tirons
séparément chaque variable latente
de
la distribution conditionnelle intégrale qui y correspond, laquelle est du type
multinomial avec paramètres spécifiques. Plus particulièrement, nous avons
où
disparaît pour
et
pour
De plus, le vecteur de probabilités
se définit ainsi :
- pour
a
des éléments proportionnels à
- pour
a
des éléments proportionnels à
- pour
a
des éléments proportionnels à
A.1.2 Simulation de
En se
rappelant que
nous tirons d’abord
de
la distribution conditionnelle intégrale :
où
et
est le nombre de zones dans l’état
au moment 1 avec
De plus, nous tirons chaque ligne de
la matrice
de la distribution
où
et
est le nombre de zones passant de
l’état
à l’état
au moment
avec
et
A.1.3 Simulation de
En
considérant que
, nous tirons d’abord chaque
de
la distribution conditionnelle intégrale :
où
avec
désignant la fonction indicatrice
égale à 1 si son argument est vrai et à 0 autrement. Nous tirons alors chaque
de
avec
où
est le nombre de zones dans l’état
indépendamment de la période en
question.
A.1.4 Simulation de
L’objectif de
l’estimation sur petits domaines est de prévoir chaque
selon le modèle et les données d’observation. Cela
revient à tirer ces éléments de
où
avec
A.2 Sélection du modèle : estimateur de Chib
La méthode
proposée par Chib (1995) peut servir à sélectionner un modèle à partir de la
sortie de l’échantillonneur de Gibbs. On sait que la densité postérieure peut
s’exprimer dans un rapport comme le produit de la fonction de vraisemblance et
des distributions antérieures en division par la vraisemblance marginale :
Il
est donc possible d’exprimer la vraisemblance marginale des données
comme
pour
tout
et
Nous laissons tomber ici la
dépendance à l’égard de
pour simplifier la notation. C’est
là le critère de sélection de modèle appliqué à la section 5. En
choisissant les valeurs spécifiques des variables latentes et des paramètres du
modèle, désignées par
et
nous pouvons estimer
par la décomposition suivante :
Le
recours à la transformation logarithmique se justifie par la stabilité
numérique (Chib, 1995).
On peut
calculer directement les cinq premiers termes du côté droit de (A.5) à partir
des distributions posées des paramètres et des données. En revanche,
l’obtention du dernier élément est plus difficile. Par la formule des
probabilités totales, il est possible de décomposer
comme
D’après Chib
(1995), nous calculons le premier terme de (A.6) par le traitement de Gibbs
décrit à la section A.1. Nous estimons les trois autres termes par la
sortie de l’échantillonneur de Gibbs. Plus précisément, nous estimons
comme
avec
tirages dans un échantillonnage
réduit de Gibbs où
n’est pas actualisé. Pour estimer
nous
utilisons
Pour estimer enfin
nous
utilisons
avec
tirages dans un troisième
échantillonnage réduit de Gibbs.
Bibliographie
Bartolucci,
F., et Farcomeni, A. (2009). A multivariate extension of the dynamic
logit model for longitudinal data based on a latent Markov heterogeneity
structure. Journal of the American
Statistical Association, 104, 816-831.
Bartolucci, F., Farcomeni, A. et Pennoni, F. (2013). Latent Markov Models for Longitudinal Data.
Boca Roton, FL: CRC Press.
Bartolucci,
F., Lupparelli, M. et Montanari, G.E. (2009). Latent Markov model for longitudinal
binary data: An application to the performance evaluation of nursing homes. The Annals of Applied Statistics, 3,
611-636.
Bartolucci, F., Pennoni, F. et Francis, B. (2007). A
latent Markov model for detecting patterns of criminal activity. Journal of the Royal Statistical Society,
Series A, 170, 115-132.
Boonstra, H.J. (2012). hbsae: Hierarchical Bayesian
small area estimation. R Package Version
1.
Boonstra, H.J. (2014). Time-series small area estimation
for unemployment based on a rotating panel survey. Rapport technique, CBS. Accessible à l’adresse
https://www.cbs.nl/nl-nl/achtergrond/2014/25/time-series-small-area-estimation-for-unemployment-based-on-a-rotating-panel-survey.
Boonstra, H.J., et van den Brakel, J.A. (2016). Estimation of Level and Change for
Unemployment Using Multilevel and Structural Time Series Models. Document de travail 2016-10. Statistics
Netherlands, Heerlen.
Boys, R., et
Henderson, D. (2003). Data augmentation and marginal updating schemes
for inference in hidden Markov models. Rapport technique, Univ. Newcastle.
Carlin, B.P.,
et Chib, S. (1995). Bayesian model choice via Markov chain Monte Carlo
methods. Journal of the Royal Statistical
Society, Series B, 56, 473-484.
Chib, S. (1995). Marginal likelihood from the Gibbs
output. Journal of the American
Statistical Association, 90, 1313-1321.
D’Alò, M., Di
Consiglio, L., Falorsi, S., Ranalli, M.G. et Solari, F. (2012). Use of
spatial information in small area models for unemployment rate estimation at
sub-provincial areas in Italy. Journal of
the Indian Society of Agricultural Statistics, 66, 43-53.
Datta, G.S., Lahiri, P., Maiti, T. et Lu, K.L. (1999). Hierarchical
Bayes estimation of unemployment rates for the states of the US. Journal of the American Statistical
Association, 94, 1074-1082.
Fabrizi, E., Montanari, G.E. et Ranalli, M.G. (2016). A
hierarchical latent class model for predicting disability small area counts
from survey data. Journal of the Royal
Statistical Society, Series A, 179, 103-132.
Fay, R.E., et Herriot, R.A. (1979). Estimates of income
for small places: An application of James-Stein procedures to census data. Journal of the American Statistical Association,
74, 269-277.
Gelman, A. (2006). Prior distributions for variance
parameters in hierarchical models (commentaire sur l’article de Browne et
Draper). Bayesian Analysis,
1(3), 515-534.
Gelman, A.,
Jakulin, A., Pittau, M.G. et Su, Y.-S. (2008). A weakly informative
default prior distribution for logistic and other regression models. The Annals of Applied Statistics, 2,
1360-1383.
Germain, S.E. (2010). Bayesian Spatio-Temporal Modelling of Rainfall Through Non-Homogenous
Hidden Markov Models. Thèse de doctorat, University of Newcastle Upon Tyne.
Ghosh, M., Nangia, N. et Kim, D.H. (1996). Estimation of
median income of four-person families: A Bayesian time series approach. Journal of the American Statistical
Association, 91, 1423-1431.
Harvey, A., et Chung, C.-H. (2000). Estimating the
underlying change in unemployment in the UK. Journal of the Royal Statistical Society, Series A, 163, 303-309.
Istat (2014). I sistemi locali del lavoro 2011. Rapporto Annuale 2014.
Jasra, A.,
Holmes, C. et Stephens, D. (2005). Markov chain Monte Carlo methods and
the label switching problem in Bayesian mixture modeling. Statistical Science, 20, 50-67.
Krieg, S., et van der Brakel, J.A. (2012). Estimation of
the monthly unemployment rate for six domains through structural time series
modelling with cointegrated trends. Computational
Statistics & Data Analysis, 56, 2918-2933.
Lazarsfeld, P.F., Henry, N.W. et Anderson, T.W. (1968). Latent Structure Analysis. Houghton
Mifflin Boston.
Liu, J.S., Wong, W.H. et Kong, A. (1994). Covariance
structure of the Gibbs sampler with applications to the comparisons of
estimators and augmentation schemes. Biometrika,
81, 27-40.
MacDonald,
I.L., et Zucchini, W. (1997). Hidden
Markov and Other Models for Discrete-Valued Time Series. Londres: Series
Chapman & Hall.
Marhuenda, Y., Molina, I. et Morales, D. (2013). Small
area estimation with spatio-temporal Fay-Herriot models. Computational Statistics & Data Analysis, 58, 308-325.
Marin, J.-M., Mengersen, K. et Robert, C.P. (2005). Bayesian
modelling and inference on mixtures of distributions. Handbook of Statistics, 25, 459-507.
Meng, X.-L. (1994). Posterior predictive p-values. The Annals of Statistics, 1142-1160.
Pfeffermann, D. (1991). Estimation and seasonal
adjustment of population means using data from repeated surveys. Journal of Business & Economic
Statistics, 9, 163-175.
Pfeffermann,
D., et Burck, L. (1990). Estimation robuste pour petits domaines par la
combinaison de données chronologiques et transversales. Techniques d’enquête, 16, 2, 229-249. Article accessible à
l’adresse https://www150.statcan.gc.ca/n1/pub/12-001-x/1990002/article/14534-fra.pdf.
Pfeffermann,
D., et Rubin-Bleuer, S. (1993). Modélisation conjointe robuste de séries de
données sur l’activité pour de petites régions. Techniques d’enquête, 19, 2, 159-174. Article accessible à
l’adresse https://www150.statcan.gc.ca/n1/pub/12-001-x/1993002/article/14458-fra.pdf.
Pfeffermann,
D., et Tiller, R. (2006). Small-area estimation with state-space models
subject to benchmark constraints. Journal
of the American Statistical Association, 101, 1387-1397.
Polson, N.G.,
et Scott, J.G. (2012). On the half-cauchy prior for a global scale
parameter. Bayesian Analysis, 7, 4,
887-902.
Rao, J.N.K. (2003). Small
Area Estimation. Wiley Online Library.
Rao, J.N.K.,
et Yu, M. (1994). Small-area estimation by combining time-series and
cross-sectional data. The Canadian
Journal of Statistics, 22, 4, 511-528.
Spezia, L. (2010). Bayesian analysis of multivariate
gaussian hidden Markov models with an unknown number of regimes. Journal
of Time Series Analysis,
31, 1-11.
Statistique
Canada (2016). Guide de l’Enquête sur la population active. Rapport technique,
Statistique Canada, no 71-543-G au catalogue, accessible à l’adresse
https://www150.statcan.gc.ca/n1/pub/71-543-g/71-543-g2016001-fra.pdf.
Tanner, M.A.,
et Wong, W.H. (1987). The calculation of posterior distributions by data
augmentation. Journal of the American
statistical Association, 82, 528-540.
Van den Brakel, J.A., et Krieg, S. (2015). Remédier aux petites tailles
d’échantillon, au biais de groupe de renouvellement et aux discontinuités dans
les plans de sondage avec renouvellement de panel. Techniques d’enquête, 41, 2, 281-312. Article accessible à
l’adresse https://www150.statcan.gc.ca/n1/pub/12-001-x/2015002/article/14231-fra.pdf.
Van der Brakel, J.A., et Krieg, S. (2016). Small area
estimation with state space common factor models for rotating panels. Journal of the Royal Statistical Society,
Series A, 179, 763-791.
Van Dyk,
D.A., et Meng, X.-L. (2001). The art of data augmentation. Journal of Computational and Graphical
Statistics, 10(1), 1-50.
Vermunt, J.K., et Magidson, J. (2002). Latent class
cluster analysis. Applied Latent Class
Analysis, 11, 89-106.
Wiggins, L.M. (1973). Panel Analysis: Latent Probability Models
for Attitude and Behavior Processes. Jossey-Bass.
Wolter, K. (2007). Introduction
to Variance Estimation. New York: Springer Science & Business Media.
You, Y., Rao,
J.N.K. et Gambino, J. (2003). Estimation du taux de chômage fondée sur un
modèle pour l’Enquête sur la population active du Canada : une approche
bayésienne hiérarchique. Techniques
d’enquête, 29, 1, 27-36. Article accessible à l’adresse https://www150.statcan.gc.ca/n1/pub/12‑001‑x/2003001/article/6602-fra.pdf.