Inférence bayésienne pour un modèle des composantes de la variance fondée sur la vraisemblance composite par paire à partir des données d’enquête
Section 2. Vraisemblance complète, vraisemblance par paire et mise en œuvre bayésienne

2.1 Modèle et formule

Comme à la section 1, supposons que $Y_{i j}$ désigne la variable de réponse pour l’unité de deuxième degré $j$ dans l’unité de premier degré $i$ pour $i = 1, \dots, n,$ et $j = 1, \dots, m .$ Nous utilisons la lettre minuscule $y_{i j}$ pour représenter les valeurs réalisées de $Y_{i j} .$ Supposons que $y (n) = {y_{1}, \dots, y_{n}}$ désigne les données d’échantillon avec $y_{i} = {(y_{i 1}, \dots, y_{i m})}^{T}$ pour $i = 1, \dots, n,$ où T désigne la transposée.

Dans un modèle à effets aléatoires plus général, nous pourrions supposer que, en fonction des effets aléatoires $u_{i}$ pour $i = 1, \dots, n,$ les $Y_{i j}$ sont distribuées indépendamment comme suit :

$Y_{i j} ~ f_{y | u} (y_{i j} | u_{i}; θ_{y})$ pour $j = 1, \dots, m, (2.1)$

où $f_{y | u}$ est une fonction de densité connue et $θ_{y}$ est le vecteur de paramètres connexe. Ensuite, nous modélisons les effets aléatoires en supposant que les $u_{i}$ sont indépendants et identiquement distribués comme suit :

$u_{i} ~ f_{u} (u_{i} | θ_{u})$ pour $i = 1, \dots, n, (2.2)$

où $f_{u}$ est une fonction de densité connue indexée par le vecteur de paramètres $θ_{u} .$

Soit $η = {(θ_{y}^{T}, θ_{u}^{T})}^{T}$ le vecteur des paramètres du modèle d’intérêt. Dans le cadre fréquentiste, la méthode du maximum de vraisemblance est couramment utilisée pour faire des inférences au sujet de $η$ en maximisant la fonction de vraisemblance

$L (η) = \prod_{i =1}^{n} f (y_{i}; η),$

où

$f (y_{i}; η) = \int {\prod_{j =1}^{m_{i}} f_{y | u} (y_{i j} | u_{i}; θ_{y})} f_{u} (u_{i} | θ_{u}) d u_{i} . (2.3)$

Une solution de rechange à la méthode de vraisemblance est l’approche fondée sur la vraisemblance composite (Lindsay, 1988). Plus particulièrement, la méthode fondée sur la vraisemblance par paire a souvent été employée. Soit $L_{i j} (η) = f (y_{i j}; η)$ la densité de $Y_{i j},$ déterminée au moyen de

$f (y_{i j}; η) = \int f_{y | u} (y_{i j} | u_{i}; θ_{y}) f_{u} (u_{i} | θ_{u}) d u_{i} .$

Pour $j \neq k,$ soit $L_{i j k} (η) = f (y_{i j}, y_{i k}; η)$ la densité conjointe pour les réponses appariées $(Y_{i j}, Y_{i k}),$ déterminée au moyen de

$f (y_{i j}, y_{i k}; η) = \int f_{y | u} (y_{i j} | u_{i}; θ_{y}) f_{y | u} (y_{i k} | u_{i}; θ_{y}) f_{u} (u_{i} | θ_{u}) d u_{i} .$

Une fonction de vraisemblance par paire marginale peut alors être formulée comme suit :

$C (η) = \prod_{i =1}^{n} \prod_{j < k} L_{i j k}^{d_{j k}} (η) \times L_{i j}^{d_{j}} (η) \times L_{i k}^{d_{k}} (η),$

où $d_{j k},$ $d_{j}$ et $d_{k}$ sont des poids qui peuvent être précisés par l’utilisateur pour accroître l’efficacité ou faciliter certains aspects précis de la formulation. Une discussion portant sur le choix des poids figure dans Cox et Reid (2004), Lindsay, Yi et Sun (2011), Varin, Reid et Firth (2011), et Yi (2017). Pour limiter notre attention à l’utilisation de vraisemblances par paire marginales, conformément à l’approche de Rao, Verret et Hidiroglou, nous examinons ici le cas avec $d_{j} = d_{k} = 0$ et $d_{j k} = 1.$

Si nous revenons au cas spécial du modèle (1.1), supposons que $σ_{e}^{2}$ est connue et prenons $η$ qui est formé de $θ_{y} = θ$ et de $θ_{u} = σ_{u}^{2} .$ Selon une approche bayésienne, il est nécessaire de choisir une loi a priori pour $η .$ Nous supposerons une loi a priori dans laquelle $θ$ et $σ_{u}^{2}$ sont indépendantes, avec une loi uniforme soutenant largement $θ$ et une loi pour $σ_{u}$ qui est presque uniforme dans un intervalle qui est censé contenir le soutien de la fonction de vraisemblance complète pour $σ_{u}^{2}$ avec une forte probabilité. Gelman (2006) présente un traitement rigoureux pour choisir une loi a priori de $σ_{u}$ dans le modèle à effets aléatoires (1.1). Il recommande d’utiliser une loi a priori uniforme pour $σ_{u}$ pour des valeurs modérées à grandes de $n,$ mais une loi a priori demi-Cauchy pour de faibles valeurs de $n$ (voir, en particulier, les sections 3.2 et 5.2 de Gelman, 2006). La loi a priori demi-Cauchy est appuyée sur $(0, \infty)$ et est donnée par :

$π (σ_{u}) \propto {(1 + {(\frac{σ_{u}}{A})}^{2})}^{- 1}, (2.4)$

où $A$ est un hyperparamètre d’échelle.

2.2 Vraisemblance composite par paire non ajustée

Prenons encore une fois le modèle (1.1) et, en supposant que $σ_{e}^{2}$ est connue, soit $η = {(θ, σ_{u}^{2})}^{T}$ le vecteur des paramètres du modèle. Nous voulons comparer le rendement de la loi a posteriori de $η$ en fonction de l’utilisation de la vraisemblance complète (VC) ou de la vraisemblance par paire (VP), de même que de la loi a posteriori de la vraisemblance par paire ajustée décrite ci-dessous.

D’abord, considérons une situation simple où l’on suppose également que $σ_{u}^{2}$ est connue et que seule $θ$ est inconnue. Soit $π (θ)$ la densité a priori de $θ .$ La densité a posteriori de $θ$ est donc

$p_{VC} (θ | y (n)) \propto π (θ) \prod_{i =1}^{n} f (y_{i}; θ), (2.5)$

où l’indice VC indique qu’elle repose sur la vraisemblance complète. En revanche, nous considérons

$L_{i, VP} (θ) = \prod_{1 \leq j < k \leq m} L_{i j k} (θ),$

où $L_{i j k} (θ) = \int f_{y | u} (y_{i j} | u_{i}; θ) f_{y | u} (y_{i k} | u_{i}; θ) f_{u} (u_{i}) d u_{i},$ puis nous définissons

$p_{VP} (θ | y (n)) \propto π (θ) \prod_{i =1}^{n} L_{i, VP} (θ) (2.6)$

comme la densité a posteriori « par paire » de $θ .$ Nous voulons comparer les variances de $θ$ dérivées de $p_{VC} (θ | y (n))$ et de $p_{VP} (θ | y (n)),$ démontrées dans le théorème suivant, dont les calculs sont simples.

Théorème : Supposons que $π (θ)$ est une loi a priori uniforme. Alors

(a) $p_{VC} (θ | y (n))$ est une densité normale avec une moyenne $\bar{y}$ et une variance $\frac{σ_{e}^{2} + m σ_{u}^{2}}{m n};$
(b) $p_{VP} (θ | y (n))$ est une densité normale avec une moyenne $\bar{y}$ et une variance $\frac{σ_{e}^{2} + 2 σ_{u}^{2}}{m (m - 1) n}$ où $\bar{y} = {(m n)}^{- 1} \sum_{i =1}^{n} \sum_{j =1}^{m} y_{i j} .$

Le théorème démontre que, lorsque $m$ est supérieure à 2, la variance dérivée de la densité a posteriori « par paire » $p_{VP} (θ | y (n))$ est inférieure à celle de la densité a posteriori $p_{VC} (θ | y (n)) .$ Cette constatation semble raisonnable, car la vraisemblance par paire suppose dans les faits que toutes les paires d’observations $m (m - 1) / 2$ dans chaque grappe sont indépendantes. Cela nous amène à nous pencher sur une version ajustée de $p_{PL} (θ | y (n)),$ qui sera examinée par la suite.

Dans le cas où $σ_{u}^{2}$ est également inconnue, on peut démontrer qu’un type d’ajustement semblable est nécessaire. En supposant des lois a priori uniformes indépendantes pour $θ$ et $σ_{u}^{2},$ il est simple de démontrer que

$p_{VC} (θ, σ_{u}^{2} | y (n)) \propto {| Σ_{m} |}^{- n / 2} exp [- 0,5 tr (Σ_{m}^{- 1} S_{0})] (2.7)$

où $S_{0} = \sum_{i =1}^{n} (y_{i} - μ_{m}) {(y_{i} - μ_{m})}^{T}, μ_{m} = θ 1_{m}, Σ_{m} = σ_{e}^{2} I_{m} + σ_{u}^{2} 1_{m} 1_{m}^{T},$ $1_{m}$ représente le vecteur unitaire $m \times 1$ et $I_{m}$ désigne la matrice d’identité $m \times m .$

Après quelques calculs algébriques, on peut démontrer que la loi a posteriori de la vraisemblance composite par paire (VP) est

$p_{VP} (θ, σ_{u}^{2} | y (n)) \propto {| Σ_{2} |}^{n m (m - 1) / 4} exp [- 0,5 tr (Σ_{2}^{- 1} S_{0 VP})] (2.8)$

où, avec $z_{i j k} = {(y_{i j} - θ, y_{i k} - θ)}^{T},$

$S_{0 VP} = \sum_{i = 1}^{n} \sum_{j < k} z_{i j k} z_{i j k}^{T} .$

Il importe de souligner que $Σ_{2}$ est définie dans l’équation (2.7) par $m = 2.$

En supposant des lois a priori uniformes indépendantes pour $θ$ et $σ_{u}^{2},$ nous considérons la densité a posteriori de $σ_{u}^{2}$ avec $θ$ éliminée par intégration. Pour évaluer les précisions relatives de l’inférence bayésienne dans les deux cas, nous devons utiliser des approximations en raison de la complexité des deux densités a posteriori. Plus précisément, nous comparons la courbure de la log-densité a posteriori et de la log-densité a posteriori par paire pour $σ_{u}^{2}$ avec leurs modes. On peut démontrer que le rapport entre le dernier et le premier est égal pour un grand $n$ à

$\frac{2 (m - 1) {(σ_{e}^{2} + m σ_{u}^{2})}^{2}}{m {(σ_{e}^{2} + 2 σ_{u}^{2})}^{2}},$

ce qui laisse croire que la densité a posteriori par paire non ajustée pour $m > 2$ surestimerait la précision de l’estimation de $σ_{u}^{2} .$

Ainsi, pour $θ$ et $σ_{u}^{2}$ (ou $σ_{u}),$ le fait de fonder un logarithme du rapport de vraisemblance approximatif pour l’inférence bayésienne directement sur la vraisemblance composite par paire mènerait à des intervalles a posteriori qui sont trop étroits.

Note : À la section 3, le vecteur de paramètres $η$ correspond à ${(θ, σ_{u})}^{T}$ (la variance $σ_{u}^{2}$ étant remplacée par l’écart-type $σ_{u}),$ et une loi a priori demi-Cauchy est utilisée pour $σ_{u} .$ Cependant, la comparaison de la densité a posteriori complète et de la log-densité a posteriori par paire demeurera semblable lorsque les transformations appropriées seront mises en application.

2.3 Ajustement de la courbure pour le logarithme du rapport de vraisemblance par paire

Dans la présente section, nous justifions l’ajustement de la courbure du logarithme du rapport de vraisemblance par paire du point de vue de la théorie des fonctions d’estimation, telle qu’elle est présentée, par exemple, par Jørgensen et Knudsen (2004).

D’abord, nous soulignons que si $X$ a une distribution normale $q$ -variée comportant un vecteur moyen $μ$ et une matrice de variance-covariance $Σ,$ le logarithme de la densité multivariée de $X$ prend la forme suivante :

$- \frac{q}{2} log (2 π) - \frac{1}{2} log | Σ | - \frac{1}{2} {(x - μ)}^{T} Σ^{- 1} (x - μ) . (2.9)$

L’expression dans l’équation (2.9) sous forme de fonction de $x$ est à son maximum à $μ$ et la courbure ou la matrice des dérivées secondes (hessienne) est au maximum égal à $- Σ^{- 1} .$ Intuitivement, on peut s’attendre à ce que cette correspondance entre la courbure de la log-densité au maximum et l’inverse de la matrice de covariance soit vérifiée approximativement pour une densité multivariée qui est presque normale.

Considérons un modèle dans lequel la distribution de la variable d’observation $Y (n)$ dépend d’un paramètre vectoriel $η .$ Soit une observation $Y (n) = y (n),$ le logarithme du rapport de vraisemblance est désigné $l (η; y (n)) = log (f (y (n); η))$ où $f$ est la densité de $Y (n) .$ Sous des conditions de régularité (par exemple Lehmann, 1999, chapitre 7), l’EMV $\hat{η}$ est calculée en résolvant le système

$s (η; y (n)) = 0, (2.10)$

où $s (η; y (n))$ désigne la fonction de score, le gradient de $l (η; y (n)) .$ Le système (2.10) est une équation d’estimation (vectorielle) sans biais et a une efficacité optimale, présentant une matrice de variance-covariance asymptotique minimale (du point de vue de la différence définie positive) parmi les solutions des systèmes d’équations d’estimation sans biais. Dans les cas ordinaires (par exemple Lehmann, 1999, chapitre 7), la fonction de score satisfait à la deuxième identité de Bartlett (par exemple Lindsay, 1988) :

${Var}_{η} [s (η; y (n))] = - E_{η} [\nabla s (η; y (n))] = - E_{η} [\nabla^{2} l (η; y (n))], (2.11)$

où Var désigne une matrice de variance-covariance et $\nabla$ représente un gradient. De plus, asymptotiquement, au moyen d’une approximation par série de Taylor de $s (\hat{η}; y (n)) - s (η; y (n)) = 0 - s (η; y (n)),$ nous avons :

$\hat{η} - η ≃ - {[\nabla s (η; y (n))]}^{- 1} s (η; y (n)) . (2.12)$

Ainsi, l’inférence fondée sur la vraisemblance (fréquentiste) standard permet d’estimer la variance-covariance de $\hat{η}$ comme la réciproque de la matrice d’information de Fisher observée :

$I = - \frac{\partial^{2}}{\partial η \partial η^{T}} {l (η; y (n)) |}_{\hat{η}} = - \nabla^{2} {l (η; y (n)) |}_{\hat{η}}, (2.13)$

qui est la négative de la matrice hessienne (matrice de courbure) de la fonction du logarithme du rapport de vraisemblance à son maximum.

Dans le cas de l’inférence bayésienne, si $π (η)$ est une densité a priori pour $η,$ le logarithme de la densité a posteriori pour $η$ est

$log π (η | y (n)) = log π (η) + l (η; y (n)) - K (y (n)), (2.14)$

où

$K (y (n)) = log {\int π (η) f (y (n); η) d η} .$

Si la densité a priori est plane dans les zones de vraisemblance appréciable, la densité a posteriori de $η,$ qui quantifie l’inférence au sujet de $η,$ correspond à une densité ayant un mode égal à $\hat{η}$ et la courbure de son logarithme est égale à la négative de la matrice d’information de Fisher, ce qui fait en sorte que la variance-covariance a posteriori de $\hat{η}$ est approximativement égale à la réciproque de $I$ dans l’équation (2.13). Ainsi, l’estimation bayésienne de $η$ est efficace du point de vue fréquentiste; autrement, l’inférence fréquentiste se rapproche de l’inférence bayésienne.

Supposons que, dans le contexte fréquentiste, la fonction de score est remplacée par une autre fonction d’estimation $g (y (n); η)$ qui est sans biais dans le sens où elle a une espérance nulle. Voir, par exemple, Lindsay, Yi et Sun (2011). L’estimateur $\hat{η}$ n’a alors plus une efficacité optimale. Cependant, il est convergent, et sa variance peut être estimée au moyen de la méthode delta ou de la linéarisation de la fonction $g .$ Nous pourrions vouloir considérer $g$ en remplacement d’un vecteur de score ou comme le gradient à l’égard de $η$ d’un substitut de la fonction de logarithme du rapport de vraisemblance. En particulier, on pourrait considérer les équations fondées sur la vraisemblance composite en remplacement des équations d’estimation de score.

Une question qui se pose est alors celle de savoir si un substitut de la fonction du logarithme du rapport de vraisemblance comportant le gradient $g$ pourrait jouer le rôle du logarithme du rapport de vraisemblance dans l’inférence bayésienne et mener à une loi a posteriori approximativement exacte dans l’équation (2.14) et, dans la négative, s’il existe des moyens fondés sur des principes de le corriger.

Ainsi, supposons que nous avons une solution de rechange à la fonction de score, à savoir la fonction d’estimation $g (y (n); η),$ qui est sans biais pour $η$ en ce sens que :

$E_{η} [g (y (n); η)] = 0 .$

Supposons que la solution $\hat{η}$ de l’équation $g (y (n); η) = 0$ maximise une fonction $h (y (n); η)$ que nous voudrions considérer comme une solution de rechange à la fonction du logarithme du rapport de vraisemblance; par exemple, $h (y (n); η)$ pourrait être une fonction du logarithme du rapport de vraisemblance composite par paire et $g (y (n); η) = \nabla h (y (n); η) .$ Alors $h (y (n); η)$ serait approximativement égale à la valeur qu’aurait la log-densité a posteriori si la loi a priori était non informative et si nous considérions $h (y (n); η)$ comme étant un substitut de la fonction du logarithme du rapport de vraisemblance. La variance-covariance a posteriori substitut de $η$ serait approximativement l’inverse de la négative de la matrice de courbure de $h (y (n); η)$ à $\hat{η} .$ Selon la théorie des fonctions d’estimation (par exemple Heyde, 1997), si nous utilisons le même type d’approximation par série de Taylor que dans l’équation (2.12), la variance-covariance fréquentiste de $\hat{η}$ correspond à :

${Var}_{η} ({\hat{η}}^{T}) ≃ {E_{η} [\nabla g (y (n); η)]}^{- 1} {Var}_{η} [g (y (n); η)] {E_{η} {[\nabla g (y (n); η)]}^{T}}^{- 1} . (2.15)$

Si $h (y; η)$ était la fonction du logarithme du rapport de vraisemblance composite par paire, nous obtiendrions, selon le notation de Ribatet, Cooley et Davison :

${Var}_{η} ({\hat{η}}^{T}) ≃ \frac{1}{n} {[H (η_{0}) J {(η_{0})}^{- 1} H (η_{0})]}^{- 1}, (2.16)$

où $η_{0}$ est la valeur réelle de $η,$ $n H (η_{0})$ est inférieure à l’espérance de $\nabla h$ et $n J (η_{0})$ est égale à la matrice de variance-covariance de $g,$ le gradient de $h .$

Si $g$ avait la propriété (analogue à l’équation [2.11]) suivante :

${Var}_{η} [g (y (n); η)] = - E_{η} [\nabla g (y (n); η)], (2.17)$

de sorte que $J (η_{0}) = - H (η_{0}),$ le côté droit de l’équation (2.15) ou de l’équation (2.16) serait alors approximativement le même que la variance-covariance a posteriori substitut de $η .$

La propriété (2.17) est appelée l’absence de biais d’information d’une fonction d’estimation (Lindsay, 1982). Soit un $g$ qui ne satisfait pas l’équation (2.17), pour produire un $g^{*}$ qui correspond approximativement à l’équation (2.17), nous pourrions alors établir

$h^{*} (y (n); η) = h (y (n); \hat{η} + C (η - \hat{η})) = h (y (n); η^{*}) (2.18)$

pour une matrice constante $C,$ de sorte que le gradient de $h^{*}$ soit $C^{T}$ fois le gradient de $h,$ tandis que l’estimation ponctuelle de $η$ qui maximise $h^{*}$ et sa variance-covariance approximative demeurent inchangées.

Nous voulons obtenir ${Var}_{η} (g^{*}) = - E_{η} \nabla g^{*},$ et il peut être démontré que cela équivaut à

$H (η_{0}) J {(η_{0})}^{- 1} H (η_{0}) = C^{T} H (η_{0}) C, (2.19)$

qui est un ajustement de la courbure comme celui présenté dans l’étude de Ribatet, Cooley et Davison, où il est suggéré de prendre la solution de l’équation (2.19) qui établit $C = M^{- 1} M_{A},$ où $M_{A}^{T} M_{A} = H (η_{0}) J {(η_{0})}^{- 1} H (η_{0})$ et $M^{T} M = H (η_{0}) .$

ISSN : 1712-5685

Politique de rédaction

Techniques d’enquête publie des articles sur les divers aspects des méthodes statistiques qui intéressent un organisme statistique comme, par exemple, les problèmes de conception découlant de contraintes d’ordre pratique, l’utilisation de différentes sources de données et de méthodes de collecte, les erreurs dans les enquêtes, l’évaluation des enquêtes, la recherche sur les méthodes d’enquête, l’analyse des séries chronologiques, la désaisonnalisation, les études démographiques, l’intégration de données statistiques, les méthodes d’estimation et d’analyse de données et le développement de systèmes généralisés. Une importance particulière est accordée à l’élaboration et à l’évaluation de méthodes qui ont été utilisées pour la collecte de données ou appliquées à des données réelles. Tous les articles seront soumis à une critique, mais les auteurs demeurent responsables du contenu de leur texte et les opinions émises dans la revue ne sont pas nécessairement celles du comité de rédaction ni de Statistique Canada.

Présentation de textes pour la revue

Techniques d’enquête est publiée en version électronique deux fois l’an. Les auteurs désirant faire paraître un article sont invités à le faire parvenir en français ou en anglais en format électronique et préférablement en Word au rédacteur en chef, (statcan.smj-rte.statcan@canada.ca, Statistique Canada, 150 Promenade du Pré Tunney, Ottawa, (Ontario), Canada, K1A 0T6). Pour les instructions sur le format, veuillez consulter les directives présentées dans la revue ou sur le site web (www.statcan.gc.ca/Techniquesdenquete).

Note de reconnaissance

Le succès du système statistique du Canada repose sur un partenariat bien établi entre Statistique Canada et la population, les entreprises, les administrations canadiennes et les autres organismes. Sans cette collaboration et cette bonne volonté, il serait impossible de produire des statistiques précises et actuelles.

Normes de service à la clientèle

Statistique Canada s'engage à fournir à ses clients des services rapides, fiables et courtois. À cet égard, notre organisme s'est doté de normes de service à la clientèle qui doivent être observées par les employés lorsqu'ils offrent des services à la clientèle.

Droit d'auteur

Publication autorisée par le ministre responsable de Statistique Canada.

N° 12-001-X au catalogue

Périodicité : semi-annuel

Ottawa

Signaler un problème sur cette page

Quelque chose ne fonctionne pas? L'information n'est plus à jour? Vous ne trouvez pas ce que vous cherchez?

S'il vous plaît contactez-nous et nous informer comment nous pouvons vous aider.

Avis de confidentialité

Date de modification :: 2022-06-21

Sélection de la langue

Recherche et menus

Recherche

Inférence bayésienne pour un modèle des composantes de la variance fondée sur la vraisemblance composite par paire à partir des données d’enquête
Section 2. Vraisemblance complète, vraisemblance par paire et mise en œuvre bayésienne

2.1 Modèle et formule

2.2 Vraisemblance composite par paire non ajustée

2.3 Ajustement de la courbure pour le logarithme du rapport de vraisemblance par paire

Inférence bayésienne pour un modèle des composantes de la variance fondée sur la vraisemblance composite par paire à partir des données d’enquête Section 2. Vraisemblance complète, vraisemblance par paire et mise en œuvre bayésienne

2.1 Modèle et formule

2.2 Vraisemblance composite par paire non ajustée

2.3 Ajustement de la courbure pour le logarithme du rapport de vraisemblance par paire

Politique de rédaction

Présentation de textes pour la revue

Note de reconnaissance

Normes de service à la clientèle

Droit d'auteur

Inférence bayésienne pour un modèle des composantes de la variance fondée sur la vraisemblance composite par paire à partir des données d’enquête
Section 2. Vraisemblance complète, vraisemblance par paire et mise en œuvre bayésienne