Combinaison d’échantillons probabilistes indépendants
Section 2. Combiner des estimations distinctes

• Précédent
• Suivant

Supposons que nous avons $k\ge 2$ estimateurs, ${\widehat{Y}}_1,{\widehat{Y}}_2,\dots ,{\widehat{Y}}_k$ d’un total de population $Y,$ résultant de $k$ échantillons indépendants de la même population. Nos possibilités dépendent fortement des renseignements disponibles. Si nous avons des estimations et les estimations de la variance correspondante, une combinaison linéaire fondée sur des poids calculés à partir de variances estimées pourrait alors être une solution intéressante. Nous pourrions aussi pondérer les estimateurs en fonction de la taille de l’échantillon, si elle est connue, mais on sait que cela est loin d’être optimal dans certaines situations. Rappelons la théorie de combinaison linéaire optimale d’estimateurs indépendants sans biais. La combinaison linéaire de ${\widehat{Y}}_1,{\widehat{Y}}_2,\dots ,{\widehat{Y}}_k$ ayant la plus petite variance est

$${\widehat{Y}}_L\mathrm{<mo>=</mo>}{\alpha }_1{\widehat{Y}}_1+{\alpha }_2{\widehat{Y}}_2+\mathrm{...}+{\alpha }_k{\widehat{Y}}_k\mathrm{,}$$

où

$${\alpha }_i=\frac{1/V_i\left({\widehat{Y}}_i\right)}{{\displaystyle {\sum }_{j\mathrm{<mo>=</mo>\; 1}}^{k}1/V_j\left({\widehat{Y}}_j\right)}}$$

sont des poids positifs dont la somme est égale à 1. La variance de ${\widehat{Y}}_L$ est

$$V\left({\widehat{Y}}_L\right)\mathrm{<mo>=</mo>}\frac{1}{{\displaystyle {\sum }_{j\mathrm{<mo>=</mo>\; 1}}^{k}1/V_j\left({\widehat{Y}}_j\right)}}\mathrm{.}$$

Il est courant d’utiliser les estimations de la variance à la place des variances inconnues dans le calcul des poids $\alpha ,$ comme dans Cochran et Carroll (1953) et Cochran (1954). Si les estimateurs de la variance sont convergents, cette méthode fournira asymptotiquement la pondération optimale. De plus, si on suppose que les estimateurs de la variance sont indépendants des estimateurs ${\widehat{Y}}_1,{\widehat{Y}}_2,\dots ,{\widehat{Y}}_k,$ l’estimateur qui en résulte

$${\widehat{Y}}_L^{*}\mathrm{<mo>=</mo>}{\widehat{\alpha }}_1{\widehat{Y}}_1+{\widehat{\alpha }}_2{\widehat{Y}}_2+\mathrm{...}+{\widehat{\alpha }}_k{\widehat{Y}}_k\mathrm{,}$$

est sans biais et sa variance dépend uniquement de la variance de ${\widehat{Y}}_L$ et des EQM des ${\widehat{\alpha }}_i,$ voir Rubin et Weisberg (1974). Toutefois, comme nous le montrerons bientôt, l’hypothèse d’indépendance est susceptible de ne pas être respectée dans de nombreuses applications d’échantillonnage. Dans le cas de corrélations positives entre les estimateurs et leurs estimateurs de variance, nous donnons un poids plus important aux petites estimations, car elles ont tendance à avoir des variances estimées plus petites. Ainsi, l’estimateur combiné (utilisant des poids basés sur des variances estimées) aura un biais négatif, susceptible d’augmenter à mesure qu’augmente le nombre d’enquêtes indépendantes que nous combinons (voir l’exemple 1). L’opposé est également vrai en cas de corrélation négative, mais cette situation est probablement plus rare dans les applications d’échantillonnage.

Exemple 1 : Voici un exemple simpliste illustrant la possibilité d’augmentation du biais à mesure qu’augmente le nombre d’enquêtes indépendantes que nous combinons. Supposons que l’estimateur sans biais $\widehat{Y}$  pour un échantillon a pour valeur 1 ou 2 avec des probabilités égales et soit un estimateur de la variance dont la valeur est $c$  fois l’estimateur (corrélation parfaite) et qui est sans biais $\left(c=1/6\right).$  De toute évidence, la valeur espérée de $\widehat{Y}$  est 1,5. Considérons ensuite la combinaison linéaire de deux estimateurs indépendants $\left({\widehat{Y}}_1\mathrm{,}{\widehat{Y}}_2\right)$ du même type que $\widehat{Y}$ au moyen des variances estimées. La paire $\left({\widehat{Y}}_1\mathrm{,}{\widehat{Y}}_2\right)$ a les quatre résultats possibles suivants (1,1), (1,2), (2,1), (2,2), chacun ayant une probabilité de 1/4. Les résultats correspondants pour la combinaison linéaire ${\widehat{Y}}_L^{*}$  avec les variances estimées sont 1, 4/3, 4/3, 2 avec une espérance de $17/12\approx \text{1,4167}.$  Le biais est négatif. Si un troisième estimateur indépendant du même type est ajouté, nous avons les huit résultats suivants (1,1,1,1), (1,1,2), (1,2,1), (1,2,2), (2,1,1), (2,1,2), (2,2,1), (2,2,2), chacun ayant une probabilité égale de 1/8. Les résultats correspondants pour ${\widehat{Y}}_L^{*}$  sont 1, 6/5, 6/5, 3/2, 6/5, 3/2, 3/2, 2 avec une espérance de $111/80\mathrm{<mo>=</mo>}1,3875.$  Le biais est encore plus négatif et il continue de croître à mesure que d’autres estimateurs indépendants du même type sont ajoutés à la combinaison.

2.1  Pourquoi a-t-on fréquemment une corrélation positive entre l’estimateur et l’estimateur de la variance dans les applications d’échantillonnage ?

La question de la corrélation positive entre l’estimateur d’un total et l’estimateur de sa variance a été constatée auparavant par Gregoire et Schabenberger (1999) quand l’échantillonnage rend asymétriques des populations biologiques, mais nous montrons qu’une forte corrélation peut apparaître dans des applications d’échantillonnage plus générales. Supposons que la variable cible n’est pas négative et que $y_i\mathrm{<mo>></mo>\; 0}$ pour exactement $N^{\prime }$ unités. La proportion de $y_i$ non nuls (positifs) est désigné par $p\mathrm{<mo>=</mo>}{N}^{\prime }/N.$ Cette situation est très courante dans l’échantillonnage et nous obtenons une variable cible de ce type si nous estimons un total de domaine $(y_i\mathrm{<mo>=</mo>\; 0}$ à l’extérieur du domaine) ou si un sous-ensemble de la population seulement a la propriété d’intérêt.

L’estimateur de Horvitz-Thompson (HT) sans biais fondé sur le plan est donné par

$$\widehat{Y}\mathrm{<mo>=</mo>}{\displaystyle \sum _{i\in S}}\frac{y_i}{{\pi }_i}\mathrm{,}$$

où $S$ désigne l’ensemble aléatoire d’unités échantillonnées et ${\pi }_i\mathrm{<mo>=</mo>}\mathrm{Pr}\left(i\in S\right).$ Selon des plans à taille fixe, la variance de $\widehat{Y}$ est

$$V\left(\widehat{Y}\right)\mathrm{<mo>=</mo>}-\frac{1}{2}{\displaystyle \sum _{i\mathrm{<mo>=</mo>\; 1}}^N}{\displaystyle \sum _{j\mathrm{<mo>=</mo>\; 1}}^N}\left({\pi }_{ij}-{\pi }_i{\pi }_j\right){\left(\frac{y_i}{{\pi }_i}-\frac{y_j}{{\pi }_j}\right)}^2\mathrm{,}$$

où ${\pi }_{ij}\mathrm{<mo>=</mo>}\mathrm{Pr}\left(i\in S\mathrm{,}j\in S\right)$ est la probabilité d’inclusion du second ordre. L’estimateur de la variance correspondant est

$$\widehat{V}\left(\widehat{Y}\right)\mathrm{<mo>=</mo>}-\frac{1}{2}{\displaystyle \sum _{i\in S}}{\displaystyle \sum _{j\in S}}\frac{{\pi }_{ij}-{\pi }_i{\pi }_j}{{\pi }_{ij}}{\left(\frac{y_i}{{\pi }_i}-\frac{y_j}{{\pi }_j}\right)}^2\mathrm{.}$$

Si tous les ${\pi }_{ij}$ sont strictement positifs, l’estimateur de la variance est alors un estimateur sans biais de  $V\left(\widehat{Y}\right).$

Le nombre de $y_i$ non nuls dans $S$ (et par conséquent dans $\widehat{Y})$ est noté ici par $n^{\prime }$ et est habituellement un nombre aléatoire. On peut montrer que le nombre d’éléments non nuls dans $\widehat{V}\left(\widehat{Y}\right)$ est approximativement proportionnel à $n^{\prime }$ si $p$ est petit, ce qui indique la possibilité d’une forte corrélation entre $\widehat{Y}$ et $\widehat{V}\left(\widehat{Y}\right)$ en général si $p$ est petit. Pour montrer que le nombre de termes non nuls dans $\widehat{V}\left(\widehat{Y}\right)$ est approximativement proportionnel à $n^{\prime },$ nous observons trois cas, le troisième étant le plus général.

Cas 1 : Supposons que toutes les valeurs $y_i/{\pi }_i$ non nulles sont différentes, c’est-à-dire $y_i/{\pi }_i\ne y_j/{\pi }_j$ pour $i\ne j,$ et ${\pi }_{ij}\ne {\pi }_i{\pi }_j$ pour tous les $i\mathrm{,}j.$ La double somme dans $\widehat{V}\left(\widehat{Y}\right)$ contient alors $2n^{\prime }\left(n-n^{\prime }\right)$ termes non nuls ayant la forme

$$\frac{{\pi }_{ij}-{\pi }_i{\pi }_j}{{\pi }_{ij}}{\left(\frac{y_k}{{\pi }_k}\right)}^2\mathrm{,}$$

où $k$ est égal à $i$ ou $j$ et $i\ne j.$ Il y a $n^{\prime }\left(n^{\prime }-1\right)$ termes non nuls ayant la forme

$$\frac{{\pi }_{ij}-{\pi }_i{\pi }_j}{{\pi }_{ij}}{\left(\frac{y_i}{{\pi }_i}-\frac{y_j}{{\pi }_j}\right)}^2\mathrm{,}$$

où $i\ne j.$ Le nombre total de termes non nuls est $n^{\prime }\left(2n-n^{\prime }-1\right).$ Si $n$ est plutôt grand et $p$ est petit, alors $n^{\prime }<<n$ et nous avons à peu près $n^{\prime }\left(2n-n^{\prime }-1\right)\approx 2n^{\prime }n.$ Ainsi, le nombre de termes non nuls est approximativement proportionnel à $n^{\prime }.$

Cas 2 : Supposons que toutes les valeurs $y_i/{\pi }_i$ non nulles sont égales, par exemple $y_i$ est une variable d’indicateur et ${\pi }_i\mathrm{<mo>=</mo>}n/N,$ et ${\pi }_{ij}\ne {\pi }_i{\pi }_j$ pour tous les $i\mathrm{,}j.$ Alors la double somme dans $\widehat{V}\left(\widehat{Y}\right)$ contient $2n^{\prime }\left(n-n^{\prime }\right)$ termes non nuls ayant la forme

$$\frac{{\pi }_{ij}-{\pi }_i{\pi }_j}{{\pi }_{ij}}{\left(\frac{y_k}{{\pi }_k}\right)}^2\mathrm{,}$$

où $k$ est égal à $i$ ou $j$ et $i\ne j.$ Si $n$ est plutôt grand et $p$ est petit, alors $n^{\prime }<<n$ nous avons à peu près $2n^{\prime }\left(n-n^{\prime }\right)\approx 2n^{\prime }n.$ Ainsi, le nombre de termes non nuls est encore approximativement proportionnel à $n^{\prime }.$

Cas 3 : Si certaines valeurs $y_i/{\pi }_i$ non nulles sont égales et que les autres sont différentes, alors le nombre de termes non nuls sera entre $2n^{\prime }\left(n-n^{\prime }\right)$ (cas 2) et $n^{\prime }\left(2n-n^{\prime }-1\right)$ (cas 1). Ainsi, le nombre de termes non nuls dans $\widehat{V}\left(\widehat{Y}\right)$ est toujours approximativement proportionnel à $n^{\prime }$ si $p$ est petit.

Si ${\pi }_{ij}\le {\pi }_i{\pi }_j$ pour tous les $i\ne j,$ alors tous les termes non nuls sont positifs. Cette condition se vérifie, par exemple, pour les plans d’échantillonnage aléatoire simple (EAS) et avec probabilités inégales à grande entropie, comme sous un échantillonnage de Poisson conditionnel, de Sampford et de Pareto. Pour un traitement plus détaillé de l’entropie des plans d’échantillonnage, voir par exemple Grafström (2010). Il est peu probable que la taille moyenne des termes positifs dans $\widehat{V}\left(\widehat{Y}\right),$ ou $\widehat{Y}$ dépende beaucoup de $n^{\prime }.$ Par conséquent, si $\widehat{Y}$ contient $n^{\prime }$ termes positifs, et $\widehat{V}\left(\widehat{Y}\right)$ contient un nombre de termes positifs proportionnel à $n^{\prime },$ leurs tailles sont principalement déterminées par $n^{\prime }.$ Une variance relative élevée dans $n^{\prime }$ peut causer une forte corrélation entre $\widehat{Y}$ et $\widehat{V}\left(\widehat{Y}\right),$ voir l’exemple 2.

Des plans courants peuvent produire une variance relative élevée pour $n^{\prime }.$ Si nous utilisons un échantillonnage aléatoire simple sans remise, nous obtenons $n^{\prime }\sim \text{Hyp}\left(N\mathrm{,}{N}^{\prime }\mathrm{,}n\right)$ et $V\left(n^{\prime }\right)/E\left(n^{\prime }\right)\mathrm{<mo>=</mo>}\left(1-p\right)\left(N-n\right)/\left(N-1\right)\approx \left(1-p\right)\left(1-n/N\right),$ ce qui signifie qu’il nous faut un grand $p$ ou une grande fraction d’échantillon $n/N$ afin d’obtenir une petite variance relative pour $n^{\prime }.$ Dans de nombreuses applications, nous aurons une valeur $p$ plutôt petite et une petite fraction d’échantillon $n/N$ et, par conséquent, pour de nombreux plans (qui n’utilisent pas de renseignements antérieurs pouvant expliquer dans une certaine mesure si $y_i\ne 0$ ou non), il y aura une variance relative élevée pour $n^{\prime }.$ Afin d’illustrer la grandeur de la corrélation résultant entre l’estimateur et son estimateur de variance, voici un exemple d’échantillonnage aléatoire simple sans remise.

Exemple 2 : Dans cet exemple, nous simulerons d’abord une population de taille $N\mathrm{<mo>=</mo>}\text{1}\text{000}$  où $N^{\prime }\mathrm{<mo>=</mo>\; 100},$  c’est-à-dire $p\mathrm{<mo>=</mo>}\text{0,1}\text{.}$  Les 100 valeurs $y$ non nulles sont simulées à partir de $N\left(\mu \mathrm{,}{\sigma }^2\right)$  sachant que $\mu \mathrm{<mo>=</mo>\; 10}$  et $\sigma \mathrm{<mo>=</mo>\; 2.}$  Nous sélectionnons des échantillons de taille $n\mathrm{<mo>=</mo>\; 200}$  avec échantillonnage aléatoire simple, de sorte que ${\pi }_i\mathrm{<mo>=</mo>}n/N$  et ${\pi }_{ij}\mathrm{<mo>=</mo>}n\left(n-1\right)/\left(N\left(N-1\right)\right)$  pour $i\ne j.$  La corrélation observée entre $\widehat{Y}$  et $\widehat{V}\left(\widehat{Y}\right)$  était de 0,974 pour ${10}^6$  échantillons, voir la figure 2.1 pour les 1 000 premières observations de $\left(\widehat{Y}\mathrm{,}\widehat{V}\left(\widehat{Y}\right)\right).$  Si nous augmentons $p$  à 0,3, la corrélation est encore supérieure à 0,9. Les résultats ne changent pas si le rapport $\sigma /\mu$ demeure inchangé; nous obtenons par exemple les mêmes corrélations si $\mu \mathrm{<mo>=</mo>\; 100}$ et $\sigma \mathrm{<mo>=</mo>\; 20.}$

Supposons maintenant que nous avons accès à plus d’un échantillon pour l’estimation de $Y.$ Comme on l’a indiqué précédemment, en cas de corrélations positives élevées entre les estimateurs et les estimateurs de variance correspondants, il y a un risque de biais important quand on utilise une combinaison linéaire avec des variances estimées. L’intérêt de l’utilisation de données combinées peut être plus grand pour les petits domaines ou les propriétés rares, cas dans lesquels le problème de forte corrélation est le plus probable. Nous aborderons ensuite d’autres solutions d’utilisation de renseignements combinés provenant de plusieurs échantillons.

• Précédent
• Page principale de l'article
• Suivant