4. Application aux estimateurs winsorisés

Cyril Favre Martinoz, David Haziza et Jean-François Beaumont

Précédent | Suivant

L’estimateur (3.5) peut être écrit sous d’autres formes, ce qui peut parfois faciliter sa mise en oeuvre. Nous considérons la forme winsorisée. Cette forme a été souvent étudiée dans la littérature. Tel que mentionné à la section 1, on distingue la winsorisation standard de la winsorisation de Dalén-Tambay.

La winsorisation standard consiste à réduire la valeur des unités dépassant un certain seuil en tenant compte de leur poids. Soit ${\tilde{y}}_i$  la valeur de la variable $y$  pour l’unité $i$  après winsorisation. On a

$${\tilde{y}}_i=\{\begin{array}{ll}{y}_i\hfill & \text{si }{d}_i{y}_i\le K\hfill \\ \frac{K}{d_i}\hfill & \text{si }{d}_i{y}_i>K\hfill \end{array}(4.1)$$

où $K>0$  est le seuil de winsorisation. L’estimateur winsorisé standard du total $t$  est donné par

$$\begin{array}{ll}{\widehat{t}}_s\hfill & ={\displaystyle \sum _{i\in S}{d}_i{\tilde{y}}_i}(4.2)\hfill \\ \hfill & =\widehat{t}+\Delta \left(K\right),\hfill \end{array}$$

où

$$\Delta \left(K\right)=-{\displaystyle \sum _{i\in S}}\max \left(\mathrm{0,}{d}_i{y}_i-K\right)\mathrm{.}$$

L’estimateur (4.2) peut donc s’écrire sous la forme (3.1). Une écriture alternative consiste à exprimer ${\widehat{t}}_s$  comme une somme pondérée des valeurs initiales au moyen de poids modifiés :

$${\widehat{t}}_s={\displaystyle \sum _{i\in S}{\tilde{d}}_i{y}_i}\mathrm{,}$$

où

$${\tilde{d}}_i=d_i\frac{\text{min}\left(y_i\mathrm{,}\frac{K}{d_i}\right)}{y_i}\mathrm{.}(4.3)$$

Si $\text{min}\left(y_i\mathrm{,}K/d_i\right)=y_i$  (c’est-à-dire que l’unité $i$  n’est pas influente), alors ${\tilde{d}}_i=d_i.$  Le poids d’une unité non influente n’est donc pas modifié. Par contre, le poids modifié d’une unité influente est inférieur à $d_i$  et peut même être inférieur à 1. Il convient de noter qu’une unité affichant une valeur $y_i=0$  ne pose pas de problème particulier puisque sa contribution au total estimé, ${\widehat{t}}_s\mathrm{,}$  est nulle. Dans ce cas, on peut assigner une valeur arbitraire au poids modifié ${\tilde{d}}_i\mathrm{.}$

Dans le cas de la winsorisation de Dalén-Tambay, on définit les valeurs de la variable d’intérêt après winsorisation par

$${\tilde{y}}_i=\{\begin{array}{ll}{y}_i\hfill & \text{si }{d}_i{y}_i\le K\hfill \\ \frac{K}{d_i}+\frac{1}{d_i}\left(y_i-\frac{K}{d_i}\right)\hfill & \text{si }{d}_i{y}_i\text{>}K\hfill \end{array}.(4.4)$$

Cela conduit à l’estimateur winsorisé du total $t_y:$

$$\begin{array}{ll}{\widehat{t}}_{\text{DT}}\hfill & ={\displaystyle \sum _{i\in S}{d}_i{\tilde{y}}_i}.(4.5)\hfill \\ \hfill & =\widehat{t}+\Delta \left(K\right)\mathrm{,}\hfill \end{array}$$

où

$$\Delta \left(K\right)=-{\displaystyle \sum _{i\in S}}\frac{\left(d_i-1\right)}{d_i}\max \left(\mathrm{0,}{d}_i{y}_i-K\right)\mathrm{.}$$

L’estimateur (4.5) peut également s’écrire sous la forme (3.1). Comme pour ${\widehat{t}}_s,$  une écriture alternative consiste à exprimer ${\widehat{t}}_{\text{DT}}$  comme une somme pondérée des valeurs initiales au moyen de poids modifiés :

$${\widehat{t}}_{\text{DT}}={\displaystyle \sum _{i\in S}{\tilde{d}}_i{y}_i}\mathrm{,}$$

où

$${\tilde{d}}_i=1+\left(d_i-1\right)\frac{\text{min}\left(y_i\mathrm{,}\frac{K}{d_i}\right)}{y_i}\mathrm{.}(4.6)$$

Comme pour l’estimateur winsorisé standard, le poids d’une unité non-influente n’est pas modifié. Contrairement à la winsorisation standard, la winsorisation de Dalén-Tambay garantit que les poids modifiés ne peuvent être inférieurs à 1. Encore une fois, une unité affichant une valeur $y_i=0$  ne pose pas de problème particulier puisque sa contribution au total estimé, ${\widehat{t}}_{\text{DT}}\mathrm{,}$  est nulle. Dans ce cas, on peut assigner une valeur arbitraire au poids modifié ${\tilde{d}}_i\mathrm{.}$

Les estimateur winsorisés standard et de Dalén-Tambay étant de la forme (3.1), la constante optimale $K_{\text{opt}}$  qui minimise (3.2) est obtenue en résolvant

$$\Delta \left(K\right)=-\frac{1}{2}\left({\widehat{B}}_{\text{min}}+{\widehat{B}}_{\text{max}}\right)$$

ou encore

$${\displaystyle \sum _{j\in S}{a}_j\max \left(\mathrm{0,}{d}_j{y}_j-K\right)}=\frac{{\widehat{B}}_{\text{min}}+{\widehat{B}}_{\text{max}}}{2}\mathrm{,}(4.7)$$

où $a_j=1$  dans le cas de l’estimateur ${\widehat{t}}_s$  et $a_j=\left(d_j-1\right)/d_j$  dans le cas de l’estimateur ${\widehat{t}}_{\text{DT}}.$  On montre dans l’annexe qu’une solution à l’équation (4.7) existe sous les conditions suivantes :

1. ${\pi }_{ij}-{\pi }_i{\pi }_j\le 0;\text{ et}$

2. $\frac{1}{2}\left({\widehat{B}}_{\text{min}}+{\widehat{B}}_{\text{max}}\right)\ge 0.$

La condition 1 est satisfaite pour la plupart des plans de sondage à un degré utilisés en pratique tels que l’échantillonnage aléatoire simple stratifié et l’échantillonnage de Poisson. La condition 2 implique que ${\widehat{t}}_R$  doit être plus petit ou égal à $\widehat{t}$  puisqu’un estimateur winsorisé ne peut pas être plus grand que l’estimateur de Horvitz-Thompson par construction. On s’attend en général à ce que la condition 2 soit satisfaite dans la plupart des populations asymétriques que l’on retrouve dans les enquêtes auprès des entreprises et dans les enquêtes sociales. On montre aussi dans l’annexe que la solution à l’équation (4.7) est unique si les conditions précédentes tiennent et si $y_i\ge 0$  pour $i\in S.$  On y décrit brièvement un algorithme pour trouver la solution à l’équation (4.7).

Il est à noter que bien que la valeur $K_{\text{opt}}$  diffère selon l’estimateur winsorisé utilisé, les estimateurs robustes résultants sont identiques. Autrement dit, on a

$${\widehat{t}}_s\left(K_{\text{opt}}\right)={\widehat{t}}_{\text{DT}}\left(K_{\text{opt}}\right)={\widehat{t}}_R=\widehat{t}-\frac{{\widehat{B}}_{\text{min}}+{\widehat{B}}_{\text{max}}}{2}\mathrm{.}(4.8)$$

Afin de comparer l’influence de chacune des unités de la population par rapport à l’estimateur (non-robuste) par dilatation, $\widehat{t}\mathrm{,}$  et sa version robuste (4.8), nous avons effectué une étude par simulation. Pour cela, nous avons généré deux populations, chacune de taille $N=100$. La première population a été générée selon une loi normale de moyenne 4 108 et d’écart type 1 500 alors que la deuxième a été générée selon une loi log-normale de moyenne 4 108 et d’écart type 7 373. De chaque population, nous avons tiré $M=500000$  échantillons selon deux plans de sondage : (i) le plan aléatoire simple sans remise de taille $n=10$  et (ii) le plan de Bernoulli de taille espérée $n=10$. Dans un premier temps, nous avons calculé le biais conditionnel de l’estimateur de Horvitz-Thompson pour un sondage aléatoire simple sans remise donné en (2.3) ainsi que celui dans le cas d’un plan de Bernoulli donné en (2.4). Notons que le biais conditionnel de l’estimateur Horvitz-Thompson ne requiert pas d’être approximé par simulation puisque toutes les quantités de la population sont connues. Le biais conditionnel de l’estimateur robuste donné en (3.3) associé à l’unité $i$  a été approximé de la manière suivante : parmi les 500 000 échantillons tirés, nous avons identifié les échantillons contenant l’unité $i.$  Dans chacun de ces échantillons, nous avons calculé l’erreur, ${\widehat{t}}_R-t.$  Finalement, nous avons calculé la moyenne des valeurs de ${\widehat{t}}_R-t$  sur tous les échantillons contenant l’unité $i.$

Les figures 4.1 (a) et 4.1 (b) présentent les résultats dans le cas de l’échantillonnage aléatoire simple sans remise pour les distributions normale et log-normale, respectivement. Les figures 4.1 (c) et 4.1 (d) présentent les résultats dans le cas de l’échantillonnage de Bernoulli pour les distributions normale et log-normale, respectivement. Dans chacune des figures, la valeur absolue du biais conditionnel de ${\widehat{t}}_R$  est représentée en fonction de la valeur absolue du biais conditionnel de $\widehat{t}$  pour chaque unité de la population. Les unités situées au dessus de la première bissectrice possèdent un biais conditionnel associé à ${\widehat{t}}_R$  en valeur absolue supérieur au biais conditionnel associé à l’estimateur $\widehat{t}$  en valeur absolue. Dans un premier temps, nous discutons des résultats ayant trait à l’échantillonnage aléatoire simple sans remise : le biais conditionnel de ${\widehat{t}}_R$  en valeur absolue présente un comportement similaire au biais conditionnel en valeur absolue de $\widehat{t},$  ce qui indique que l’influence des unités n’est pas modifiée de manière significative après avoir robustifié l’estimateur par dilatation. Ce résultat n’est pas surprenant puisque la population ne comprend pas d’unités fortement influentes. Dans le cas de la loi log-normale, on constate que l’influence des valeurs affichant un biais conditionnel associé à $\widehat{t}$  élevé a été réduite de manière significative. En revanche, on constate que, pour la majorité des données, le biais conditionnel de ${\widehat{t}}_R$  est légèrement plus élevé que celui de $\widehat{t}.$  Nous discutons maintenant les résultats ayant trait à l’échantillonnage de Bernoulli : dans le cas de la population normale, on constate que l’influence de la grande majorité des unités a été réduite puisque le biais conditionnel en valeur absolue de ${\widehat{t}}_R$  est significativement moins élevé que le biais conditionnel en valeur absolue de $\widehat{t}.$  Dans le cas de la loi log-normale, les résultats obtenus sont similaires à ceux obtenus dans le cas de l’échantillonnage aléatoire simple sans remise pour la même distribution.

Figure 4.1 Représentation de la valeur absolue des biais conditionnels des estimateurs robuste et non robuste

Description de la figure 4.1

Précédent | Suivant