2 Données fonctionnelles en population finie

Hervé Cardot, Alain Dessertaine, Camelia Goga, Étienne Josserand et Pauline Lardin

Précédent | Suivant

Considérons une population finie $U=\left\{\mathrm{1,...,}N\right\}$ de taille N et supposons que, pour chaque élément $k$ de la population $U$, nous pouvons observer la courbe déterministe $Y_k={\left(Y_k\left(t\right)\right)}_{t\in \left[\mathrm{0,}T\right]}$. L'objectif est d'estimer la courbe moyenne de la population qui est définie pour tout instant $t\in \left[\mathrm{0,}T\right]\mathrm{,}$ par

$$\mu \left(t\right)=\frac{1}{N}{\displaystyle \sum _{k\in U}}{Y}_k\left(t\right).$$

Soit $s$ un échantillon de taille fixée $n$, choisi aléatoirement dans $U,$ selon un plan de sondage $p\left(\mathrm{.}\right)\mathrm{.}$ Soient ${\pi }_k=\mathrm{Pr}\left(k\in s\right)$ et ${\pi }_{kl}=\mathrm{Pr}\left(k\&l\in s\right)$ les probabilités d'inclusion d'ordre un et deux respectivement. On suppose que ${\pi }_k>0$ pour tout élément $k$ de la population $U\mathrm{.}$

La courbe moyenne $\mu$ est estimée à l'aide de l'estimateur de Horvitz-Thompson (Cardot et coll. 2010) comme suit

$$\widehat{\mu }\left(t\right)=\frac{1}{N}{\displaystyle \sum _{k\in s}}\frac{Y_k\left(t\right)}{{\pi }_k}=\frac{1}{N}{\displaystyle \sum _{k\in U}}\frac{Y_k\left(t\right)}{{\pi }_k}{1}_{k\in s}\mathrm{,}t\in \left[\mathrm{0,}T\right]\mathrm{,}\left(2.1\right)$$

 où $1_{k\in s}$ est l'indicatrice d'appartenance de l'unité $k$ à l'échantillon $s.$ Pour chaque instant $t\in \left[\mathrm{0,}T\right]\mathrm{,}$ l'estimateur $\widehat{\mu }\left(t\right)$ est sans biais pour $\mu \left(t\right)\mathrm{,}$ c'est à dire $E\left(\widehat{\mu }\left(t\right)\right)=\mu \left(t\right)$ où l'espérance est considérée par rapport au plan de sondage.

Généralement les trajectoires $Y_k\left(t\right)$ ne sont pas observées continûment pour $t\in \left[\mathrm{0,}T\right]$ mais uniquement sur un ensemble de $D$ instants de mesure $0=t_1<t_2<\dots <t_D=T\mathrm{.}$  Une stratégie classique en analyse des données fonctionnelles consiste à effectuer une interpolation ou un lissage des trajectoires discrétisées afin d'obtenir des objets qui sont réellement des fonctions (Ramsay et Silverman 2005). Cela permet également de traiter des courbes dont les instants de mesure ne sont pas identiques. Dans le cadre des sondages, l'interpolation linéaire, lorsqu'il n'y a pas d'erreur de mesure aux points discrétisés, a été étudiée par Cardot et Josserand (2011) tandis que des procédures de lissage sont proposées dans Cardot et coll. (2013). Si le nombre de points de discrétisation est suffisant et les trajectoires sont assez régulières (mais pas nécessairement dérivables), l'erreur d'approximation due au lissage ou à l'interpolation est négligeable face à l'erreur d'échantillonnage. On suppose dans la suite que les trajectoires sont observées en tout point de l'intervalle $\left[\mathrm{0,}T\right]\mathrm{.}$

La fonction de covariance de type Horvitz-Thompson $\gamma \left(r,t\right)=\text{cov}\left(\widehat{\mu }\left(r\right)\mathrm{,}\widehat{\mu }\left(t\right)\right)$ est donnée par $\gamma \left(r\mathrm{,}t\right)=\frac{1}{N^2}{\displaystyle \sum _{k\in U}}{\displaystyle \sum _{l\in U}}{\Delta }_{kl}\frac{Y_k\left(r\right)}{{\pi }_k}\frac{Y_l\left(t\right)}{{\pi }_l}$

pour tout $\left(r\mathrm{,}t\right)\in \left[\mathrm{0,}T\right]\times \left[\mathrm{0,}T\right]$ et ${\Delta }_{kl}={\pi }_{kl}-{\pi }_k{\pi }_l\mathrm{.}$ Si on suppose que les probabilités d'inclusion d'ordre deux satisfont ${\pi }_{kl}>\mathrm{0,}$ un estimateur sans biais de $\gamma \left(r,t\right)$ est donné par l'estimateur sans biais de la variance de type Horvitz-Thompson,

$$\widehat{\gamma }\left(r\mathrm{,}t\right)=\frac{1}{N^2}{\displaystyle \sum _{k\in s}}{\displaystyle \sum _{l\in s}\frac{{\Delta }_{kl}}{{\pi }_{kl}}\frac{Y_k\left(r\right)}{{\pi }_k}\frac{Y_l\left(t\right)}{{\pi }_l}}\left(2.2\right)$$

 pour tout $\left(r\mathrm{,}t\right)\in \left[\mathrm{0,}T\right]\times \left[\mathrm{0,}T\right]\mathrm{.}$

2.1  Prise en compte d'information auxiliaire pour l'estimation de la trajectoire moyenne

Il est bien connu que l'utilisation d'une information auxiliaire qui explique bien la variable d'intérêt peut beaucoup améliorer la précision de l'estimateur de Horvitz-Thompson. Dans le cas des données EDF, la température extérieure ou le type de contrat pourraient sans doute être des variables auxiliaires intéressantes. Une stratification selon la position géographique permettrait également d'obtenir des estimations pour les différentes régions. Dans cette étude, nous disposons comme variable auxiliaire de la consommation électrique totale de la semaine précédente. Nous supposons que cette variable (réelle) est observée pour tous les éléments de la population.

Nous présentons dans cette section l'estimateur de Horvitz-Thompson pour la courbe moyenne ainsi qu'une estimation de la fonction de covariance de cet estimateur pour le sondage stratifié avec échantillonnage aléatoire simple sans remise (ÉASSR) dans chaque strate, noté dans la suite STRAT, et pour l'échantillonnage proportionnel à la taille sans remise que l'on note $\pi ps$. Nous considérons également un estimateur de la courbe moyenne assisté par un modèle linéaire fonctionnel.

2.1.1    Le sondage stratifié avec ÉASSR dans chaque strate (STRAT)

La population $U$ est supposée être stratifiée en un nombre fixé $H$ de strates $U_1\mathrm{,}\dots \mathrm{,}{U}_H$ de tailles $N_1\mathrm{,}\dots \mathrm{,}{N}_H\mathrm{.}$ À l'intérieur de chaque strate $U_h,$ on tire un échantillon $s_h$ de taille $n_h$ selon un plan ÉASSR.

Notons ${\mu }_h\left(t\right)={\displaystyle {\sum }_{k\in U_h}}{Y}_k\left(t\right)/N_h\mathrm{,}$ pour $t\in \left[\mathrm{0,}T\right]\mathrm{,}$ la courbe moyenne dans chaque strate et ${\widehat{\mu }}_h\left(t\right)={\displaystyle {\sum }_{k\in s_h}}{Y}_k\left(t\right)/n_h\mathrm{,}$ son estimation. L'estimateur de la courbe moyenne $\mu$ est alors défini par

$${\widehat{\mu }}_{\text{strat}}\left(t\right)=\frac{1}{N}{\displaystyle \sum _{h=1}^H{N}_h}{\widehat{\mu }}_h\left(t\right)={\displaystyle \sum _{h=1}^H\frac{N_h}{N}}\left(\frac{1}{n_h}{\displaystyle \sum _{k\in s_h}{Y}_k\left(t\right)}\right)\mathrm{,}t\in \left[\mathrm{0,}T\right]\mathrm{.}\left(2.3\right)$$

 L'estimateur de Horvitz-Thompson de la fonction de covariance $\gamma$ est alors

$${\widehat{\gamma }}_{strat}\left(r\mathrm{,}t\right)=\frac{1}{N^2}{\displaystyle \sum _{h=1}^H}{N}_h^2\left(\frac{1}{n_h}-\frac{1}{N_h}\right)S_{Y\left(r\right)Y\left(t\right)\mathrm{,}{s}_h}r\mathrm{,}t\in \left[\mathrm{0,}T\right]\mathrm{,}\left(2.4\right)$$

où

$$S_{Y\left(r\right)Y\left(t\right)\mathrm{,}{s}_h}=\frac{1}{n_h-1}{\displaystyle \sum _{k\in s_h}}\left(Y_k\left(r\right)-{\widehat{\mu }}_h\left(r\right)\right)\left(Y_k\left(t\right)-{\widehat{\mu }}_h\left(t\right)\right)$$

est l'estimateur de la fonction de covariance $S_{Y\left(r\right)Y\left(t\right)\mathrm{,}{U}_h}$ dans la strate $h$. Pour $r=t\in \left[\mathrm{0,}T\right]$, on obtient l'estimateur de la fonction de variance comme suit

$${\widehat{\gamma }}_{strat}\left(r\right)=\frac{1}{N^2}{\displaystyle \sum _{h=1}^H}{N}_h^2\left(\frac{1}{n_h}-\frac{1}{N_h}\right)S_{Y\left(r\right)\mathrm{,}{s}_h}^2\mathrm{,}$$

où

$$S_{Y\left(r\right)\mathrm{,}{s}_h}^2=\frac{1}{n_h-1}{\displaystyle \sum _{k\in s_h}}{\left(Y_k\left(r\right)-{\widehat{\mu }}_h\left(r\right)\right)}^2$$

est l'estimateur de la variance $S_{Y\left(r\right)\mathrm{,}{U}_h}^2$ dans la strate $h$. Cardot et Josserand (2011) proposent une extension, au cadre fonctionnel, de l'allocation optimale de Neyman. Les tailles $n_h$ des échantillons $s_h$ vérifiant

$$n_h=n\frac{N_h\sqrt{{\displaystyle {\int }_0^T}{S}_{Y\left(r\right)\mathrm{,}{U}_h}^{2}dr}}{{\displaystyle \sum _{h=1}^H{N}_h}\sqrt{{\displaystyle {\int }_0^T}{S}_{Y\left(r\right)\mathrm{,}{U}_h}^{2}dr}}\mathrm{,}h=\mathrm{1,}\dots \mathrm{,}H\mathrm{,}\left(2.5\right)$$

permettent de rendre minimale la variance intégrée, ${\displaystyle {\int }_0^T}{\widehat{\gamma }}_{\text{strat}}\left(t\right)dt$, de l'estimateur stratifié. Cette allocation est similaire à l'allocation obtenue dans le cadre multivarié par Cochran (1977). En remplaçant la variable $Y$ par une autre variable $X$ connue sur toute la population et très corrélée avec la variable d'intérêt, on obtient une allocation dite $x­$ optimale.

Remarque 2.1 Pour $H=\mathrm{1,}$ nous obtenons le plan aléatoire simple sans remise (ÉASSR) et la courbe moyenne $\mu \left(t\right)$ est estimée par

$${\widehat{\mu }}_{éassr}\left(t\right)=\frac{1}{n}{\displaystyle \sum _{k\in s}{Y}_k\left(t\right)\mathrm{,}}t\in \left[\mathrm{0,}T\right]\mathrm{.}\left(2.6\right)$$

L'estimateur de la fonction de covariance défini en (2.2) est alors

$${\widehat{\gamma }}_{éassr}\left(r,t\right)=\left(\frac{1}{n}-\frac{1}{N}\right)S_{Y\left(r\right)Y\left(t\right)\mathrm{,}s}\mathrm{.}\left(2.7\right)$$

2.1.2  L'échantillonnage proportionnel à la taille sans remise ($\pi ps$)

Les plans d'échantillonnage proportionnels à la taille avec ou sans remise sont souvent utilisés en pratique car leur efficacité est supérieure à celle de plans à probabilités égales lorsque la variable d'intérêt est plus ou moins proportionnelle à une variable auxiliaire $X$ qui a des valeurs strictement positives.

Dans le cas des échantillons de taille fixe $n$ tirés sans remise, il est possible de donner l'équivalent de la formule de Yates et Grundy (1953) et Sen (1953). La fonction de covariance de $\widehat{\mu }$ vérifie,

$$\gamma \left(r,t\right)=-\frac{1}{2}\frac{1}{N^2}{\displaystyle \sum _{k\in U}}{\displaystyle \sum _{l\in U\mathrm{,}l\ne k}}\left({\pi }_{kl}-{\pi }_k{\pi }_l\right)\left(\frac{Y_k\left(r\right)}{{\pi }_k}-\frac{Y_l\left(r\right)}{{\pi }_l}\right)\left(\frac{Y_k\left(t\right)}{{\pi }_k}-\frac{Y_l\left(t\right)}{{\pi }_l}\right)\mathrm{,}r\mathrm{,}t\in \left[\mathrm{0,}T\right]\mathrm{.}\left(2.8\right)$$

Supposons que les valeurs $x_k$ de la variable $X$ sont connues pour toutes les unités $k$ de la population. Il est alors possible de définir les probabilités d'inclusion :

$${\pi }_k=n\frac{x_k}{{\displaystyle \sum _{k\in U}}{x}_k}\mathrm{.}$$

Des méthodes ont été proposées dans la littérature pour le cas ${\pi }_k>1$ (Särndal et coll. 1992).

Les probabilités d'inclusion d'ordre deux sont en général très difficiles à calculer pour les plans $\pi ps$ et par conséquent, la formule (2.2) ne peut pas être utilisée. Il existe cependant une approximation asymptotique simple de la variance qui a été proposée par Hájek (1964) et qui ne fait intervenir que les probabilités d'inclusion d'ordre un. Cette approximation se révèle très performante lorsque la taille de l'échantillon est grande et l'entropie du plan de sondage proche de l'entropie maximale. Pour sélectionner l'échantillon $s$ avec des probabilités d'inclusion ${\pi }_k,$ l'algorithme du cube (Deville et Tillé 2004) équilibré sur la variable $\pi ={\left({\pi }_k\right)}_{k\in U}$ peut être utilisé. Deville et Tillé (2005) montrent que pour ce plan de sondage particulier la formule de Hàjek est très performante pour estimer la variance d'un total ou d'une moyenne. Cette formule d'approximation de la variance peut aussi être utilisée pour la covariance, qui est alors estimée par

$${\widehat{\gamma }}_{\pi \text{ps}}\left(r,t\right)=\frac{1}{N^2}{\displaystyle \sum _{k\in s}}\left(1-{\pi }_k\right)\left(\frac{Y_k\left(r\right)}{{\pi }_k}-\widehat{R}\left(r\right)\right)\left(\frac{Y_k\left(t\right)}{{\pi }_k}-\widehat{R}\left(t\right)\right)\mathrm{,}r\mathrm{,}t\in \left[\mathrm{0,}T\right]\mathrm{,}\left(2.9\right)$$

où

$$\widehat{R}\left(t\right)=\frac{{\displaystyle \sum _{k\in s}}\frac{Y_k\left(t\right)}{{\pi }_k}\left(1-{\pi }_k\right)}{{\displaystyle \sum _{k\in s}}\left(1-{\pi }_k\right)}\text{.}$$

Nous avons également utilisé le sondage systématique à probabilités inégales proposé par Madow (1949) en raison de sa simplicité d'utilisation. Il est malheureusement difficile d'estimer la variance pour ce type de plan et nous ne l'utiliserons donc pas pour construire les bandes de confiance.

2.2  L'estimateur assisté par un modèle ("model-assisted")

Considérons $p$ variables auxiliaires réelles $X_1\mathrm{,}\dots \mathrm{,}{X}_p$ et soit $x_{kj}$ la valeur de la variable $X_j$ pour le $k^{\text{ème}}$ individu. Notons par $x_k=(x_{k1}\mathrm{,}\dots \mathrm{,}{x}_{kp})\prime$ le vecteur contenant les valeurs de $p$ variables auxiliaires mesurées sur le $k^{\text{ème}}$ individu. On considère que la relation entre la variable d'intérêt et les variables auxiliaires est modélisée par le modèle de superpopulation suivant

$$\xi :Y_k\left(t\right)={x^{\prime }}_k\beta \left(t\right)+{\epsilon }_{kt}\mathrm{,}t\in \left[\mathrm{0,}T\right]\left(2.10\right)$$

avec

$$E_{\xi }\left({\epsilon }_{kt}\right)=\mathrm{0,}{E}_{\xi }\left({\epsilon }_{kt}{\epsilon }_{l{t}^{\prime }}\right)=0\text{ pour }k\ne l\text{ et }{E}_{\xi }\left({\epsilon }_{kt}{\epsilon }_{k{t}^{\prime }}\right)={\sigma }_{t{t}^{\prime }}^2\text{ pour }k=l.$$

Ce modèle est une généralisation immédiate à plusieurs variables auxiliaires du modèle linéaire fonctionnel proposé par Faraway (1997). 

L'estimation de $\beta$ basée sur le modèle $\xi$ et le plan de sondage $p(\cdot )$ est donnée par

$$\widehat{\beta }\left(t\right)={\left({\displaystyle \sum _{k\in s}}\frac{x_k{x^{\prime }}_k}{{\pi }_k}\right)}^{-1}{\displaystyle \sum _{k\in s}}\frac{x_k{Y}_k\left(t\right)}{{\pi }_k}\mathrm{,}t\in \left[\mathrm{0,}T\right]\mathrm{.}\left(2.11\right)$$

Remarquons que les poids de sondage ne dépendent pas du temps $t\in \left[\mathrm{0,}T\right]\mathrm{.}$ Soit ${\widehat{Y}}_k\left(t\right)=x_k^{\text{'}}\widehat{\beta }\left(t\right)$ l'estimateur basé sur le plan de sondage de la prédiction sous le modèle $\xi$ de $Y_k(t)$. Par analogie directe avec le cas univarié (Särndal et coll. 1992), nous obtenons finalement l'estimateur suivant pour la moyenne, pour $t\in \left[\mathrm{0,}T\right]\mathrm{,}$

$$\begin{array}{c}{\widehat{\mu }}_{MA}\left(t\right)=\frac{1}{N}{\displaystyle \sum _{k\in s}{\widehat{Y}}_k\left(t\right)}-\frac{1}{N}{\displaystyle \sum _{k\in s}}\frac{\left({\widehat{Y}}_k\left(t\right)-Y_k\left(t\right)\right)}{{\pi }_k}\left(2.12\right)\\ =\frac{1}{N}{\displaystyle \sum _{k\in U}}\frac{Y_k\left(t\right)-{x^{\prime }}_k\widehat{\beta }\left(t\right)}{{\pi }_k}+\frac{1}{N}\left({\displaystyle \sum _{k\in U}{x^{\prime }}_k}\right)\widehat{\beta }\left(t\right)\mathrm{.}\end{array}$$

Si le modèle $\xi$ contient la variable constante $\mathrm{1,}$ alors l'estimateur devient

$${\widehat{\mu }}_{MA}\left(t\right)=\frac{1}{N}{\displaystyle \sum _{k\in U}{\widehat{Y}}_k\left(t\right)\mathrm{,}}t\in \left[\mathrm{0,}T\right]\mathrm{.}\left(2.13\right)$$

Pour $r$ et $t$ fixés, la covariance asymptotique de ${\widehat{\mu }}_{MA}(r)$ et ${\widehat{\mu }}_{MA}(t)$ peut être calculée selon la technique classique des résidus (Särndal et coll. 1992),

$${\gamma }_{MA}\left(r,t\right)\simeq \frac{1}{N^2}{\displaystyle \sum _{k\in U}}{\displaystyle \sum _{l\in U}}\left({\pi }_{kl}-{\pi }_k{\pi }_l\right)\frac{\left(Y_k\left(r\right)-{\tilde{Y}}_k\left(r\right)\right)}{{\pi }_k}\frac{\left(Y_l\left(t\right)-{\tilde{Y}}_l\left(t\right)\right)}{{\pi }_l}\mathrm{,}\left(2.14\right)$$

où ${\tilde{Y}}_k\left(r\right)={x^{\prime }}_k\tilde{\beta }\left(t\right)$ est la prédiction de $Y_k\left(t\right)$ sous le modèle de superpopulation et $\tilde{\beta }\left(t\right)={\left({\displaystyle {\sum }_U}{x}_k{x^{\prime }}_k\right)}^{-1}\left({\displaystyle {\sum }_U}{x}_k{Y}_k\left(t\right)\right)$ est l'estimation de $\beta$ au niveau de la population et $r\mathrm{,}t\in \left[\mathrm{0,}T\right]$ . Cardot, Goga et Lardin (2013) montrent que ce résultat reste valable uniformément en $r\mathrm{,}t\in \left[\mathrm{0,}T\right]\mathrm{.}$

Nous proposons comme estimateur de la fonction de covariance ${\gamma }_{MA}\left(r\mathrm{,}t\right)$ l'estimateur de Horvitz-Thompson de la covariance asymptotique donnée par (2.14) où $\tilde{\beta }\left(t\right)$ est remplacé par son estimateur $\widehat{\beta }\left(t\right)$ basé sur le plan de sondage,

$${\widehat{\gamma }}_{MA}\left(r,t\right)=\frac{1}{N^2}{\displaystyle \sum _{k\mathrm{,}l\in s}}\frac{{\pi }_{kl}-{\pi }_k{\pi }_l}{{\pi }_{kl}}\frac{\left(Y_k\left(r\right)-{\widehat{Y}}_k\left(r\right)\right)}{{\pi }_k}\frac{\left(Y_l\left(t\right)-{\widehat{Y}}_l\left(t\right)\right)}{{\pi }_l}\mathrm{,}r\mathrm{,}t\in \left[\mathrm{0,}T\right]\mathrm{.}\left(2.15\right)$$

Remarque 2.2 Il est tout à fait possible de considérer un modèle de superpopulation $\xi$ plus général que le modèle linéaire proposé ici. Des techniques d'estimation basées sur un lissage par des B-splines (Goga et Ruiz-Gazen 2012) peuvent alors être envisagées. Dans notre étude, la relation entre la consommation à l'instant  et la consommation moyenne de la semaine précédente est quasi linéaire (voir figure 4.1) ce qui justifie de ne pas employer ces approches nonparamétriques.

Précédent | Suivant