Imputation par régression quantile semi-paramétrique pour une enquête complexe avec application au Conservation Effects Assessment Project
Section 2. Imputation par régression quantile pour les données d’enquête complexes
Imaginons un cadre conceptuel dans lequel les échantillons sont tirés
d’une population finie générée à partir d’un modèle de superpopulation (Fuller,
2009b, chapitre 6). Supposons que
et
ont
une distribution conjointe
dans la surpopulation. Nous définissons la
distribution conditionnelle de
compte tenu de
par
la fonction quantile conditionnelle. Supposons que
indique le
quantile de la distribution conditionnelle de
compte tenu de
dans la superpopulation, où
est défini par
Nous précisons un modèle pour les quantiles parce que les
modèles de régression quantile peuvent décrire une grande variété de
distributions, comme l’illustre la figure 2.1. Le panneau de gauche de la
figure 2.1 illustre un modèle de régression quantile linéaire dans lequel
chaque fonction quantile conditionnelle est représentée avec une ordonnée à
l’origine différente et une pente différente. L’utilisation d’une pente
différente permet de décrire des données avec des variances non constantes. Le
panneau de droite de la figure 2.1 illustre une généralisation à la
régression quantile semi-paramétrique, où le
quantile de la distribution
conditionnelle de
est représenté comme une
fonction continue de
Dans la procédure d’imputation,
nous supposons que
est une fonction avec
dérivées continues. Nous obtenons la valeur
approximative de
avec une fonction B-spline (de Boor, 2001;
Chen et Yu, 2016; Yoshida, 2013; Hastie, Tibshirani et Friedman, 2009), comme
nous l’expliquons plus en détail à la section 2.2. Pour permettre
l’utilisation de la fonction B-spline, nous supposons que
a un support compact, mais n’avons
pas besoin d’autres hypothèses de distribution pour

Description de la figure 2.1
Figure composée de deux graphiques en nuages de points illustrant une régression quantile linéaire et une régression quantile semi-paramétrique. Les axes des y vont de 0 à 30 et les axes des x vont de 0 à 12,5. Pour la régression quantile linéaire, des lignes représentant les quantiles 5 %, 25 %, 50 %, 75 % et 95 % ainsi qu’une fonction de moyenne sont ajoutées au graphique. Chaque ligne a une ordonnée à l’origine et une pente différente. Les mêmes quantiles et fonction sont représentés dans le graphique de la régression quantile semi-paramétrique. Ce sont des courbes qui ont le même point de départ.
Nous prenons en considération l’estimation des paramètres définis en
fonction du modèle de superpopulation qui relie
à
plutôt que des paramètres de population finie.
Le véritable paramètre d’intérêt,
est un vecteur
dimensionnel
qui permet d’obtenir :
où
est une fonction
dimensionnelle
à deux dérivées continues, et
L’opérateur d’espérance
indique des espérances par rapport au modèle
de superpopulation. Veuillez prendre note que
où
et
et
respectivement, dénotent la fonction de
distribution cumulative (fdc) et la fonction de densité de probabilité (fdp) de
la distribution conditionnelle de
compte tenu de
La deuxième égalité dans (2.3) découle
de la transformation de l’intégrale de la probabilité et d’un changement de
variables de
de distribution uniforme avec
fdp
ou
représente la variable
indicatrice qui prend la valeur « 1 » si l’argument est vrai et
« 0 » dans le cas contraire. La relation définie par la troisième
égalité dans (2.3) joue un rôle important dans la procédure d’imputation. Pour
chaque
manquant nous générons
valeurs imputées définies par
où
estime la valeur de
et
forme une grille fine sur
l’intervalle
Nous estimons ensuite la valeur
de
en donnant une valeur
approximative à l’intégrale dans la dernière expression de (2.3) avec une
moyenne des valeurs
imputées.
La procédure d’imputation comporte deux étapes principales. Nous générons
d’abord les valeurs imputées, en estimant
à l’aide d’une combinaison linéaire de fonctions de base B-spline. Nous
estimons ensuite la valeur de
en utilisant la méthode généralisée des moments (MGM), en remplaçant la
valeur
manquante par la valeur estimée de
en
fonction des valeurs estimées et de la relation (2.3). Pour officialiser la
procédure, nous avons besoin d’hypothèses précises sur la conception et le
mécanisme de réponse, que nous précisons à la section 2.1. La
section 2.2 explique l’estimation de la fonction quantile et la
section 2.3 décrit la méthode généralisée des moments (MGM). Les logiciels
de mise en œuvre des procédures sont disponibles auprès des auteurs.
2.1 Hypothèses sur la conception et le mécanisme de
réponse
Supposons que
est
l’indicateur d’appartenance à l’échantillon, défini par
si
l’unité
est
sélectionnée. Supposons que
et
représentent les probabilités d’inclusion de
premier ordre et de deuxième ordre, respectivement, définies par
La dépendance de
sur
dans (2.4) représente une
corrélation possible entre
et
qui peut rendre le plan
d’échantillonnage informatif pour le modèle de régression quantile (2.1). Nous indiquons l’échantillon
sélectionné par
où
Nous supposons que
est
observé pour toutes les
dans
tandis que
peut être manquant. Supposons que
est
l’indicateur de réponse, défini par
si
est
observé et
si
est
manquant. Supposons que
où
la probabilité de réponse
est
définie ainsi :
Pour définir une procédure d’imputation approximativement sans biais, nous
avons besoin d’une hypothèse sur la relation entre
et
Une
approche commune dans l’analyse des données manquantes consiste à présumer que
la variable de réponse,
est
indépendante de l’indicateur de valeur manquante,
conditionnellement aux valeurs observées
(Little, 1982; Pfeffermann, 2011). Cette hypothèse est une interprétation
largement utilisée de la RMH définie dans Rubin (1976), et clarifiée dans
Mealli et Rubin (2015). Pour une enquête complexe, la relation entre les
probabilités d’inclusion, les probabilités de réponse et
peut être complexe si les indicateurs de
réponse et les indicateurs d’inclusion de l’échantillon dépendent d’une
variable qui n’est pas incluse dans le modèle d’imputation.
Nous suivons
l’approche de Berg et coll. (2016) et examinons deux hypothèses relatives
à la relation entre
and
Nous définissons un échantillon manquant au hasard (EMH) comme suit :
En revanche, nous définissons une population manquant au
hasard (PMH) comme suit :
Berg et coll. (2016) discutent de situations où une
hypothèse de PMH peut être considérée comme raisonnable, et fournissent des
exemples où une hypothèse de PMH tient alors qu’une hypothèse d’EMH ne tient
pas. Si les probabilités de réponse et les probabilités d’inclusion de
l’échantillon dépendent d’une variable qui n’est pas incluse dans le modèle
d’imputation, alors une hypothèse de PMH peut tenir, alors que ce n’est pas le
cas pour une hypothèse d’EMH. Un exemple de variable qui peut être exclue du
modèle d’imputation est une variable de plan. L’analyste peut omettre une
variable de plan du modèle d’imputation si cette variable n’est pas disponible
à l’étape de l’imputation ou si le modèle d’imputation est un modèle spécialisé
qui établit un lien entre
et
Nous élaborons la procédure de
l’IRQ pour qu’elle soit suffisamment souple pour tenir compte soit de la PMH,
soit de l’EMH. Dans la pratique, l’analyste peut décider laquelle est plus
réaliste pour une application particulière. À la section 2.2, nous
expliquons précisément comment la nature de l’hypothèse de RMH peut avoir une incidence sur l’utilisation des poids
d’échantillonnage dans la procédure d’estimation. Dans la théorie de la section
3, nous nous concentrons sur la situation dans laquelle l’hypothèse (2.7) tient.
2.2 Régression quantile avec fonction B-Splines
pénalisées
Nous évaluons approximativement la fonction quantile définissant la
relation entre
et
dans la superpopulation avec une combinaison
linéaire de fonctions de base B-splines. Une fonction B-Spline de base d’ordre
couvre l’espace linéaire des polynômes par
morceaux de degré
à
dévirées continues jusqu’à l’ordre
Les
B-splines permettent d’améliorer l’efficacité de calcul par rapport à l’utilisation
directe de splines polynomiaux (Hastie,
Tibshirani et Friedman, 2009).
Pour définir une B-spline, nous empruntons la terminologie de Hastie,
Tibshirani, et Friedman (2009) et de Chen et Yu (2016). Supposons que
a
un support compact sur l’intervalle
Nous définissons les nœuds internes
espacés à des emplacements équidistants de
l’intervalle
par
pour
Nous définissons les nœuds limites
pour
par
pour
et
dénotons les nœuds limites à
par
pour
Les
fonctions B-spline de base du degré
pour la séquence de nœuds
sont les éléments du vecteur de dimension
où
est défini de façon récursive par des différences
divisées. De façon plus particulière,
et
pour
et
L’estimateur de la
fonction de régression quantile est défini par
où l’estimateur
est obtenu en minimisant la forme quadratique,
où
est un paramètre de lissage spécifié, et
et
sont définis comme suit. La fonction
au premier terme dans (2.12), est la fonction
de vérification de Koenker et Bassett (1978) définie par
La fonction de vérification de
Koenker (2.13) est un critère d’optimisation standard pour la régression
quantile parce que
minimise
la fonction
pour les
Le deuxième terme dans (2.12) impose une
pénalité de rugosité à la fonction de régression quantile estimée. La matrice
est la
matrice de la différence avec l’élément
où
est la fonction de choix. Lorsque
a une interprétation liée à
l’intégrale du carré de la deuxième dérivée de la fonction définie par la
fonction B-Spline. Comme la deuxième dérivée d’une ligne droite est zéro,
l’utilisation de
pour
réduit la fonction de régression
quantile estimée vers une ligne droite. Le choix approprié de
au premier terme dans (2.12)
dépend des hypothèses formulées au sujet du mécanisme de non-réponse. Si (2.6) tient,
on peut établir que
ce qui mène à l’équation
d’estimation non pondérée de Chen et Yu (2016). Si (2.6) n’est pas satisfaite, l’estimateur
non pondéré peut mener à un biais, et fixer
constitue une façon d’obtenir un
estimateur approximativement sans biais (Berg et coll., 2016). Nous nous
concentrons sur le choix conservateur de
qui permet d’obtenir des
estimateurs cohérents en fonction de (2.7) sans qu’il soit nécessaire de
satisfaire à (2.6).
Remarque 1. Par souci de simplicité, nous
considérons un
univarié avec support dans un
intervalle fermé. Chen et Yu (2016) montrent que la procédure s’étend
directement à un vecteur
dimensionnel
dont chaque élément a un support dans un
intervalle fermé. Pour étendre la procédure à un vecteur
Chen et Yu (2016) définissent
où
est le
élément de
pour
2.3 Estimation MGM fondée sur l’imputation par
régression quantile
Rappelons-nous que le paramètre d’intérêt de la population est défini par
l’équation d’estimation dans (2.2). Nous
définissons un estimateur d’échantillon complet de
par
où
est défini selon (2.12), et
indexe les éléments dans
L’estimateur défini dans (2.15) est un
estimateur MGM, selon lequel chaque élément de
définit un écart entre un moment
d’échantillonnage et le paramètre de population correspondant. Par exemple, si
alors
D’autres exemples sont fournis
dans l’étude en simulation de la section 5. Comme
n’est pas observée pour les
non-répondants, il est impossible d’arriver à
Une version imputée de (2.15) est définie en remplaçant
pour une unité non observée
par
un estimateur de la valeur attendue. En partant de (2.3), un estimateur de
est
où
Nous définissons ensuite l’estimateur
par
où
Pour un
spécifique, le
minimiseur de (2.16) a une expression en forme fermée. Dans le cas où
et
est l’estimateur de Hájek défini par
Dans d’autres situations, il n’existe peut-être pas
d’expression en forme fermée et il est possible d’utiliser des procédures
numériques standard, comme Newton-Raphson, pour minimiser (2.17). En dérivant
les résultats asymptotiques de la section 3, nous supposons que
est la valeur unique telle que
qui se rapporte à l’existence
d’un minimum unique dans (2.16). Voir Fuller (1996, page 252) pour une condition semblable et une discussion
de la théorie des estimateurs qui minimisent une forme quadratique.
Dans la pratique, une approximation de l’intégrale est requise. Nous
utilisons une approximation du point milieu (c’est-à-dire Nusser, Carriquiry,
Dodd et Fuller, 1996). Supposons que la séquence
constitue les points milieux des
sous-intervalles régulièrement espacés de [0,1] pour
Pour le non-répondant
des
valeurs imputées
sont construites,
où
est obtenu en minimisant
dans (2.12). Nous définissons l’estimateur
pour satisfaire à
où
est défini selon (2.12), et
La procédure d’imputation ci-dessus diffère de
Chen et Yu (2016) en ce sens que l’approximation du point milieu pour
l’intégrale est utilisée au lieu de l’intégration Monte Carlo. L’approximation
du point milieu et l’intégration de Monte Carlo sont toutes deux justifiées par
la transformation de l’intégrale de probabilité, qui relie l’espérance à la
fonction quantile conditionnelle, comme expliqué en (2.3). Pour les fonctions
avec dérivées secondes bornées, l’erreur dans l’approximation du point milieu
est
Nous préférons également
l’approximation du point milieu parce que dans les simulations, elle réduit la
variance de l’estimateur et réduit l’instabilité de l’estimateur de variance en
raison de quantiles extrêmes par rapport à la simulation de Monte Carlo. James
et Wang (2015) discutent du problème potentiel des estimateurs instables pour
les quantiles extrêmes des modèles de régression quantile non structurés.