Modélisation de séries chronologiques multiniveaux de la couverture des soins prénataux au Bangladesh à des niveaux administratifs désagrégés
Section 7. Évaluation des modèles

• Précédent
• Suivant

Dans la présente étude, les modèles ont été sélectionnés à partir du critère d’information Watanabe-Akaike (WAIC), du critère d’information de défiance (DIC) et de comparaisons graphiques de leurs prédictions de tendances à trois niveaux hiérarchiques. En plus de ces diagnostics de modèles, trois mesures de divergence sont définies pour évaluer et comparer les modèles de séries chronologiques multiniveaux. Les deux premières mesures sont le biais relatif (BR) et le biais relatif absolu (BRA), qui expriment les différences entre les estimations du modèle et les estimations directes, en pourcentage de ces dernières. Pour un modèle donné, ${\text{BR}}_{it}$ et ${\text{BRA}}_{it}$ pour le domaine $i$ et l’année (d’enquête) $t$ sont définis comme suit : 

$${\text{BR}}_{it}\mathrm{<mo>=</mo>}\frac{\mathrm{<mo\; stretchy="false">(</mo>}{\widehat{\theta }}_{it}-{\widehat{Y}}_{it}\mathrm{<mo\; stretchy="false">)</mo>}}{{\widehat{Y}}_{it}}\times 100\mathrm{<mi>\%</mi>},(7.1)$$

$${\text{BRA}}_{it}\mathrm{<mo>=</mo>}\frac{\left|{\widehat{\theta }}_{it}-{\widehat{Y}}_{it}\right|}{{\widehat{Y}}_{it}}\times 100\mathrm{<mi>\%</mi>}(7.2)$$

${\widehat{\theta }}_{it}$ étant la prédiction du modèle et ${\widehat{Y}}_{it}$ l’estimation directe. La troisième mesure de divergence est la réduction relative des erreurs-types (RRET), qui mesure le pourcentage de réduction de l’erreur-type des estimations fondées sur un modèle par rapport aux estimations directes, à savoir 

$${\text{RRET}}_{it}=100\mathrm{<mi>\%</mi>}\times \left(\text{se}\mathrm{<mo\; stretchy="false">(</mo>}{\widehat{Y}}_{it}\mathrm{<mo\; stretchy="false">)</mo>}-\text{se}\mathrm{<mo\; stretchy="false">(</mo>}{\widehat{\theta }}_{it}\mathrm{<mo\; stretchy="false">)</mo>}\right)/\text{se}\mathrm{<mo\; stretchy="false">(</mo>}{\widehat{Y}}_{it}\mathrm{<mo\; stretchy="false">)</mo>}\mathrm{.}(7.3)$$

La mesure de la RRET ne doit pas être interprétée de façon trop stricte, étant donné que les erreurs-types fondées sur le plan et sur le modèle sont des quantités conceptuellement différentes. Il reste que toutes deux sont couramment utilisées comme mesures de l’incertitude, et une fois que des modèles raisonnables qui tiennent suffisamment compte des variations à tous les niveaux d’intérêt ont été sélectionnés, à partir d’autres critères, l’utilisation de la RRET comme une des mesures de comparaison est intéressante.

Ces trois mesures de divergence sont calculées au niveau du pays, de la division et du district (ce dernier étant le plus détaillé). Les distributions de ces mesures sont présentées selon la valeur minimale, le 1^er quartile $(Q_1),$ la médiane, la moyenne, le 3^e quartile $(Q_3)$ et la valeur maximale.

De plus, le taux de couverture observé (TC exprimé en %) pour l’intervalle de confiance de 95 % des modèles de MTS et de F-H transversaux considérés est calculé au niveau des divisions et des districts en déterminant si l’IC de 95 % estimé de ${\widehat{\theta }}_{it}$ contient les estimations directes $({\widehat{Y}}_{it}).$ La couverture au niveau du district est le pourcentage de combinaisons de district par année (environ $7\times 64$ domaines) où l’estimation directe est incluse dans l’IC de ${\widehat{\theta }}_{it}.$ La couverture au niveau de la division est le pourcentage de combinaisons de division par année (environ $7\times 7$ domaines) où l’estimation directe est incluse dans l’IC de ${\widehat{\theta }}_{it}.$ On définit les taux de couverture de la même façon pour chaque année d’enquête en établissant la moyenne sur tous les districts disponibles pour une année d’enquête donnée. Enfin, on calcule la couverture séparément pour chaque division en établissant la moyenne sur les sept années d’enquête.

Les distributions de ${\text{BR}}_{it}$ (7.1), ${\text{BRA}}_{it}$ (7.2) et ${\text{RRET}}_{it}$ (7.3) pour trois niveaux administratifs sont fournies dans les tableaux 7.1, 7.2 et 7.3 pour ce qui est d’ANC0 et ANC4 pour les modèles de F-H transversaux, MTS-I, MTS-II et MTS-III. Le tableau 7.1 montre que les modèles de F-H et de MTS-I fournissent un BR moyen inférieur pour ANC0 et ANC4 aux trois niveaux, tandis que MTS-II donne un BR moyen légèrement inférieur par rapport au modèle de MTS-III au niveau du district. Les distributions du BRA du tableau 7.2 montrent que les performances de MTS-II se situent entre celles de MTS-I et de MTS-III pour tous les niveaux administratifs, sauf à l’échelle nationale pour ANC4. Les valeurs du BRA les plus faibles s’observent dans le modèle de F-H transversal. On constate aussi que le BRA augmente à mesure que la taille de l’échantillon du domaine diminue. Le tableau 7.3 montre que MTS-II a les valeurs de RRET les plus élevées au niveau du pays et de la division, tandis qu’au niveau du district, ce modèle donne une RRET légèrement inférieure au modèle de MTS-III pour ANC0 et ANC4. La réduction de la variance augmente quand la taille des échantillons de domaine diminue. Les erreurs-types pour les tendances au niveau du pays et de la division sont plus petites dans MTS-II que dans MTS-III parce que dans MTS-II, les covariances entre les prédictions transversales de F-H au niveau du district dans les séries de données d’entrée sont ignorées. Ces covariances sont majoritairement positives et, par conséquent, les erreurs-types des tendances aux niveaux agrégés sont plus élevées et plus réalistes dans MTS-III. Les valeurs plus élevées de BR, de BRA et de RRET pour les modèles MTS-II et MTS-III sont une conséquence des tendances plus lisses obtenues au moyen des deux modèles. Les petites variances en présence de tendances lisses signifient un plus grand nombre de biais comparativement aux estimations directes. Comme nous l’avons vu à la section 6, ces tendances sont plus plausibles comparativement au modèle transversal de F-H et au modèle de MTS-I, puisque d’un point de vue spécialisé, on attend une diminution lisse pour ANC0 et une augmentation lisse pour ANC4.

Cette conclusion est confirmée par les valeurs de TC indiquées dans le tableau 7.4. Les TC pour les modèles de F-H transversaux sont trop élevés, ce qui indique que les prédictions de F-H tendent trop vers les estimations directes. Les niveaux de TC sont raisonnablement bons pour MTS-I, considérablement plus bas pour MTS-II et les plus bas pour MTS-III. Les taux de couverture plus faibles de MTS-II et de MTS-III au niveau du district se traduisent par les valeurs correspondantes plus élevées du BRA et de la RRET. Ces résultats montrent que les prédictions du modèle de MTS-I sont plus volatiles et tendent vers les estimations directes, que les prédictions du modèle MTS-III sont fortement lissées et que celles du modèle MTS-II semblent constituer un compromis raisonnable entre les prédictions du modèle de MTS-I et du modèle de MTS-III, en particulier au niveau des districts.

• Précédent
• Page principale de l'article
• Suivant