Algorithme génétique de regroupement pour la stratification et la répartition simultanée de l’échantillon dans les plans de sondage
Section 3. Comparaison des algorithmes génétiques

• Précédent
• Suivant

Comparons maintenant l’AG initial et notre AGR à l’aide d’ensembles de données appartenant au domaine public. Sauf avis contraire, nous adoptons dans tous les cas que nous présentons les paramètres suivants pour les deux algorithmes génétiques : $N_P=20;$ $U_g\equiv \text{0,05};$ taux d’élitisme : 0,2; probabilité de mutation : 0,05.

3.1  Comparaison de l’ensemble de données sur l’iris

(Ballin et Barcaroli, 2013) utilisent l’ensemble de données sur l’iris (Anderson, 1935; Fisher, 1936; R Core Team, 2015) pour démontrer que, par l’AG qu’ils proposent, ils peuvent parvenir à la stratification optimale, c’est-à-dire à une stratification ou à un regroupement de strates atomiques qui donne une taille minimale d’échantillon. Cet ensemble est modeste et largement accessible. Il compte 150 observations pour cinq variables, à savoir la longueur et la largeur du sépale, la longueur et la largeur du pétale et l’espèce.

L’espèce est une variable catégorique à trois niveaux, iris soyeux, versicolore et de Virginie, chacun étant de 50 observations. Les quatre autres variables sont continues pour la longueur et la largeur en centimètres. Ballin et Barcaroli (2013) choisissent la longueur et la largeur du pétale comme variables d’intérêt, c’est-à-dire comme variables cibles. La longueur du sépale et l’espèce sont deux variables auxiliaires.

Ils convertissent la longueur du sépale en variable catégorique au moyen d’un algorithme à K moyennes (Hartigan et Wong, 1979) de manière à définir trois grappes (de 4,3 à moins de 5,5, de 5,5 à moins de 6,5, de 6,5 à 7,9). Le produit vectoriel entre l’espèce et la variante catégorique de la longueur du sépale engendre neuf strates atomiques. Il reste qu’une strate atomique est vide et sans valeurs correspondantes pour la longueur et la largeur du pétale. Il n’y a donc que huit strates atomiques exploitables dans cet exemple.

Nous reproduisons les strates atomiques initiales au tableau 3.1, où $M_g$ est la moyenne pour les valeurs $Y_g$ correspondantes dans chaque strate atomique $l_k$ et où $S_g$ est l’écart-type de population de cette strate. Il y a 4 140 partitions possibles des huit strates atomiques. Il est donc possible de vérifier dans un laps de temps raisonnable la taille d’échantillon dans tout l’espace de recherche à l’aide de la fonction bethel.r. Cela est déjà fait (Ballin et Barcaroli, 2013), et nous savons que la taille minimale d’échantillon est de 11.

Ce test peut servir à établir si, avec le nouvel AG, nous trouvons fidèlement la taille minimale sans avoir à explorer tout l’espace de recherche. Nous employons $N_p=10$ dans ce cas. La fonction bethel.r recherchera alors la taille minimale d’échantillon en nombres entiers plutôt qu’en nombres réels. Nous rangerons ensuite les chromosomes par taille d’échantillon en ordre croissant. Ainsi, nous reporterons les chromosomes de l’élite à la nouvelle itération et créerons les chromosomes restants par la méthode de recombinaison pour chaque algorithme.

Nous comparerons les nombres de chromosomes produits pour dégager la stratification optimale avec les deux algorithmes, tout comme le nombre d’itérations. Nous prévoyons que l’AGR sera plus efficace et mènera d’ordinaire à la solution optimale en moins d’itérations qu’avec l’AG.

Nous fixons le maximum d’itérations à 200, car si nous nous guidons sur Ballin et Barcaroli (2013), nous pouvons prévoir que les deux algorithmes trouveront la bonne solution en moins de 200 itérations. Nous avons donc ajouté un élément de code aux deux algorithmes pour qu’ils s’arrêtent lorsque la taille optimale d’échantillon, $n=11,$ est atteinte et qu’ils indiquent le nombre d’itérations exécutées jusqu’à ce point d’optimalité. Notre traitement est différent de celui de Ballin et Barcaroli (2013) qui mentionnent le nombre de fois en 10 expériences que l’AG trouve la bonne solution pour un nombre donné d’itérations à pas d’accroissement de 25 à 200. Nous pensons cependant que notre approche démontrera mieux que l’AGR peut trouver la bonne solution en moins d’itérations même dans l’expérience avec le petit ensemble de données sur l’iris.

Le tableau 3.2 indique le nombre d’itérations (et de chromosomes produits) ayant permis de trouver $n=11$ en 30 expériences avec les deux AG.

La figure 3.1 présente la distribution du nombre de chromosomes produits en vue de trouver la solution optimale avec l’AG et l’AGR. Les diagrammes en quartiles indiquent que l’AGR aura normalement à produire moins de chromosomes pour trouver la solution optimale.

Le tableau 3.3 illustre les stratifications avec l’AG et l’AGR dans la recherche de la taille optimale d’échantillon nécessaire au respect des contraintes de précision. Ballin et Barcaroli (2013) indiquent qu’un certain nombre de partitions sur les 4 140 partitions possibles mène à la taille minimale d’échantillon. Ces partitions sont d’une taille de 3 à 5 strates. On peut voir que l’AGR crée dans un plan de sondage des strates moins nombreuses et moins fragmentées. La même tendance peut s’observer dans les cas qui suivent.

3.2  Ensemble de données sur les municipalités suisses

L’ensemble de données présenté par Barcaroli (2014) porte sur les municipalités suisses en 2003. Chaque municipalité appartient à une de sept régions au niveau 2 de la Nomenclature des unités territoriales statistiques (NUTS), lequel correspond à l’échelon provincial. Chaque région compte un certain nombre de cantons ou de subdivisions administratives. On en dénombre 26 en Suisse. Les données, qui émanent de l’Office fédéral de la statistique suisse et figurent dans les paquets sampling et SamplingStrata, se composent de 2 896 observations (dont chacune vise une municipalité suisse en 2003). Il s’agit de 22 variables qui peuvent être examinées en détail dans Barcaroli (2014).

Les estimations cibles sont les totaux de population par catégorie d’âge dans chaque région suisse. Dans ce cas, les $G$ variables cibles seront les suivantes :

Y1 :   nombre d’hommes et de femmes âgés de 0 à 19 ans;

Y2 :   nombre d’hommes et de femmes âgés de 20 à 39 ans;

Y3 :   nombre d’hommes et de femmes âgés de 40 à 64 ans;

Y4 :   nombre d’hommes et de femmes âgés de 65 ans et plus.

Nous considérons six variables auxiliaires formées par la même méthode de classification automatique à K moyennes que pour l’ensemble de données sur l’iris :

X1 :   catégories de population totale dans la municipalité : 18;

X2 :   catégories de superficie boisée dans la municipalité : 3;

X3 :   catégories de superficie cultivée dans la municipalité : 3;

X4 :   catégories de superficie en pâturage de montagne dans la municipalité : 3;

X5 :   catégories de superficie bâtie dans la municipalité : 3;

X6 :   catégories de superficie industrielle dans la municipalité : 3.

Nous traitons sept régions comme domaines de population dans le plan de sondage pour les distinguer des strates dans ce même plan, ce qui reproduit l’expérience décrite dans Barcaroli (2014). Le nombre de strates atomiques non vides est de 641 dans la population. Nous fixons la taille minimale de population de strates à deux et le nombre maximal d’itérations à 400. La figure 3.2 récapitule les résultats pour la taille d’échantillon et les strates après 30 expériences et dans chaque cas avec 400 itérations.

La figure 3.2 indique clairement que l’AGR donne une taille d’échantillon inférieure à celle de l’AG pour ces paramètres. La médiane de 246 pour l’AGR le cède du quart à la médiane de 328 de l’AG.

3.3  Microdonnées à grande diffusion de l’American Community Survey en 2015

Les États-Unis réalisent un recensement décennal depuis 1790. Au XX^e siècle, ce recensement a reçu une version longue et une version courte. Un sous-ensemble de la population était tenu de répondre à la version longue et le reste, à la version courte. À la suite du recensement de l’an 2000, la version longue est devenue la reprise annuelle de l’American Community Survey ou ACS (US Census Bureau, 2013). Le fichier-échantillon de microdonnées à grande diffusion de l’ACS (Public Use Microdata Sample ou PUMS) dans US Census Bureau (2016) est un échantillon des réponses effectives à l’ACS qui correspond à 1 % de la population des États-Unis. Le fichier PUMS compte 1 496 678 enregistrements décrivant chacun un logement individuel ou collectif. Le nombre de variables est de 235. On peut consulter tout le dictionnaire des données dans US Census Bureau (2016). Nous avons choisi les variables cibles suivantes :

1. revenu du ménage (12 derniers mois);
2. valeur foncière;
3. certaines charges de propriété mensuelles;
4. assurance incendie/dommage habitation/inondation (montant annuel),

nos variables auxiliaires sont les suivantes :

1. logements constitutifs;
2. durée d’occupation;
3. expérience de travail du chef de ménage et du conjoint;
4. situation de travail du chef de ménage ou du conjoint dans les ménages familiaux;
5. combustible de chauffage domestique;
6. date de construction initiale.

Le fichier PUMS pour lequel toutes les valeurs sont présentées se compose de 619 747 enregistrements. Les 51 États américains (d’après les définitions du recensement) sont nos domaines.

Dans les courbes de convergence à la figure 3.3, le trait noir représente la taille d’échantillon optimale ou minimale pour la population de chromosomes dans chaque itération et le trait rouge, la taille moyenne d’échantillon correspondante.

L’AG semble réduire constamment la taille d’échantillon, mais sans atteindre de minimum local après 400 itérations. L’AGR paraît parvenir très rapidement à un minimum local ou global.

3.4  Données sur les prêts Kiva pour le défi Kaggle Data Science for Good

La plateforme en ligne de sociofinancement kiva.org présente un ensemble de données sur les prêts consentis en deux ans à des gens vivant dans des conditions de pauvreté et de marginalisation financière en vue d’un défi Kaggle Data Science for Good. Cet ensemble compte 671 205 enregistrements uniques. Nous avons choisi les variables cibles suivantes :

1. durée en mois;
2. nombre de prêteurs;
3. montant du prêt,

nos variables auxiliaires sont les suivantes :

1. secteur;
2. monnaie;
3. activité;
4. région;
5. partenariat,

le but est de créer des strates atomiques. Pour les variables en question, nous avons retranché tout enregistrement à valeurs manquantes. Nous avons ensuite retiré tout pays ayant moins de 10 enregistrements dans la base de sondage. La base résultante est de 614 361 enregistrements. La variable de codage de pays définit les 73 domaines du plan de sondage de cette expérience.

Le tableau 3.4 fait voir une diminution de 84,67 % de la taille d’échantillon et de 95,83 % du nombre de strates après 100 itérations. La figure 3.4 indique que, pour la même taille au départ de population de chromosomes dans le domaine 1 de l’ensemble de données sur les prêts Kiva, l’AGR parvenait à une bonne taille d’échantillon en moins de 100 itérations et que, après 10 000 itérations, l’AG n’avait pas encore convergé et la taille d’échantillon demeurait largement supérieure à celle de l’AGR.

3.5  Statistiques sur le commerce des produits de base des Nations Unies

Kaggle héberge aussi une copie des statistiques sur le commerce des produits de base de la Division de la statistique des Nations Unies. Celle-ci dispose d’enregistrements sur le commerce depuis 1962. Nous avons prélevé un sous-ensemble de données pour 2011 et retranché les enregistrements à observations manquantes. Nous avons ainsi obtenu un ensemble de données comptant 351 057 enregistrements. Nous avons choisi la variable cible suivante :

1. commerce (trade_usd)

pour la valeur de ce commerce en dollars américains. Nos variables auxiliaires sont les suivantes :

1. produit de base;
2. flux;
3. catégorie.

La variable produit de base est une description catégorique de la nature des produits de base (chevaux, vivants sans les pur-sang, par exemple). La variable flux décrit s’il y a importation, exportation, réimportation ou réexportation du produit de base. La variable catégorie décrit la catégorie (soie, engrais, etc.). Les 171 catégories de pays ou de régions ont été choisies comme domaines.

3.6  Données du recensement américain de l’an 2000

L’extrait de l’Integrated Public Use Microdata Series ou IPUMS est un échantillon à 5 % des données du recensement américain de l’an 2000 (Ruggles, Genadek, Goeken, Grover et Sobek, 2017). C’est un fichier de 6 184 483 enregistrements. Les données en question ressemblent fort aux données de l’ACS, puisque celle-ci est une version annuelle de cet ensemble. Pour cette expérience, nous choisissons toutefois des combinaisons différentes de variables cibles et auxiliaires. La seule variable cible dans ce test représente habituellement un grand sujet d’intérêt dans les enquêtes auprès des ménages :

1. revenu total du ménage.

Nos variables auxiliaires sont les suivantes (il s’agit de variables sans doute accessibles dans les données administratives) :

1. coût annuel en assurance sur les biens;
2. coût annuel en combustible de chauffage domestique;
3. coût annuel en électricité;
4. valeur de l’habitation.

La variable de la valeur de l’habitation (VALUEH) présente le point milieu des intervalles de valeur foncière (5 000 est le point milieu de l’intervalle moins de 10 000), aussi en avons-nous fait une variable catégorique. Comme pour l’ensemble de données PUMS de l’ACS en 2015, nous avons prélevé un sous-ensemble pour lequel toutes les valeurs sont présentes. Le sous-ensemble dégagé compte 627 611 enregistrements. La région et la division de recensement forment le domaine dans cette expérience.

Les résultats font voir une taille d’échantillon de 3 446 avec l’AGR et de 477 493 avec l’AG après 100 itérations.

• Précédent
• Page principale de l'article
• Suivant