Techniques d’enquête

Cet article présente les onze articles inclus dans ce numéro spécial pour la célébration du 50^e anniversaire de la revue Techniques d’enquête.

Dans le présent article, on examine la science des enquêtes à la lumière de notions importantes de la philosophie de la science : progrès, paradigme, tradition de recherche, programmes de recherche. L’article est conceptuel et exploratoire, plutôt que mathématique et technique.

Cela se fait dans un contexte où la science des enquêtes doit progresser dans des conditions inhabituelles et difficiles. La société évolue, et les taux de non-réponse aux enquêtes sont élevés. Les enquêtes par échantillonnage probabiliste sont remises en question, car elles sont jugées trop coûteuses. Les mégadonnées et les autres sources de données peu coûteuses doivent, de l’avis de certains, être intégrées à la production de statistiques dans les organismes nationaux de statistique.

Une tradition de recherche dynamique a permis à la science des enquêtes de réaliser des progrès depuis plus de cent ans. L’article revient sur certains de ces progrès et tente de prévoir de quelle façon la tradition pourrait se perpétuer et permettre de relever les défis des décennies à venir.

La science des enquêtes semble être dans un état critique et son orientation future est incertaine. Le présent article établit un diagnostic de la situation et pose d’importantes questions aux chercheurs et aux utilisateurs des enquêtes. Mes réflexions portent sur le rôle du plan dans la science des enquêtes et sur les répercussions des données recueillies sans considération pour le plan.

Dans son essai sur les défis que pose le paradigme des enquêtes par échantillonnage probabiliste (ou la tradition de recherche), Carl-Erik Särndal cite l’article que j’ai rédigé en 2014 et qui a été publié dans la présente revue, et dans lequel j’insiste sur la nécessité d’adopter un paradigme de sources de données multiples (ou de données mélangées). Mon intention n’est pas de déclasser les enquêtes probabilistes, mais de les combiner avec les dossiers administratifs et d’autres sources afin d’améliorer la qualité et la pertinence des données. Depuis la rédaction de l’article cité, les États-Unis ont réalisé des progrès en matière de données mélangées.

La tentative de replacer les préoccupations actuelles concernant l’avenir des enquêtes statistiques dans le contexte de l’histoire et de la philosophie des sciences n’offre que peu d’indications précises sur la voie à suivre. Toutefois, il faut remercier l’auteur d’avoir fait part de ses réflexions et favorisé de nouvelles solutions.

Dans son article, le professeur Carl-Erik Särndal présente, pour la statistique fondée sur un échantillon, un nouveau cadre conceptuel fondé sur quelques hypothèses clés seulement. Dans mon commentaire, je traite brièvement de certains aspects de la tradition de recherche en science des enquêtes.

Dans son article, Särndal passe en revue les aspects scientifiques de l’élaboration de la théorie de l’échantillonnage. Au regard des multiples changements qui ont touché ce domaine, certains chercheurs ont préconisé l’adoption d’un nouveau paradigme. Après une analyse minutieuse, Särndal affirme qu’il existe une solide tradition de recherche ancrée dans des hypothèses au sujet des populations finies et de la possibilité de les caractériser au moyen d’un seul échantillon. Au sein de ce cadre, la recherche et le changement sont encore possibles, mais le paradigme demeurerait essentiellement le même. Dans mon analyse de cet article, après avoir fourni des précisions sur le contexte des organismes nationaux de statistique (surtout celui de Statistique Canada), je partage l’avis de l’auteur sur de nombreux points, et je me demande si nous assistons à un changement de paradigme méthodologique plutôt qu’à un changement de paradigme statistique. Par ailleurs, j’indique quelques voies d’avenir.

Les commentaires qui suivent portent sur l’article intitulé « Progrès de la science et de la pratique des enquêtes : hier, aujourd’hui et demain » de C.-E. Särndal. Ils portent sur les principes fondamentaux de l’échantillonnage probabiliste, les avancées résultant d’approches d’inférence concurrentes, les liens avec d’autres aspects de la statistique, ainsi que les données au 21^e siècle.

Cette réponse est organisée sous forme d’une série de thèmes ou d’enjeux, inspirés de l’article original et abordés, à divers degrés, dans les six discussions. Thèmes abordés : échantillonnage probabiliste et autres paradigmes en science des enquêtes; rôle des instituts nationaux de statistique dans la croissance de la science des enquêtes; récentes avancées dans l’utilisation des données administratives dans la production de statistiques, avec multiples intrants de données; la tradition de recherche : une population finie et un échantillon approprié; sensibilisation accrue, au cours des dernières décennies, à cette tradition et à ses ramifications; volet théorique et rôle du secteur universitaire; tentatives, au fil du temps, de résoudre des problèmes; imperfections dans la collecte des données, et dans l’échantillon réalisé; traitement de la non-réponse, collecte adaptative, enquêtes par panel; réalpolitik en matière de production nationale de statistiques : approche réaliste pour répondre aux demandes urgentes de renseignements statistiques.

Rao (1999) a résumé les tendances de la théorie et de la méthodologie des enquêtes par sondage au tournant du siècle. Nous présentons un examen à jour de certaines tendances actuelles relatives aux plans d’enquête et aux méthodes d’estimation pour le 50^e anniversaire de Techniques d’enquête. On observe, parmi les récentes innovations dans les plans d’enquête, la recherche sur l’anticipation des erreurs non dues à l’échantillonnage à l’étape de la conception et l’élaboration de plans d’échantillonnage adaptatif et équilibré pour profiter des renseignements détaillés de la base de sondage ou des données recueillies pendant le processus de l’enquête. Les méthodes non paramétriques et les méthodes d’apprentissage automatique sont de plus en plus utilisées pour la vérification des données de même que pour l’estimation assistée par un modèle et les ajustements pour la non-réponse. Des modèles d’estimation sur petits domaines ont été élargis pour y intégrer des renseignements spatiaux et des renseignements tirés de séries chronologiques, augmenter la souplesse et la robustesse des modèles de couplage et de variance, procéder à un étalonnage selon des estimateurs directs sur grands domaines et (pour les modèles au niveau de l’unité) tenir compte des plans d’échantillonnage informatif. La disponibilité croissante de vastes ensembles de données administratives, de données de capteurs, de données satellitaires et d’échantillons de commodité a stimulé la recherche sur la façon d’utiliser ces sources ‒ à elles seules et lorsqu’elles sont intégrées dans des échantillons probabilistes. Nous concluons en abordant certaines frontières de la recherche sur les enquêtes.

Cette discussion de l’article de Rao et Lohr se concentre sur l’utilisation de procédures d’apprentissage automatique pour estimer les paramètres d’une population finie. Bien que ces méthodes suscitent un intérêt croissant au sein des instituts nationaux de statistique, plusieurs domaines restent largement inexplorés et devront recevoir une attention particulière dans les années à venir. Dans cette discussion, je souligne les sujets potentiels pour des travaux de recherche et développement futurs dans ce domaine en évolution rapide.

Dans le présent exposé, nous complétons l’excellent aperçu fourni par les professeurs Lohr et Rao en abordant quelques sujets supplémentaires. Le premier sujet constitue un appel à une plus grande reconnaissance du rôle central de la modélisation dans l’estimation par enquête. Le second est un bref exposé sur l’utilisation de renseignements partiels sur la base de sondage dans le plan d’enquête. Finalement, nous attirons l’attention sur les augmentations récentes des méthodes synthétiques, en particulier la régression multiniveau et la poststratification (RMP) dans les applications d’estimation sur petits domaines.

Le présent article porte sur certaines avancées réalisées au chapitre des plans d’enquête et de l’estimation et s’inspire de l’évaluation exhaustive des professeurs Jon Rao et Sharon Lohr sur les tendances actuelles dans ce domaine. Il traite de trois sujets en particulier, à savoir l’échantillonnage équilibré, le calage et l’estimation sur petits domaines. Les méthodes d’échantillonnage équilibré probabilistes, telles que la méthode du cube et l’échantillonnage équilibré pénalisé, sont explorées, en mettant l’accent sur la résolution des défis émergents, notamment les extensions aux modèles mixtes linéaires, aux modèles de régression non paramétriques et aux plans d’échantillonnage spatialement équilibrés. Le calage est discuté à l’aide d’un cadre modulaire qui intègre des techniques de régression modernes et met en évidence des utilisations novatrices du calage assisté par un modèle pour la vérification des données et l’inférence causale. L’estimation sur petits domaines dans le contexte de la modélisation par variables latentes et de l’intégration des données est étudiée en mettant l’accent sur son rôle quand la ou les variables d’intérêt ne peuvent être mesurées directement ou sans erreur. Les applications de l’intégration des données probabilistes et non probabilistes et de l’analyse causale à l’échelle locale sont également examinées.

Les participants à la discussion mettent en évidence des sujets de recherche prometteurs pour améliorer la qualité et la granularité des estimations d’enquêtes. Nous convenons qu’une recherche continue est nécessaire pour évaluer les modèles utilisés aux fins d’inférence, et proposons d’élaborer des mesures de dépendance au modèle.

Le nombre d’utilisateurs de mégadonnées et la communauté de recherche sur les mégadonnées croissent rapidement. Les statisticiens en général semblent se diviser en deux groupes : ceux qui sont enthousiastes et ceux qui sont inquiets, voire carrément hostiles. Les mégadonnées représentent-elles également un grand pas en avant, qui ferait vraiment augmenter notre capacité à extraire des renseignements significatifs et une connaissance réelle des données ? Les mégadonnées minimisent-elles l’inférence statistique traditionnelle comme nous la connaissons, en remplaçant la technique d’enquête par une option futuriste à faible coût ? Dans le présent document, je vais tenter de mettre en lumière la relation complexe qui lie les mégadonnées à la méthodologie d’échantillonnage. En expliquant au départ les raisons pour lesquelles il devrait être intéressant d’évaluer les mégadonnées du point de vue d’un statisticien spécialiste de l’échantillonnage, je vais approfondir la définition plutôt ambiguë des mégadonnées et faire état de quelques considérations et points de vue très personnels sur le sujet. Au cours de ce processus, plusieurs questions ouvertes surgiront lors de la discussion d’une sélection personnelle d’idées traçables à travers le vaste ensemble de littérature sur la statistique portant sur les mégadonnées et la méthodologie d’échantillonnage. L’exposé portera sur différents aspects qui seront étudiés en fonction de neuf points clés. Il se conclura par une perspective tournée vers l’avenir sur un défi important auquel devront faire face de futurs travaux de recherche : la prise en compte des hypothèses solides nécessaires pour gérer les écarts par rapport à une collecte de données purement aléatoire.

Les budgets plus restreints, la diminution continue des taux de réponse dans les enquêtes probabilistes classiques et une pression croissante par les utilisateurs pour des données plus actuelles sont tous des facteurs qui ont stimulé la recherche sur l’utilisation de données-échantillons non probabilistes, comme les dossiers administratifs, le moissonnage du Web, les données des téléphones mobiles et les enquêtes volontaires sur Internet, pour faire des inférences sur les paramètres de population finie comme les moyennes et les totaux. Ces données sont souvent plus faciles, plus rapides et moins coûteuses à recueillir que les échantillons probabilistes classiques. Cependant, une des préoccupations majeures avec l’utilisation de ce type de données est leur non-représentativité due à un biais de sélection possible qui, s’il n’est pas pris en compte de manière appropriée, pourrait biaiser l’inférence. Dans le présent article, nous examinons et exposons les méthodes proposées dans la littérature pour régler ce problème et proposons de nouvelles méthodes, en faisant la différence entre des méthodes qui reposent sur l’intégration de l’échantillon non probabiliste avec un échantillon probabiliste approprié, et des méthodes pour lesquelles l’inférence repose uniquement sur l’échantillon non probabiliste. Des illustrations empiriques, qui reposent sur des données simulées, sont fournies.

Nous présentons une approche novatrice d’estimation par calage assistée par un modèle dans l’échantillonnage au moyen du calage par entropie généralisée. La méthode s’appuie sur le récent travail de Kwon, Kim et Qiu (2024) et l’étend à un cadre assisté par un modèle. Contrairement aux techniques de calage traditionnelles, cette approche prend en compte une fonction d’entropie généralisée comme objectif d’optimisation et incorpore une contrainte de calage éliminant le biais pour assurer la convergence par rapport au plan. L’estimateur proposé démontre une équivalence asymptotique à un estimateur augmenté par la régression généralisée. Il permet une variance du modèle inégale, ce qui peut améliorer l’efficacité lorsque le plan d’échantillonnage est informatif. L’article présente des justifications de la méthode fondées sur le plan et fondées sur le modèle, ainsi que les propriétés asymptotiques et les techniques d’estimation de la variance. Les aspects computationnels sont analysés, y compris l’approche d’optimisation non contrainte qui facilite la mise en œuvre, notamment pour les variables auxiliaires de grande dimension. Le rendement de la méthode est évalué au moyen d’une étude par simulation, démontrant son efficacité quant à l’amélioration de l’efficacité de l’estimation, particulièrement lorsque le plan d’échantillonnage est informatif.

Les spécialistes des enquêtes ont de plus en plus adopté les avantages des techniques modernes d’apprentissage automatique, y compris les algorithmes arborescents de classification et de régression, dans la création d’ajustements pour la non-réponse. Ces méthodes, lesquelles ne nécessitent pas de relation fonctionnelle prédéfinie entre les résultats et les prédicteurs, offrent un moyen pratique de procéder à la sélection des variables et d’établir des structures interprétables qui lient la propension à répondre aux variables explicatives. Toutefois, lors de l’application de ces algorithmes aux données d’enquête, il arrive couramment que l’on néglige des facteurs décisifs, comme les poids d’échantillonnage, ainsi que les caractéristiques du plan d’échantillonnage, telles que la stratification et le partitionnement. Pour combler cette lacune, nous proposons une extension de l’approche de la détection automatique d’interactions du khi carré (CHAID) et nous décrivons les propriétés asymptotiques fondées sur le plan de la méthode « CHAID pour les enquêtes » qui en résulte. Pour faciliter son utilisation pratique, nous intégrons une correction de Rao-Scott dans le critère de fractionnement pour tenir compte du plan d’enquête. À l’aide de données de l’American Community Survey, nous illustrons l’utilisation de la méthode et évaluons son rendement en le comparant à celui d’algorithmes pondérés et non pondérés existants.

Dans la présente étude, nous calculons un estimateur d’erreur quadratique moyenne de prédiction (EQMP) sans biais (ou quasiment sans biais) de deuxième ordre du meilleur prédicteur linéaire sans biais empirique d’une moyenne de petits domaines pour une extension semi-paramétrique du modèle bien connu de Fay-Herriot. En particulier, nous calculons notre estimateur d’EQMP essentiellement en supposant certaines conditions sur les moments pour les erreurs d’échantillonnage et les distributions d’effets aléatoires. L’estimateur d’EQMP de Prasad-Rao fondé sur l’hypothèse de normalité présente une propriété surprenante de robustesse en ce qu’il demeure sans biais au deuxième ordre sous l’hypothèse de non-normalité d’effets aléatoires lorsqu’un estimateur de méthode des moments simple de Prasad-Rao est utilisé pour la composante de variance et que la distribution de l’erreur d’échantillonnage est normale. Nous montrons que l’estimateur d’EQMP fondé sur l’hypothèse de normalité n’est plus sans biais de deuxième ordre lorsque la distribution de l’erreur d’échantillonnage présente un aplatissement non nul ou lorsque la méthode des moments de Fay-Herriot est utilisée pour estimer la composante de variance, même lorsque la distribution de l’erreur d’échantillonnage est normale. Il est intéressant de souligner que lors de l’utilisation de l’estimateur de méthode des moments simple pour la composante de variance, l’estimateur d’EQMP que nous proposons ne nécessite pas d’estimation de l’aplatissement des effets aléatoires. Nous présentons également les résultats d’une étude par simulation sur l’exactitude de l’estimateur d’EQMP proposé, en cas de non-normalité des distributions d’échantillonnage et des effets aléatoires.

La collecte de données d’enquête est souvent limitée par une non-réponse totale ou partielle. Pour réduire la dépendance à des hypothèses robustes relatives aux mécanismes d’absence de données, les statisticiens peuvent utiliser des renseignements sur les distributions marginales de population connues, par exemple, découlant de recensements ou de bases de données administratives. Une approche en ce sens est le recours au cadre de données manquantes avec marges auxiliaires, qui repose sur l’imputation multiple à la fois pour la non-réponse totale et la non-réponse partielle, de sorte que les estimations pondérées par les poids d’enquête correspondent aux distributions marginales connues. Toutefois, ce cadre repose sur la spécification et l’estimation d’une distribution conjointe pour les indicateurs de données d’enquête et de non-réponse, ce qui peut présenter des défis du point de vue du calcul et de la pratique pour des données comportant de nombreuses variables de divers types. Nous proposons deux adaptations du cadre de données manquantes avec marges auxiliaires afin de simplifier la tâche d’imputation. Tout d’abord, plutôt que de préciser un modèle conjoint pour les données des unités répondantes, nous avons recours à une imputation hot deck aléatoire tout en utilisant toujours les distributions marginales connues. Ensuite, plutôt qu’un échantillonnage à partir de distributions conditionnelles découlant du modèle conjoint pour les données manquantes dues à une non-réponse partielle, nous appliquons une imputation multiple par équations en séries pour la non-réponse partielle avant une imputation pour la non-réponse totale. À l’aide d’études par simulations avec des mécanismes de données manquantes non ignorables, nous démontrons que la démarche proposée peut fournir des estimations ponctuelles et par intervalle plus exactes que des modèles ne tirant pas profit de l’information auxiliaire. Nous illustrons cette démarche à l’aide de données relatives à la participation électorale tirée de la Current Population Survey des États-Unis.

Ces dernières années, l’apprentissage automatique a suscité un vif intérêt dans les organismes nationaux de statistique. Grâce à leur souplesse, ces méthodes peuvent s’avérer utiles lors du traitement de la non-réponse. Dans cet article, nous menons une enquête empirique afin de comparer le biais et l’efficacité de plusieurs procédures d’apprentissage automatique. En plus des procédures classiques d’apprentissage automatique, nous évaluons le rendement des approches d’agrégation qui s’appuient sur différentes procédures d’apprentissage automatique pour produire un ensemble de poids ajustés pour la non-réponse.

Ivan Fellegi est un spécialiste de la science statistique et un fonctionnaire ayant été statisticien en chef du Canada de 1985 à 2008. Le présent article relate brièvement sa jeunesse, sa longue carrière et ses contributions influentes dans le domaine de la recherche. Il comprend une entrevue menée en février 2017 pour marquer les 60 ans de carrière d’Ivan Fellegi à Statistique Canada.

Geoffrey J.C. Hole (ou Geoff, diminutif qu’il affectionne) est né le 24 janvier 1940 à Shardeloes, Amersham, Buckinghamshire, Angleterre, fils de Charles William Hole et Sybil Winifred Hole, née Morge. Diplômé de 1^er cycle en mathématiques en 1961, il a fait des études supérieures en statistique à l’Université de Manchester l’année suivante. Il a ensuite entamé sa carrière de statisticien-mathématicien à Londres, en Angleterre, travaillant successivement pour le National Coal Board (1962-63), le Central Electricity Generating Board (1963-66) et l’Electricity Council (1966-67), à titre d’économiste. Recruté par le Bureau fédéral de la statistique (BFS) sur un poste de méthodologiste d’enquête, il a émigré au Canada en 1967. En 1971-72, il a été Chef des opérations du Recensement, Section de la méthodologie et du contrôle de la qualité, et coordonnateur adjoint, Section des méthodes d’enquêtes socio-économiques. Il a ensuite profité d’un congé de perfectionnement pour faire une maîtrise en statistique (Econ) à la London School of Economics. En 1973, Geoff est revenu au BFS, devenu Statistique Canada, en tant que Chef, Groupe de méthodologie V, Division des méthodes d’enquêtes auprès des entreprises. En 1974, il a été nommé Directeur, Division des méthodes d’enquêtes - institutions et agriculture et, à compter de 1986, il a été Directeur, Division des méthodes d’enquêtes auprès des entreprises. Sa carrière a atteint son apogée lorsqu’il est devenu Directeur, Division des méthodes d’enquêtes sociales, en 1987. Il a occupé ce poste jusqu’à sa retraite, le 29 septembre 2004. En plus de ses longs états de service à Statistique Canada, y compris comme membre du Comité de rédaction de la revue Techniques d’enquête de 1983 à 1987, Geoff a été très actif au sein de la Société statistique du Canada (SSC), entre autres en tant que président du Comité du programme du congrès annuel de 1986 au Centre Banff, en Alberta, et président de la SSC en 1989-90. Il a aussi présidé le Comité de programme d’un congrès conjoint de l’Association internationale des statisticiens d’enquêtes et de l’Association internationale pour les statistiques officielles tenu à Aguascalientes, au Mexique, en 1998.