Publications

    Statistique Canada : Lignes directrices concernant la qualité

    Couverture et bases de sondage

    Warning Consulter la version la plus récente.

    Information archivée dans le Web

    L’information dont il est indiqué qu’elle est archivée est fournie à des fins de référence, de recherche ou de tenue de documents. Elle n’est pas assujettie aux normes Web du gouvernement du Canada et elle n’a pas été modifiée ou mise à jour depuis son archivage. Pour obtenir cette information dans un autre format, veuillez communiquer avec nous.

    Portée et objet
    Principes
    Lignes directrices
    Indicateurs de qualité
    Bibliographie

    Portée et objet

    La population cible est l'ensemble des unités sur lesquelles on désire obtenir des renseignements et pour lesquelles il faut produire des estimations. Il se peut que certains facteurs d'ordre pratique obligent le chercheur à définir la population observée en excluant des unités de la population cible; la population observée peut aussi comporter des unités définies différemment de manière à permettre l'accès à la population cible.

    La base de sondage est une liste, un document ou un dispositif qui délimite et identifie les éléments de la population observée, en plus d'y donner accès. De façon générale, les bases de sondage entrent dans deux grandes catégories : les bases aréolaires et les bases listes. La base liste est composée d'une liste d'unités faisant partie de la population observée. La base aréolaire est habituellement composée d'une hiérarchie d'unités géographiques parmi lesquelles se trouvent des unités de la population observée; en d'autres termes, il est possible de subdiviser les unités qui se situent à un niveau de cette base pour former les unités du niveau suivant. Lorsqu'ils sont conjugués,  les éléments de la base aréolaire forment la population de la base de sondage.Dans bien des cas, les bases de sondage sont bien plus que de simples listes d'unités ou que des cartes indiquant les limites des unités géographiques. Le plus souvent, elles fournissent d'autres renseignements (p. ex., identification, personnes-ressources, classification, adresse, taille, cartes relatives aux unités géographiques) qui serviront aux fins de l'enquête.

    La couverture correspond au degré d'exhaustivité des renseignements relatifs à la population cible. Il serait possible de dériver ces renseignements si l'enquête portait sur l'ensemble des unités de la base de sondage. Les erreurs de couverture sont des divergences entre les statistiques sur la population cible et celles sur la population de la base de sondage. Ces erreurs sont attribuables au sous-dénombrement (surdénombrement) de la population cible dans la base de sondage, ainsi qu'aux erreurs survenant dans le cadre des opérations de l'enquête. Les erreurs de couverture se traduisent par des écarts entre les estimations des éléments réellement couverts par l'enquête et ceux que l'on prévoyait estimer. Elles touchent autant la dimension spatiale que temporelle.

    Principes

    Il doit exister une concordance raisonnable entre la population observée et la population cible pour que les résultats de l'enquête soient pertinents

    De m ême, la base de sondage devrait se conformer à la population observée. Toute erreur de couverture dans la base de sondage (p. ex., omissions d'unités visées par l'enquête, inclusion d'unités hors champ, erreurs de classification des unités et enregistrement en double de certaines unités) risque de compliquer le processus d'enquête et d'entraîner, par le fait même, une hausse de ses coûts, ainsi qu'une diminution de l'actualité et de l'exactitude de ses estimations (à cause de biais et de variances).

    Les donn ées de la base de sondage doivent être exactes et à jour, car elles servent à la stratification, à la sélection des échantillons, à la collecte, au suivi, au traitement des données, à l'imputation, aux estimations, au couplage des enregistrements, à l'évaluation de la qualité et aux analyses. Si ces données présentent des erreurs, cela entraînera probablement un biais ou une diminution de la fiabilité des estimations de l'enquête ainsi qu'une augmentation des coûts de collecte des données.

    La conception et les op érations des enquêtes doivent comporter des procédures visant à réduire le plus possible les erreurs de couverture et leurs répercussions.

    Lignes directrices

    Conception

    • À l'étape de la planification de l'enquête, mettre des bases de sondage potentielles à l'essai, afin d'en évaluer la pertinence et la qualité. Évaluer la couverture de la base de sondage et des unités de collecte cibles.

    • Si aucune base de sondage ne peut assurer, à elle seule, la couverture de la population cible telle que requise, se tourner vers une approche méthodologique qui repose sur des bases de sondage multiples (combinaison de deux bases de sondage ou plus). Il peut s'agir, par exemple, de jumeler une base liste et une base aréolaire ou encore deux bases listes ou plus. Avant de recourir à cette approche, il faut toutefois s'assurer qu'aucune base de sondage ne peut assurer, à elle seule, une couverture suffisante. Par ailleurs, il est permis d'y recourir lorsqu'on ne peut se servir des bases de sondages existantes, soit parce qu'elles sont incomplètes, bien qu'abordables sur le plan des dépenses, ou, au contraire, qu'elles sont trop onéreuses bien qu'exhaustives.

    • Lors des enquêtes téléphoniques, envisager la méthode de composition aléatoire (CA), qu'elle soit employée seule ou en conjonction avec d'autres bases aréolaires ou bases listes.

    • Il arrive parfois qu'on ne dispose d'aucune base de sondage qui réponde à la fois aux exigences économique et statistique de l'enquête, c'est-à-dire qui permette de traiter la population d'unités auxquelles s'intéresse l'enquête sans engendrer des coûts trop élevés. Il faut alors envisager de recourir à des méthodes d'échantillonnage à plusieurs degrés ou d'échantillonnage indirect.

    • Plusieurs listes sont tenues à jour à Statistique Canada afin de pouvoir servir de bases de sondage pour les enquêtes de l'organisme. Le Registre des entreprises peut servir aux enquêtes-entreprises et aux enquêtes institutionnelles. Pour les enquêtes agricoles, le Registre des fermes constitue la base de sondage habituelle. Dans le cas des enquêtes-ménages, le Registre des adresses, la base de sondage de l'Enquête sur la population active (base aréolaire) et les unités géographiques du Recensement de la population sont des options à envisager. Si, dans une situation donnée, aucune de ces bases de sondage ne constitue le meilleur choix par rapport à la population cible d'une enquête, on se penchera sur d'autres bases de sondage possibles (p. ex., listes d'immigrants, bases de données sur les importateurs ou les exportateurs).

    • S'assurer que la base de sondage correspond le plus possible, du point de vue de ses mises à jour, à la période de référence de l'enquête.

    • Conserver et stocker l'information sur l'échantillonnage, la rotation et la collecte des données afin que l'on puisse coordonner les enquêtes et mieux gérer les relations avec les répondants ainsi que le fardeau de réponse. Indiquer, par exemple, la fréquence à laquelle chaque unité est sélectionnée par chacune des enquêtes utilisant une même base de sondage.

    • Pour les activités statistiques rattachées à des sources administratives ou pour les activités statistiques dérivées, où les changements de couvertures peuvent échapper au contrôle du gestionnaire immédiat, déterminer et surveiller la couverture, et négocier les changements requis avec le gestionnaire de la source.

    • Pour pallier l'erreur de couverture d'une base de sondage, ajuster les données ou se servir de données complémentaires tirées d'autres sources.

    • Lorsque des enquêtes portent sur une même population cible, utiliser la même base de sondage, si possible, afin d'augmenter la cohérence, d'éviter les contradictions, de faciliter la combinaison des estimations tirées des enquêtes et de réduire les coûts relatifs à la mise à jour et à l'évaluation des bases de sondage.

    • Comme le veut la pratique courante, à Statistique Canada, utiliser le Système automatisé de regroupement des territoires (SARTe) lorsque vient le temps de créer des sous-ensembles géographiques dans la base de sondage; il s'agit d'un système automatisé de délimitation et de vérification spatiales partiellement générique servant à créer des unités géographiques contigus et non chevauchants dans une base de sondage.

    • Lorsqu'il existe des bases de sondage multiples, il est possible de se servir de celles-ci pour évaluer l'exhaustivité d'une base de sondage.

    • Implanter des procédures afin de repérer et de corriger d'éventuelles erreurs de couverture dans la base de sondage. Fournir de la rétroaction pour mettre et maintenir à jour la base de sondage.

    • Établir des procédures et développer de la formation à l'intention du personnel chargé de la collecte et du traitement des données, afin de réduire les erreurs de couverture au minimum (p. ex., une procédure permettant d'obtenir la confirmation exacte des listes de logements pour les unités de la base aréolaire composant l'échantillon).

    • Élaborer les questionnaires d'enquête et la documentation connexe de manière à réduire au minimum les erreurs de couverture imputables aux répondants (p. ex., mentions erronées de personnes relativement à un logement dans un questionnaire, omission d'endroits faisant partie du champ d'une enquête axée sur les établissements).

    Mise à jour

    • Afin de rehausser et/ou de maintenir le niveau de qualité de la base de sondage, établir des procédures permettant d'éliminer les enregistrements en double et de faire les mises à jour concernant les naissances, les décès, les unités hors du champ de l'enquête et les changements de caractéristiques.

    • Intégrer ces mises à jour dans la base de sondage le plus tôt possible.

    • Réduire au minimum les erreurs dans la base de sondage en misant sur la formation adéquate du personnel, en insistant sur l'importance de la couverture et en implantant des procédures d'assurance de la qualité pour tout ce qui touche les activités associées à la base de sondage.

    • En ce qui concerne les bases aréolaires, implanter une procédure de vérification des cartes, afin que la délimitation des régions géographiques qui servent à développer le plan d'échantillonnage soit évidente et exemptes de tout chevauchement (p. ex., vérifications sur le terrain ou comparaison avec des cartes provenant d'autres sources). Si cela convient, recourir ou Registre des adresses pour vérifier le listage des adresses résidentielles effectué sur le terrain, ce qui permettra de repérer les sous-dénombrements ou les surdénombrements.

    • Examiner et améliorer la procédure d'identification des unités cibles qui ont été omises ou mal codées, et établir une procédure pour atténuer ce problème.

    • Implanter des procédures permettant de repérer et de réduire au minimum les omissions et les classifications erronées – qui peuvent engendrer le sous-dénombrement – de même que les inclusions erronées et les enregistrements en double – qui peuvent engendrer le surdénombrement.

    Documentation

    • Dans la documentation relative à l'enquête, donner la définition de la population cible et de la population observée, puis noter d'éventuelles différences entre elles. Décrire la base de sondage et faire état des erreurs de couverture qu'elle comporte.

    • Faire état des écarts répertoriés entre la couverture de l'enquête et les principaux besoins des utilisateurs.

    Indicateurs de qualité

    Principaux éléments de la qualité : exactitude, pertinence.

    Si l'on fait abstraction des différences entre la population cible et la population observée, les erreurs de couverture sont attribuables soit au sous-dénombrement, soit au surdénombrement. Le sous-dénombrement survient lorsqu'on omet, par erreur, d'inclure certaines unités dans le fichier de la base de sondage; le surdénombrement survient lorsque des unités sont incluses par erreur dans ce même fichier (p. ex., des décès). Les erreurs de classification – par exemple au niveau d'un secteur industriel – donnent lieu à une erreur de couverture de la base de sondage, du fait d'un sous-dénombrement au niveau de la classification « correcte » et d'un surdénombrement imputable à une classification erronée. Plusieurs processus – sélection des échantillons,  traitement des données, imputation, estimation, couplage d'enregistrements, évaluation de la qualité et analyse – s'appuient sur les données de classification. La collecte des données et le suivi peuvent tirer profit, quant à eux, des coordonnées de personnes-ressources. Les imperfections de la base de sondage, comme les erreurs de couverture et les caractéristiques désuètes, sont susceptibles de biaiser les estimations de l'enquête ou d'en réduire la fiabilité, ainsi que de faire augmenter les coûts de collecte des données.

    Les erreurs de couverture (sous-dénombrements/surdénombrements) peuvent miner les résultats d'une enquête et remettre en cause leur pertinence et leur exactitude.

    • Contrôler la qualité de la base de sondage en évaluant périodiquement sa couverture ainsi que la qualité des informations dont on dispose sur les caractéristiques des unités. Il existe plusieurs techniques, pour ce faire :

    • apparier la base de sondage ou un échantillon de celle-ci avec des sources comparables – on trouve souvent ce genre de données dans les dossiers administratifs – pour évaluer la population observée ou des sous-ensembles de cette dernière;

    • analyser les résultats de l'enquête pour identifier les enregistrements en double, les décès, les unités hors champ et les changements relatifs aux caractéristiques;

    • utiliser des questions précises du questionnaire pour faciliter le suivi de l'information sur la couverture et la classification. Vérifier auprès des autorités locales (p. ex., les bureaux régionaux, le personnel des enquêtes sur le terrain, les unités d'enquête elles-mêmes);

    • vérifier la base de sondage ou certains de ses sous-ensembles sur le terrain (ce qui put inclure la vérification d'unités hors champ);

    • comparer la base de sondage avec un échantillon d'unités issues d'une base aréolaire correspondante;

    • faire la mise à jour de la base de sondage afin de mettre en lumière les changements qu'elle aurait subis;

    • vérifier la cohérence des chiffres par rapport à d'autres sources ou par rapport à des données issues de répétitions conçues spécialement à cette fin;

    • recourir à des informations tirées d'autres enquêtes qui emploient la même base de sondage aux fins de l'évaluation (Lessler et Kalsbeek, 1992).

    • Contrôler la base de sondage entre le moment où l'échantillon est sélectionné et celui auquel la période de référence de l'enquête correspond.

    • Définir et comparer la population cible et la population observée.

    • Dans le cas de recensements, mesurer l'erreur de couverture au moyen d'enquêtes postcensitaires (Hogan, 2003) ou d'enquêtes de la contre-vérification des dossiers (Statistique Canada, 2004) ainsi que d'études connexes portant sur le surdénombrement. Dans le cas de recensements de la population et des logements, on peut aussi évaluer les erreurs de couverture en comparant chiffres de dénombrement aux estimations démographiques. Fournir une estimation non seulement de l'erreur nette, mais également de ses composantes.

    • Fournir des estimations de l'erreur de couverture ou du taux de glissement autant pour les utilisateurs actuels des estimations de cette enquête que pour ceux qui concevront ses prochaines éditions.

    Bibliographie

    ARCHER, D. 1995. « Maintenance of Business Registers », Business Survey Methods, B.G. Cox et coll., New York, Wiley-Interscience, p. 85 à 100.

    HARTLEY, H.O. 1962. « Multiple Frame Surveys », Proceedings of the Social Statistics Section, American Statistical Association, p. 203 à 206.

    HOGAN, H. 2003. « The Accuracy and Coverage Evaluation: Theory and Design », Techniques d'enquête, vol. 29, no2, p. 129 à 138.

    KOTT, P.S. et F.A. VOGEL. 1995. « Multiple-Frame Business Surveys », Business Survey Methods, B.G. Cox et coll., New York, Wiley-Interscience, p. 185 à 203.

    LANIEL, N. et H. FINLAY. 1991. « Data Quality Concerns with Sub-annual Business Survey Frames », Proceedings of the Section on Survey Research Methods, American Statistical Association, p. 202 à 207.

    LESSLER, J.T. et W.D. KALSBEEK. 1992. Nonsampling Errors in Surveys, New York, Wiley, 432 p.

    MASSEY, J.T. 1988. « An Overview of Telephone Coverage », Telephone Survey Methodology, R.M. Groves et coll., New York, Wiley, p. 3 à 8.

    STATISTIQUE CANADA. 2008. Méthodologie de l'Enquête sur la population active du Canada, publication no71-526XIF au catalogue de Statistique Canada, Ottawa, 116 p.

    STATISTIQUE CANADA. 2003. Méthodes et pratiques d'enquête, publication no12-587-XIF au catalogue de Statistique Canada, Ottawa, 396 p.

    STATISTIQUE CANADA. 2004. Couverture : rapport technique du Recensement de 2001, publication no  92-394-XIF au catalogue de Statistique Canada, Ottawa, 85 p.

    SWAIN, L., J.D. DREW, B. LAFRANCE et K. LANCE. 1992. « La création d'un registre des adresses résidentielles pour améliorer la couverture du Recensement du Canada de 1991 », Techniques d'enquête, vol. 18, no1, p. 139 à 155.

    Date de modification :