Transition du traitement des données de l’Enquête sur la population active à l’Environnement pour le traitement des enquêtes sociales (ETES)

Aperçu du traitement de l’EPA

Chaque mois, la production de statistiques issues de l’Enquête sur la population active (EPA) s’accompagne de trois grandes séries d’activités : 1) La collecte de données, durant laquelle les interviews sont menées auprès de 50 000 ménages pendant une période de 10 jours; 2) le traitement de données, étape consistant à vérifier et corriger les données, au besoin, et à produire des fichiers de microdonnées; et 3) l’élaboration de tableaux statistiques et de produits analytiques, étape durant laquelle les produits tels que Le Quotidien sont préparés et chargés dans le site Web de Statistique Canada dans les 10 jours suivant la fin de la collecte.

Le traitement de données de l’EPA comporte plusieurs étapes. Certaines d’entre elles sont effectuées quotidiennement, en même temps que la collecte des données, tandis que d’autres sont accomplies une fois par mois, la journée suivant la fin de la collecte. Les étapes quotidiennes sont les suivantes :

1. Réception des données provenant de la collecte;
2. Codage des réponses aux questions qui comportent une catégorie de réponse « Autre – précisez »;
3. Vérification des données démographiques (âge, sexe, liens au sein de la famille) afin d’assurer leur validité et leur cohérence;
4. Imputation des données du domaine de l’éducation;
5. Vérification des données sur la population active;
6. Codage des réponses aux questions sur l'industrie et la profession.

Une fois la collecte terminée, les étapes de traitement mensuelles sont effectuées :

1. Imputation des données démographiques restantes;
2. Imputation des données sur la population active;
3. Calcul des variables dérivées;
4. Pondération et estimation de la variance.

L’imputation consiste à remplacer des valeurs manquantes par des valeurs plausibles. Lorsque des éléments de données sont manquants, des mesures sont prises pour trouver un donneur convenable. Les donneurs sont des enregistrements qu’on juge semblables compte tenu d’une série de caractéristiques, et qui comportent des données valides et cohérentes qu’on pourrait raisonnablement utiliser pour remplacer la valeur manquante de l’enregistrement receveur. À défaut de trouver un donneur acceptable, on peut alors envisager d’éliminer un bloc de données plus grand dans l’enregistrement receveur afin de le remplacer par un autre bloc de données provenant d’un enregistrement donneur. Aux fins de cette « imputation de l’enregistrement au complet », le critère de similarité est généralement assoupli jusqu’à ce que le meilleur donneur possible soit trouvé.

Le système de traitement de l’EPA

Le système informatique utilisé à l’heure actuelle pour traiter les données de l’EPA — désigné sous l’appellation de Système de traitement du bureau central (STBC) — est en place depuis plus de 25 ans. Un certain nombre de modifications ont été apportées au fil du temps, et le système a été entretenu pour assurer l’exactitude et la robustesse de la production de l’EPA. À partir de janvier 2019, le traitement de l’EPA passera du STBC à l’Environnement pour le traitement des enquêtes sociales (ETES), un système généralisé de traitement des données d’enquête utilisé par plusieurs autres enquêtes de Statistique Canada. Cette transition à l’ETES offre un certain nombre d’avantages :

• Alors que la conception du STBC est relativement complexe et intégrée, un changement apporté à une étape pouvant se répercuter sur d’autres étapes, l’ETES permet d’adopter une approche flexible et modulaire au traitement de l’EPA, puisqu’il est plus facile d’isoler chacune des étapes, de les analyser et de les améliorer au besoin.
• Alors que le STBC est utilisé uniquement par l’EPA, l’ETES est utilisé par la plupart des enquêtes sociales de Statistique Canada, et l’expérience du traitement des données avec l’ETES est assez répandue parmi le personnel. Par conséquent, la transition à l’ETES diminue la dépendance de l’EPA à l’égard d’un système ou des connaissances de certaines personnes en particulier, ce qui atténue ainsi les risques liés à la conservation de l’effectif et au roulement du personnel.
• Puisque l’ETES est conçu pour être intégré avec d’autres systèmes généralisés — y compris le Système canadien de contrôle et d’imputation du recensement (SCANCIR) à des fins d’imputation et l’Environnement de codage commun (ECC) à des fins de codage — l’ensemble des ressources nécessaires à l’élaboration et à l’entretien des systèmes est réduit.

Développement et mise à l’essai du traitement de l’EPA à l’aide de l’ETES

Le projet de transition du traitement des données de l’EPA a débuté en avril 2015. Les principales phases du projet étaient les suivantes :

1. Conception de « plans de traitement » pour le traitement quotidien et mensuel de l’EPA. À l’intérieur de l’environnement généralisé de l’ETES, une série d’instructions génériques est offerte pour chaque étape de traitement des données (par exemple pour recueillir les données à partir des systèmes de collecte en vue de les saisir dans le système de traitement). Pour chacune de ces étapes, des instructions et règles propres à chaque enquête doivent être élaborées, et une série d’étapes — ou de plans — doit être créée pour établir et gérer le séquencement et l’exécution des étapes;
2. Les essais modulaires de chaque étape de traitement, afin de s’assurer que pour chaque étape de traitement, les données étaient saisies, modifiées ou transformées et que les données de sortie étaient conformes au résultat attendu;
3. Les essais intégrés, afin d’évaluer l’effet cumulatif de toutes les étapes de traitement sur les estimations de l’EPA;
4. Les tests de capacité opérationnelle, afin de veiller à ce que le traitement des données de l’EPA puisse être accompli selon les contraintes de temps et de ressources existantes. À titre d’exemple, on voulait s’assurer que chaque matin du traitement quotidien, on était en mesure de recueillir les données à partir des systèmes de collecte, puis de les transférer au groupe responsable du codage des industries et des professions dans un délai raisonnable.

Conception des plans de traitement de l’EPA

L’EPA répond à une norme élevée en matière de qualité des données, et des difficultés et possibilités de vérification atypiques existent, étant donné que les répondants sont interviewés pendant six mois consécutifs. Par exemple, dans les cas où un ménage échantillonné répond à l’EPA au cours d’un mois, mais n’y répond pas le mois suivant, les données du premier mois pourraient, si des conditions particulières sont remplies, être utilisées pour compléter les données manquantes du deuxième mois.

Au moment d’élaborer les plans de traitement de l’ETES, tout a été mis en œuvre pour conserver ces conditions et règles sous-jacentes (ou méthodes de traitement), de manière à réduire au minimum l’incidence de la transition sur la qualité des données et le niveau des estimations de l’EPA. Dans certaines situations, il existe des occasions de simplifier ou d’améliorer la méthodologie sous-jacente sans nuire aux estimations de l’EPA (par exemple, le remplacement de certaines vérifications manuelles d’enregistrements par des règles de vérification déterministes) alors que dans d’autres cas, il est nécessaire de modifier certains aspects de la méthodologie (par exemple, les conditions particulières selon lesquelles un enregistrement partiel, par opposition à un enregistrement complet, doit être corrigé au moyen d’imputations).

Mises à l’essai modulaires des étapes de traitement de l’EPA

Chacune des étapes applicables aux plans de processus quotidiens et mensuels dans l’ETES a été développée et mise à l’essai de façon modulaire. L’objectif des essais modulaires était de s’assurer que pour chaque étape, les données étaient saisies, transformées et produisaient des données de sortie conformes aux spécifications.

L’équipe de remaniement de l’EPA a mené les essais modulaires d’avril 2016 à avril 2017. Au cours de cette période, chaque module a été mis à l’essai séparément, et validé conformément à la documentation sur les spécifications. Après l’achèvement fructueux des essais modulaires, l’autorisation a été donnée pour entamer la mise à l’essai intégrée en mai 2017.

Mise à l’essai intégrée des plans de traitement de l’EPA

La mise à l’essai intégrée visait principalement à créer des données d’essai en exécutant toutes les étapes de traitement par ordre de succession, puis d’évaluer si le transfert du traitement des données de l’EPA au nouvel environnement entraînerait des ruptures dans la série chronologique de l’EPA. Pour y parvenir, il a fallu surmonter plusieurs défis opérationnels, notamment :

• Comparer les estimations de l’EPA d’un mois donné en faisant appel à deux systèmes de traitement (STBC et ETES) requiert un investissement non négligeable de temps pour copier et configurer de vastes ensembles de données, puis pour exécuter un nombre important d’étapes de traitement séquentiel. Il a été nécessaire d’élaborer des stratégies d’essai permettant d’utiliser efficacement le temps disponible.
• Certaines étapes de traitement quotidien de l’EPA — notamment le codage des réponses du type « Autre - précisez », la correction manuelle des données démographiques et le codage manuel de l’industrie et de la profession — sont des processus manuels qui : 1) demandent une quantité considérable de ressources et de prises de décision humaines tous les mois, et 2) ont des effets non négligeables sur les estimations de l’EPA. Il a été nécessaire d’élaborer des stratégies d’essai englobant une évaluation des incidences d’un changement du système utilisé pour exécuter ces étapes tout en respectant les contraintes de temps et de ressources.
• Dans certaines conditions, un certain nombre de renseignements (tels que l’industrie et la profession d’emploi) sont recueillis au cours du premier mois d’interview d’un ménage, puis reportés aux mois suivants. Par conséquent, les effets de la transition à l’ETES ont dû être évalués en ce qui concerne les incidences sur le premier mois suivant la transition, mais aussi compte tenu des incidences possibles plusieurs mois après la transition.
• De nombreuses estimations clés de l’EPA sont désaisonnalisées pour permettre l’analyse visant à éliminer les effets d’importantes variations saisonnières. Il a été nécessaire d’élaborer des méthodes permettant d’évaluer non seulement l’incidence à court terme de la transition à l’ETES, mais aussi les incidences à long terme sur les profils saisonniers.

Afin de surmonter ces défis, une combinaison de divers essais intégrés ont été réalisés, notamment :

• Des essais pluriannuels, durant lesquels plus de neuf ans de données (de janvier 2008 à mai 2017) ont été produits en utilisant les données de sortie du traitement quotidien du STBC comme données d’entrée du plan de traitement mensuel dans l’ETES. On a estimé qu’il s’agissait d’un moyen efficace et rentable d’évaluer l’incidence de la transition à l’ETES sur :
  • l’imputation des données sur la population active;
  • les profils saisonniers.

• Les principaux résultats de ces essais sont les suivants :
  • Au cours de l’essai initial, quelques différences touchant le niveau de certaines estimations de l’EPA ont été observées. Cela a entraîné un examen approfondi et des ajustements aux paramètres d’imputation. L’essai qui a suivi ces changements n’a révélé aucune incidence inacceptable sur les estimations. De plus amples détails à ce sujet sont présentés dans la section « Résultats et analyse » de ce document.
  • Il n’y a aucune incidence sur le mois de la transition (les données ont été produites à partir de divers mois de transition, puis reportées sur six mois dans chacun des cas; il n’y a aucune indication que l’ETES se comporte différemment selon le mois de départ).
  • Il n’y a aucune incidence sur les profils saisonniers.

• Des essais sur plusieurs mois – 1^e phase, durant lesquels les données ont été produites en exécutant les plans de traitement quotidiens et mensuels dans l’ETES, à l’exception des étapes comportant des opérations manuelles ou des prises de décision humaines. Pour accomplir ces étapes, les données d’entrée et de sortie ont été simulées à l’aide de valeurs extraites du STBC. Vingt mois de données consécutives (de janvier 2016 à août 2017) ont été produits au cours de l’hiver 2018.

• Les principaux résultats de ces essais sont les suivants :
  • On a constaté quelques différences entre le STBC et l’ETES en ce qui concerne les estimations des salaires. Cela a entraîné un examen des causes expliquant ces différences, ainsi que des ajustements aux paramètres de vérification et d’imputation.
  • Les différences entre les estimations obtenues à l’aide de l’ETES, et celles obtenues à l’aide du STBC étaient acceptables.
  • Les différences relevées entre l’ETES et le STBC n’étaient pas systématiquement positives ou négatives et n’affichaient pas une tendance, ce qui indique que la transition à l’ETES n’apporte pas de biais.
  • On n’a relevé aucune incidence sur les variances échantillonnales liées aux estimations de l’EPA.

• Des essais sur plusieurs mois – 2^e phase, durant lesquels les données ont été produites de la même façon que pendant la première phase d’essais sur plusieurs mois, mais avec l’ajout d’ajustements aux paramètres de vérification et d’imputation touchant l’estimation des salaires. Neuf mois consécutifs de données (d’octobre 2017 à avril 2018) ont été produites à l’été 2018.

• Les principaux résultats de ces essais sont les suivants :
  • Aucune différence notable n’a été relevée dans les estimations des salaires produites à partir du STBC et celles de l’ETES.
  • On n’a relevé aucun changement dans l’incidence liée à la transition à l’ETES découlant d’une modification de la date de transition.

• Des essais pleinement intégrés, durant lesquels les données ont été produites en exécutant les plans de traitement quotidiens et mensuels de l’ETES, y compris les étapes comportant des opérations manuelles ou des prises de décision humaines.

• Le premier cycle de ces essais a été mené à l’été 2017 et a produit trois mois de données (de mars 2017 à mai 2017). Le principal objectif de cet essai était de mettre à l’épreuve les flux de données dans toutes les étapes du schéma de traitement quotidien et mensuel. Cet essai a permis de cerner un certain nombre de domaines nécessitant des affinages et des améliorations.

• Un deuxième cycle d’essais pleinement intégrés a été accompli à l’été 2018. Quatre mois de données de l’EPA ont été traités à l’aide des schémas de traitement quotidien et mensuel dans l’ETES, à l’exception des renseignements sur les industries et les professions. Environ la moitié des enregistrements ont été codés à l’aide de l’ETES, l’autre moitié ayant été simulés à l’aide des données du STBC. Comparativement aux essais sur plusieurs mois pour lesquels un seul mois de transition a été simulé et que les données de l’ETES ont été utilisées pour les mois suivants, seul le premier mois de l’ETES a été simulé au cours des quatre mois qu’ont duré les essais pleinement intégrés.

• Les principaux résultats du deuxième cycle d’essais pleinement intégrés sont les suivants :
  • Les différences relevées dans les estimations du STBC et celles de l’ETES étaient acceptables (de plus amples détails sont présentés dans la section « Résultats et analyse »).
  • L’incidence de la transition à l’ETES a été constante pour chacun des quatre mois.

Tests de l’état de préparation opérationnelle

Les essais pleinement intégrés effectués à l’été 2018 ont également servi de test d’état de préparation opérationnelle permettant d’évaluer si, d’un point de vue opérationnel, il était possible de transférer le traitement de données de l’EPA à l’ETES sans compromettre l’actualité ou la robustesse du processus de production de l’EPA. Des critères particuliers ont été évalués, dont la pertinence de la documentation et des manuels de procédures, la formation des employés chargés d’exécuter le traitement de l’EPA dans l’ETES, et la stabilité ainsi que le rendement de l’infrastructure de TI.

Ces tests ont révélé que toutes les conditions étaient remplies et que d’un point de vue opérationnel, il était envisageable de transférer le traitement des données de l’EPA à l’ETES à partir de janvier 2019.

Résultats et analyse

En utilisant les données des divers types d’essais intégrés, on a mesuré l’incidence du transfert du traitement de l’EPA à l’ETES sur les aspects suivants :

• Pour un mois donné, les estimations de niveau (p. ex. le nombre total de travailleurs autonomes) et des taux (p. ex. le taux de chômage);
• Les estimations des variations d’un mois à l’autre;
• Les estimations des variations d’une année à l’autre;
• Les séries chronologiques désaisonnalisées;
• Les mesures de la précision des estimations.

Certaines estimations, telles que le taux de chômage et le nombre total de personnes occupées, sont considérées comme des estimations clés et, par conséquent, ont été examinées plus en détail. Leurs résultats ont été comparés à des niveaux plus détaillés, en fonction de domaines analytiques clés. La liste des principales estimations, ainsi que la liste des domaines clés, sont fournies à « l’Annexe A ».

Les résultats présentés sont une illustration typique du très grand nombre d’analyses qui ont été effectuées (voir « l’Annexe A » pour obtenir la liste des estimations et des domaines clés). La figure 1 montre le nombre de travailleurs autonomes au Manitoba de janvier 2008 à mai 2017. Cette série de données est fondée sur les essais pluriannuels (qui avaient pour but principal d’évaluer l’incidence de la transition à l’ETES sur l’imputation des données sur la population active). Les estimations n’ont pas été désaisonnalisées. La ligne noire continue représente les estimations du STBC, tandis que les lignes noires tiretées représentent les intervalles de confiance à 95 % des estimations du STBC. La ligne rouge continue représente les estimations correspondantes dans l’ETES. Les intervalles de confiance applicables aux estimations de l’ETES ne sont pas indiqués, puisqu’ils étaient du même ordre que ceux applicables aux estimations du STBC.

La figure 1 démontre que l’imputation de la population active n’a pas eu d’effet considérable sur les estimations, étant donné que les estimations de l’ETES suivent bien celles du STBC, et qu’elles restent à l’intérieur de l’intervalle de confiance de 95 % tout au long de la série de neuf ans.

La figure 2 représente le taux de chômage au Québec, à partir des essais sur plusieurs mois. Une fois de plus, les lignes noires représentent les estimations du STBC et leur intervalle de confiance de 95 %, tandis que la ligne rouge représente les estimations de l’ETES. La première section, qui va de janvier 2016 à août 2017, représente la 1e phase des essais sur plusieurs mois. Suite à la coupure en septembre 2017, les données proviennent de la 2e phase et représentent un nouveau départ en octobre 2017 (les données du mois précédent ayant été créées par le STBC), et les essais ont été menés à bien jusqu’en avril 2018. Les quatre ensembles de points finaux représentent quatre départs distincts allant de pair avec les essais pleinement intégrés (de mai 2018 à août 2018).

Les conclusions sont les mêmes que celles obtenues avec les données indiquées dans la figure 1. Les données de l’ETES ne diffèrent pas considérablement de celles du STBC, et restent à l’intérieur de l’intervalle de confiance de 95 % obtenu par la méthode du bootstrap appliquée aux données du STBC.

Certaines données de l’EPA sont désaisonnalisées, de manière à éliminer les profils saisonniers et à mieux représenter les tendances. Les modèles de désaisonnalisation connexes — qui sont indépendants du STBC et ne sont donc pas touchés par la transition à l’ETES — ont été appliqués aux données d’essai de l’ETES, et une série de comparaisons a été effectuée. L’analyse n’a révélé aucun changement structurel dans les données, et la saisonnalité des données de l’ETES a été convenablement illustrée par les modèles de désaisonnalisation existants. La figure 3 montre que la série de données désaisonnalisées sur l’emploi au Canada de janvier 2015 à juin 2017, produite à partir de l’ETES, est statistiquement équivalente aux données correspondantes de l’EPA.

Les variations d’un mois à l’autre présentent un intérêt particulier pour de nombreux analystes des données de l’EPA. La figure 4 montre les fluctuations mensuelles de l’emploi à temps plein total au Canada en 2016. Le graphique démontre que les écarts entre les deux séries ne sont pas suffisamment importants pour indiquer un changement dans l’interprétation des données.

Estimations présentant un intérêt particulier

Bien que les essais intégrés indiquent que pour la plupart des estimations de l’EPA, les différences entre les estimations du STBC et celles de l’ETES sont minimes, les utilisateurs des données de l’EPA doivent être conscients de certains résultats particuliers :

• Emploi à temps plein et emploi à temps partiel : Même si la méthode de traitement des données de l’EPA ne changera pas au moment d’effectuer la transition à l’ETES, le SCANCIR utilisé pour l’imputation dans l’ETES est plus efficace que le STBC pour trouver des donneurs convenables aux fins d’imputation. Par conséquent, l’ETES a tendance à conserver un plus grand nombre de données fournies par les répondants, tandis que le STBC fait plus souvent appel à l’imputation de l’enregistrement au complet. Cela entraîne une imputation plus efficace, pour l’ETES, des caractéristiques moins fréquentes chez les répondants, telles que l’emploi à temps partiel. Les essais indiquent que cela pourrait entraîner une légère augmentation du nombre d’emplois à temps partiel, parallèlement à une diminution du nombre d’emplois à temps plein. Les estimations connexes, telles que le nombre moyen d’heures travaillées, pourraient connaître une légère baisse.
• Taille de l’entreprise : Après avoir corrigé une vérification particulière dans le STBC, la répartition de l’emploi selon la taille de l’entreprise pourrait être touchée par la transition à l’ETES, à raison d’une hausse approximative de 3 % du nombre de personnes travaillant dans des entreprises de plus de 500 employés. Comme le montre la figure 5, les estimations calculées à l’aide des données issues des essais sur plusieurs mois sont systématiquement plus élevées que celles du STBC, et se situent souvent juste à l’extérieur de l’intervalle de confiance de 95 %.

L’incidence de la transition à l’ETES sur ces estimations sera surveillé et, au besoin, une révision historique des séries sera inclue dans le changement de base sur cinq ans des estimations de l’EPA, qui est prévu actuellement en janvier 2020.

Conclusions

Compte tenu du nombre considérable d’essais effectués, on s’attend à ce que le passage du traitement des données de l’EPA du système actuel (STBC) à l’Environnement pour le traitement des enquêtes sociales (ETES) ait une incidence minime sur les estimations de l’EPA, et que cette transition soit transparente pour les utilisateurs de données.

Annexe A

Estimations clés

On considère qu’il s’agit des estimations les plus importantes publiées à partir des données de l’EPA.

Les variables clés relevant du « groupe 1 » ont été évaluées pour l’ensemble des domaines clés. Celles relevant du « groupe 2 » ou du « groupe 3 » ont été formellement évaluées à des niveaux de données agrégées, ainsi qu’à des niveaux limités de désagrégation.

Domaines clés

Il s’agit des principaux domaines géographiques et démographiques pour lesquels les estimations sont publiées.