Publications
À la hauteur : Résultats canadiens de l'étude PISA de l'OCDE
La performance des jeunes du Canada en lecture, en mathématiques et en sciences : Premiers résultats de 2009 pour les Canadiens de 15 ans
Annexe A
Programme international pour le suivi des acquis des élèves (PISA) 2009 – procédures d'échantillonnage et taux
de réponse
Consulter la version la plus récente.
Information archivée dans le Web
L’information dont il est indiqué qu’elle est archivée est fournie à des fins de référence, de recherche ou de tenue de documents. Elle n’est pas assujettie aux normes Web du gouvernement du Canada et elle n’a pas été modifiée ou mise à jour depuis son archivage. Pour obtenir cette information dans un autre format, veuillez communiquer avec nous.
L'exactitude des résultats du PISA est fonction de la qualité des renseignements sur lesquels l'échantillon est fondé ainsi que des procédures d'échantillonnage utilisées. L'échantillon du PISA 2009 pour le Canada était un échantillon stratifié à deux degrés. Au premier degré, on a échantillonné diverses écoles fréquentées par des élèves de 15 ans. Les écoles ont été échantillonnées systématiquement, les probabilités étant proportionnelles à la taille, laquelle était fonction du nombre estimatif d'élèves admissibles (de 15 ans) inscrits à l'école. Il fallait sélectionner au moins 150 écoles dans chaque pays. Au Canada, cependant, on a sélectionné un échantillon beaucoup plus grand afin de produire des estimations fidèles pour chaque province et pour chacun des systèmes scolaires anglophones et francophones des provinces suivantes : Nouvelle-Écosse, Nouveau-Brunswick, Québec, Ontario, Manitoba, Alberta et Colombie-Britannique.
Au deuxième degré du processus de sélection, on a échantillonné des élèves dans les écoles échantillonnées. Une fois les écoles sélectionnées, on a dressé une liste de tous les élèves de 15 ans dans chaque école échantillonnée. À partir de cette liste, on a ensuite sélectionné jusqu'à 35 élèves avec des probabilités égales. Si moins de 35 élèves étaient inscrits, on a sélectionné tous les élèves de 15 ans. De plus, à l'Île-du-Prince-Édouard, en Nouvelle-Écosse et au Nouveau-Brunswick ainsi que dans les systèmes scolaires francophones au Manitoba, en Alberta et en Saskatchewan, on a sélectionné, lorsque possible, plus de 35 élèves afin d'obtenir des échantillons de la taille requise.
Chaque pays participant au PISA a tâché de maximiser la couverture de la population cible du PISA dans les écoles échantillonnées. Dans chaque école échantillonnée, on a d'abord dressé la liste de tous les élèves admissibles, soit ceux de 15 ans, sans égard à l'année scolaire. Les élèves échantillonnés devant être exclus par l'école devaient néanmoins être inclus dans la documentation d'échantillonnage, et il fallait dresser une liste indiquant les motifs de leur exclusion. Le tableau A.1.1 et A.1.2 montre le nombre total d'élèves exclus selon la province, lesquels sont ensuite décrits et classés dans des catégories précises. Les élèves pouvaient être exclus s'ils entraient dans l'une des trois catégories internationales suivantes : i) élèves ayant une incapacité intellectuelle : l'élève a une incapacité mentale ou émotionnelle et un retard de développement cognitif qui l'empêchent de subir les tests du PISA; ii) élèves ayant une incapacité fonctionnelle : l'élève a une incapacité physique permanente allant de modérée à grave qui l'empêche de subir les tests du PISA; iii) élèves ayant une connaissance limitée de la langue d'évaluation : l'élève ne peut ni lire ni parler aucune des langues utilisées pour l'évaluation dans le pays et serait incapable de surmonter la barrière linguistique en situation de test (habituellement, un élève ayant reçu moins d'un an d'enseignement dans la langue d'évaluation peut être exclu).
Le taux d'exclusion des élèves pondéré pour le Canada dans son ensemble était de 5,6 %, la fourchette allant de 3,8 % en Saskatchewan à 6,5 % en Ontario. Dans toutes les provinces, la grande majorité des exclusions étaient attribuables à la présence d'une incapacité intellectuelle.
Tableau A.1.1 PISA 2009 – Taux d'exclusion des élèves
Tableau A.1.2 PISA 2009 – Taux d'exclusion des élèves selon le type d'exclusion
Pour le PISA, les normes de qualité des données requièrent des taux minimums de participation des écoles et des élèves, afin de réduire la possibilité d'un biais de réponse. Au niveau national, un taux de réponse minimum de 85 % était requis pour les écoles sélectionnées initialement. En outre, les taux de réponse des écoles étaient considérés comme acceptables lorsque le taux initial se situait entre 65 % et 85 % et que des écoles de remplacement ont été sélectionnées pour obtenir un taux de réponse d'au moins 85 %. Les écoles dont le taux de participation des élèves se situait entre 25 % et 50 % n'ont pas été comptées comme écoles participantes, mais les données pour ces écoles ont été incluses dans la base de données. Les écoles dont le taux de participation des élèves était inférieur à 25 % n'ont pas été comptées comme écoles participantes et leurs données ont été exclues de la base de données.
Le PISA 2009 exige en outre un taux de participation des élèves minimum de 80 % dans l'ensemble des écoles participantes (celles faisant partie de l'échantillon original ainsi que les écoles de remplacement) au niveau national.
Le tableau A.2 montre les taux de réponse des écoles et des élèves, avant et après remplacement, pour le Canada et les dix provinces. Au niveau national, 1 079 écoles ont été sélectionnées pour participer au PISA 2009 et 963 de ces écoles sélectionnées initialement y ont participé. Au lieu de calculer les taux de participation des écoles en divisant le nombre d'écoles participantes par le nombre total d'écoles, on a pondéré les taux de réponse des écoles selon le nombre d'élèves de 15 ans inscrits dans chaque école.
Tableau A.2 PISA 2009 – Taux de réponse des écoles et des élèves
Au niveau provincial, les taux de réponse des écoles se situaient entre 69 % au Québec et 100 % à Terre-Neuve-et-Labrador. Il convient de souligner qu'au Québec, 245 écoles ont participé au PISA, mais 52 ont été traitées comme écoles non participantes selon les critères du PISA, parce que les taux de participation des élèves y étaient inférieurs à 50 %.
Au niveau des élèves, le taux de réponse du Canada était de 79,5 %, soit inférieur à la norme internationale de 80 % établie par le PISA. Mis à part le Québec, toutes les provinces ont obtenu un taux de réponse des élèves d'au moins 80 %. Au Québec, le taux de réponse des élèves était inférieur au taux requis principalement en raison de l'exigence dans cette province d'obtenir le consentement écrit des parents à la participation de l'élève au PISA.
Comme le Canada n'a pas satisfait aux exigences internationales en matière de taux de réponse des élèves (son taux étant de moins de 1 % inférieur au taux minimum requis), il a été tenu d'effectuer une analyse du biais de non-réponse des élèves et de la soumettre au consortium du PISA afin qu'il détermine si la qualité des données était suffisante pour qu'on puisse les inclure dans l'ensemble de données du PISA. Cette analyse du biais dû à la non-réponse a été effectuée pour les élèves du Québec seulement, car cette province était la seule où les taux de réponse des élèves étaient inférieurs à la norme internationale.
Deux mesures liées au rendement des élèves ont été utilisées aux fins de cette analyse, à savoir une mesure du milieu socioéconomique de l'élève, qui était disponible pour l'ensemble de l'échantillon du PISA, et les scores obtenus à l'évaluation linguistique provinciale, qui étaient disponibles seulement pour les élèves de dixième année (lesquels représentent environ 59 % de l'échantillon des élèves1.
Les résultats de l'analyse révèlent que les élèves non répondants venaient de milieux socioéconomiques légèrement moins favorisés et, même si les valeurs moyennes à l'égard de l'indice de situation socioéconomique des élèves répondants et non répondants diffèrent de façon significative, la différence comme telle n'est pas grande (11,29 par rapport à 12,02). Selon les résultats d'une analyse de régression logistique, le milieu socioéconomique des élèves du Québec n'est pas statistiquement lié à la non-réponse lorsque le sexe, la fréquentation d'une école privée ou publique, le système scolaire anglophone ou francophone et la taille de l'école sont inclus dans le modèle.
Les résultats de l'évaluation linguistique provinciale révèlent que les élèves répondants ont obtenu une note légèrement plus élevée que les élèves non répondants (74,9 par rapport à 72,6, respectivement, sur une échelle de 100 points, selon les données non pondérées, et 74,0 par rapport à 71,9 selon les données pondérées). Cette différence est significative, même si l'écart est petit, et le rendement à l'évaluation linguistique provinciale demeure significatif après la réalisation d'une analyse de régression logistique dans laquelle le système scolaire anglophone ou francophone, la taille de l'école, le milieu socioéconomique, le sexe, et la fréquentation d'une école privée ou publique sont inclus dans le modèle.
En se fondant sur l'analyse de la non-réponse, le consortium a déterminé que la qualité des données canadiennes, y compris celles du Québec, était suffisante pour qu'on puisse les inclure dans les ensembles de données du PISA sans restrictions.
Note
- Une analyse interne effectuée par le ministère de l'Éducation, du Loisir et du Sport du Québec a permis une ventilation plus poussée de la non-réponse en comparant les élèves qui n'ont pas participé parce que leurs parents avaient refusé de donner leur consentement et ceux qui n'ont pas participé pour d'autres raisons. Selon les résultats de cette analyse, les élèves qui n'ont pas participé parce que leurs parents ont refusé de donner leur consentement étaient plus susceptibles d'habiter dans des quartiers de niveau socioéconomique plus élevé que les élèves participants et les autres élèves non répondants.
- Date de modification :