7. Défis et stratégies pour procéder à un changement de paradigme
Constance F. Citro
J’ai présenté des arguments en faveur d’un nouveau paradigme en vertu duquel les organismes statistiques conçoivent et mettent à jour leurs programmes vedettes en déterminant quelle est la meilleure combinaison de sources de données et de méthodes pour répondre aux besoins des utilisateurs dans un domaine dont l’importance est croissante. J’utilise les enquêtes-ménages réalisées aux États-Unis comme exemple d’une situation où il existe des preuves solides que s’appuyer uniquement sur les réponses aux enquêtes ne suffira pas pour répondre aux besoins critiques d’information de haute qualité sur le revenu, les dépenses et des sujets apparentés. Je pense qu’il est également vrai que l’utilisation de dossiers administratifs seulement, comme dans certains pays dotés de registres de population détaillés, pourrait ne pas fournir de renseignements suffisamment complets et de haute qualité en l’absence d’efforts réguliers en vue d’examiner la qualité des données des registres et d’augmenter et de corriger ces derniers au moyen d’information provenant d’autres sources, telles que les enquêtes. Par exemple, Axelson, Homberg, Jansson, Werner et Westling (2012) décrivent l’utilité des enquêtes pour évaluer la qualité des données sur les logements et les ménages provenant d’un nouveau registre des logements créé pour le recensement de 2011 en Suède.
Je conclus par une liste de facteurs qui rendent le changement de paradigme difficile, en énonçant aussi des moyens de procéder au changement que je recommande et de l’intégrer dans la culture des organismes statistiques. Les systèmes statistiques des États-Unis et d’autres pays ont fait preuve d’innovation dans de nombreux aspects de leurs programmes, mais changer les paradigmes est toujours un exercice difficile, comme en témoigne la bataille en vue d’introduire l’échantillonnage probabiliste dans la statistique officielle aux États-Unis durant les années 1930. Il est particulièrement difficile de repenser des programmes statistiques permanents, établis depuis longtemps, avec lesquels l’organisme producteur et les utilisateurs se sentent à l’aise.
Les facteurs qui peuvent entraver le changement comprennent 1) l’inertie, particulièrement quand un programme était au départ novateur et très bien conçu, de sorte qu’il peut se reposer sur ses lauriers; 2) le décalage par rapport à l’évolution des besoins des parties prenantes, lequel peut être exacerbé quand un organisme se voit comme la seule source des données nécessaires et sans concurrence; 3) la crainte d’amoindrir les programmes existants conjuguée à la crainte du « non inventé ici »; 4) l’évaluation continue inadéquate de toutes les dimensions de la qualité des données; et 5) la compression des ressources humaines et budgétaires, conjuguée à une hésitation compréhensible du personnel de l’organisme ou de leur base établie d’utilisateurs à réduire l’une ou l’autre des séries statistiques établies de longue date afin de réaliser d’importants progrès dans d’autres séries.
Pourtant, il existe de nombreux exemples remarquables d’innovations importantes mises en place par les organismes statistiques aux États-Unis et dans d’autres pays, de sorte qu’il existe manifestement des moyens de surmonter les obstacles énumérés plus haut pour procéder au changement de paradigme. Selon moi, l’ingrédient essentiel à un changement de paradigme est le ralliement des cadres et le soutien permanent de la haute direction d’un organisme statistique, déployé proactivement de manière à rallier le personnel à tous les niveaux de l’organisme. À titre d’exemple exceptionnel d’un tel leadership, voir dans National Research Council (2010a) la discussion du rôle de Morris Hansen et de ses collègues dans le remaniement de ce qui avait été un recensement effectué par des agents recenseurs en un recensement avec envoi et retour du questionnaire par la poste. Les travaux de remaniement ont été lancés et poursuivis après que l’on ait dégagé des preuves de l’existence d’un biais et d’une variance d’intervieweur considérables pour des éléments de données importants. On craignait également qu’il devienne plus difficile de recruter des agents recenseurs à mesure que les femmes entraient sur le marché du travail.
Des mesures particulières en vue d’obtenir l’appui des cadres de l’organisme dans le but précis d’inculquer l’utilisation de multiples sources de données dans les programmes permanents de statistiques officielles comprennent (voir Prell et coll. 2009, qui ont effectué des études de cas d’utilisation statistique fructueuse de dossiers administratifs aux États-Unis, pour des conclusions similaires) : 1) l’établissement d’attentes et d’objectifs précis pour les employés, par exemple l’attente que les programmes statistiques combineront d’office des sources telles que les enquêtes et les dossiers administratifs afin de produire des données pertinentes, exactes et à jour de manière rentable et en imposant un fardeau de réponse minimal; 2) l’attribution d’un rôle important aux spécialistes du domaine - interactions avec les utilisateurs externes et les producteurs internes des données; 3) la dotation des programmes opérationnels en personnel compétent en ce qui concerne toutes les sources de données pertinentes, ce qui inclut mettre sur un pied d’égalité les spécialistes de la conception des enquêtes et les spécialistes des dossiers administratifs ou d’autres sources de données; 4) la rotation des affectations, y compris des rotations internes, des rotations entre organismes statistiques, des rotations avec les organismes utilisateurs des données et des rotations avec les entités fournissant les sources de données de rechange; 5) la mise en place de ressources pour l’évaluation continue et 6) le traitement des organisations possédant des sources de données de rechange qui jouent un rôle important dans les programmes statistiques comme des partenaires. Sur ce dernier point, voir, par exemple, Hendriks (2012, p. 1473), qui, en décrivant les expériences de Statistics Norway au sujet de son premier recensement fondé sur des registres en 2011, insiste sur le fait que « Les trois C des statistiques fondées sur des registres (afin de produire des données de qualité) sont la coopération, la communication et la coordination » [Traduction].
Les organismes statistiques ont montré qu’ils étaient capables d’effectuer des changements de grande portée en réponse aux menaces qui pèsent sur les moyens établis de fonctionnement. La deuxième moitié du 20e siècle a donné le paradigme des enquêtes à échantillonnage probabiliste en réponse à la croissance des coûts et du fardeau associée à la réalisation de dénombrements complets et aux défauts des plans d’échantillonnage non probabilistes. Le 21e siècle peut sans aucun doute nous donner le paradigme de l’utilisation des meilleures sources de données, incluant les enquêtes, les dossiers administratifs et d’autres sources, pour répondre au besoin de statistiques officielles pertinentes, exactes, à jour et rentables des décideurs et des membres du public.
Remerciements
Le présent article est fondé sur les années d’expérience acquise par l’auteure auprès du Committee on National Statistics (CNSTAT), mais les opinions exprimées sont les siennes et ne doivent pas être interprétées comme représentant celles du CNSTAT ni celles de la National Academy of Sciences. L’auteure remercie John Czajka, David Johnson et Rochelle Martinez de leurs commentaires constructifs au sujet d’une version antérieure. Une version plus longue du présent article peut être obtenue sur demande auprès de l’auteure.
Bibliographie
Anderson, M.J. (1988). The American Census: A Social History. New Haven. CT: Yale University Press.
Axelson, M., Homberg, A, Jansson, I., Werner, P. et Westling, S. (2012). Doing a register-based census for the first time: The Swedish experience. Paper presents at the Joint Statistical Meetings, San Diego, CA (août). Statistics Sweden, Stockholm.
Bee, A., Meyer, B.D. et Sullivan, J.X. (2012). The validity of consumption data: Are the consumer expenditure interview and diary surveys informative? NBER Working Paper No. 18308. Cambridge, MA: National Bureau of Economic Research.
Biemer, P., Trewin, D., Bergdahl, H. et Lilli, J. (2014). A system for managing the quality of official statistics, with discussion. Journal of Official Statistics, 30(3, septembre), 381-442.
Brackstone, G. (1999). La gestion de la qualité des données dans un bureau de statistique. Techniques d’enquête, 25(2), 159-171.
Bradburn, N.H. (1992). A response to the nonresponse problem. 1992 AAPOR Presidential Address. Public Opinion Quarterly, 56(3), 391-397.
Citro, C.F. (2012). Editing, Imputation and Weighting. Encyclopedia of the U.S. Census: From the Constitution to the American Community Survey, Second Edition, M. J. Anderson, C.F. Citro et J.J. Salvo, eds, 201-204. Washington, DC: CQ Press.
Couper, M.P. (2013). Is the sky falling? New technology, changing media, and the future of surveys. Keynote presentation at the 5th European Survey Research Association Conference. Ljubliana, Slovenia. http://www.europeansurveyresearch.org/sites/default/files/files/Couper%20keynote.pdf [July 2014].
Czajka, J.L. (2009). SIPP data quality. Appendix A in Reengineering the Survey of Income and Program Participation. National Research Council. Washington, DC: The National Academies Press.
Czajka, J.L. et Denmead, G. (2012). Income measurement for the 21st century: Updating the current population survey. Washington, DC: Mathematica Policy Research. Disponible au http://www. mathematica-mpr.com/~/media/publications/PDFs/family_support/income_measurement_ 21 century.pdf [July 2014].
Czajka, J.L., Jacobson, J.E. et Cody, S. (2004). Survey estimates of wealth: A comparative analysis and review of the Survey of Income and Program Participation. Social Security Bulletin, 65(1). Disponible au http://www.ssa.gov/policy/docs/ssb/v65n1/v65n1p63.html [July 2014].
Daas, P.J.H., Ossen, S.J.L., Tennekes, M. et Nordholt, E.S. (2012). Evaluation of the quality of administrative data used in the Dutch virtual census. Paper presents at the Joint Statistical Meetings, San Diego, CA (août). Methodology Sector and Division of Social and Spatial Statistics, Statistics Netherland, The Hague.
De Leeuw, E.D. et De Heer, W. (2002). Trends in Household Survey Nonresponse: A Longitudinal and International Comparison. R.M. Groves, D.A. Dillman, J. L. Eltinge et R.J.A. Little, eds. Survey Nonresponse, 41-54. New York: Wiley.
Duncan, J. W. et Shelton, W. C. (1978). Revolution in United States Government Statistics 1926–1976. Office of Federal Statistical Policy and Standards, U.S. Department of Commerce. Washington, DC: Government Printing Office.
Eurostat. (2000). Assessment of the quality in statistics. Doc. Eurostat/A4/Quality/00/General/Standard report. Luxembourg (4-5 avril). Disponible au http://www.unece.org/fileadmin/DAM/stats/documents/2000/11/metis/crp.3.e.pdf [July 2014].
Fixler, D. et D.S. Johnson (2012). Accounting for the distribution of income in the U.S. National Accounts. Paper prepared for the NBER Conference on Research in Income and Wealth, 30 septembre. Disponible au http://www.bea.gov/about/pdf/Fixler_Johnson.pdf.
Fricker, S. et R. Tourangeau (2010). Examining the relationship between nonresponse propensity and data quality in two national household surveys. Public Opinion Quarterly, 74(5), 935-955.
Griffin, D. (2011). Cost and workload implications of a voluntary American community survey. U.S. Census Bureau, Washington, DC (June 23).
Groves, R.M. (2011). Three eras of survey research. Public Opinion Quarterly, 75(9), 861-871. Special 75th Anniversary Issue.
Groves, R.M. et Peytcheva, E. (2008). The impact of nonresponse rates on nonresponse bias: A meta-analysis. Public Opinion Quarterly, 72(2), 167-189.
Harris-Kojetin, B. (2012). Federal Household Surveys. Encyclopedia of the U.S. Census: From the Constitution to the American Community Survey, Second Edition, M. J. Anderson, C.F. Citro et J.J. Salvo, eds, 226-234. Washington, DC: CQ Press.
Heckman, J. J. et LaFontaine, P.A. (2010). The American high school graduation rate: trends and levels. NBER Working Paper 13670. Cambridge, MA, National Bureau of Economic Research. Disponible au http://www.nber.org/papers/w13670 [July 2014].
Hendriks, C. (2012). Input data quality in register based statistics-The Norwegian experience. Proceedings of the International Association of Survey Statisticians-JSM 2012, 1473-1480. Article présenté au Joint Statistical Meetings, San Diego, CA (août). Statistics Norway, Kongsvinger, Norway.
Hicks, W. et Kerwin, J. (2011). Cognitive testing of potential changes to the Annual Social and Economic Supplement of the Current Population Survey. Report to the U.S. Census Bureau, Westat, Rockville, MD (25 juillet).
Holt, D.T. (2007).The official statistics Olympics challenge: Wider, deeper, quicker, better, cheaper. The American Statistician, 61(1, février), 1-8. Avec les commentaries de G. Brackstone et J.L. Norwood.
Horrigan, M.W. (2013). Big data: A BLS perspective. Amstat News, 427(janvier), 25-27.
Hoyakem, C., Bollinger, C. et Ziliak, J. (2014). The role of CPS nonresponse on the level and trend in poverty. UKCPR Discussion Paper Series, DP 2014-05. Lexington, KY: University of Kentucky Center for Poverty Research.
Iwig, W., Berning, M., Marck, P. et Prell, M. (2013). Data quality assessment tool for administrative data. Prepared for a subcommittee of the Federal Committee on Statistical Methodology, Washington, DC (février).
Johnson, B et Moore, K. [pas de date]. Consider the source: Differences in estimates of income and wealth from survey and tax data. Disponible au http://www.irs.gov/pub/irs-soi/johnsmoore.pdf [July 2014].
Keller, S.A., Koonin, S.E. et Shipp, S. (2012). Big data and city living - what can it do for us? Statistical Significance, 9(4), 4-7, août.
Kennickell, A. (2011). Look again: Editing and imputation of SCF panel data. Paper prepared for the Joint Statistical Meetings, Miami, FL (août).
Laney, D. (2001). 3-D data management: Controlling data volume, velocity and variety. META Group [now Gartner] Research Note, 6 février. Voir http://goo.gl/Bo3GS [July 2014].
Manski, C.F. (2014). Communicating uncertainty in official economic statistics. NBER Working Paper No. 20098. Cambridge, MA: National Bureau of Economic Research.
McGuire, T., Manyika, J. et Chui, M. (2012). Why big data is the new competitive advantage. Ivey Business Journal (juillet-août).
Meyer, B. D. et Goerge, R.M. (2011). Errors in survey reporting and imputation and their effects on estimates of Food Stamp Program participation. Working Paper. Chicago Harris School of Public Policy, University of Chicago.
Meyer, B.D., Mok, W. K.C. et Sullivan, J.X. (2009). The under-reporting of transfers in household surveys: Its nature and consequences. NBER Working Paper No. 15181. Cambridge, MA: National Bureau of Economic Research.
Moore, J.C., Marquis, K.H. et Bogen, K. (1996). The SIPP cognitive research evaluation experiment: Basic results and documentation. SIPP Working Paper No. 212. U.S. Census Bureau, Washington, DC (janvier). Disponible au http://www.census.gov/sipp/workpapr/wp9601.pdf [July 2014].
Morganstein, D. et Marker, D. (2000). A conversation with Joseph Waksberg. Statistical Science, 15(3), 299-312.
Mule, T. et Konicki, S. (2012). 2010 Census Coverage Measurement Estimation Report: Summary of Estimates of Coverage for Housing Units in the United States. U.S. Census Bureau, Washington, DC.
National Research Council (1995). Measuring Poverty: A New Approach. Washington, DC: The National Academies Press.
National Research Council (2004). The 2000 Census: Counting Under Adversity. Washington, DC: The National Academies Press.
National Research Council (2010a). Envisioning the 2010 Census. Washington, DC: The National Academies Press.
National Research Council (2010b). The Prevention and Treatment of Missing Data in Clinical Trials. Washington, DC: The National Academies Press.
National Research Council (2013a). Measuring What We Spend: Toward a New Consumer Expenditure Survey. Washington, DC: The National Academies Press.
National Research Council (2013b). Nonresponse in Social Science Surveys: A Research Agenda. Washington, DC: The National Academies Press.
National Research Council (2013c). Principles and Practices for a Federal Statistical Agency. Washington, DC: The National Academies Press.
Nelson, N. et West, K. (2014). Interview with Lars Thygesen. Statistical Journal of the IAOS, 30, 67-73.
Passero, B. (2009). The impact of income imputation in the Consumer Expenditure Survey. Monthly Labor Review (août), 25-42.
Prell, M., Bradsher-Fredrick, H., Comisarow, C., Cornman, S., Cox, C., Denbaly, M., Martinez, R.W., Sabol, W. et Vile, M. (2009). Profiles in success of statistical uses of administrative records. Report of a subcommittee of the Federal Committee on Statistical Methodology, U.S. Office of Management and Budget, Washington, DC.
Shapiro, G.M. et Kostanich, D. (1988). High response error and poor coverage are severely hurting the value of household survey data. Proceedings of the Section on Survey Research Methods, 443-448, American Statistical Association, Alexandria, VA. Disponible au http://www.amstat.org/sections/srms/ Proceedings/papers/1988_081.pdf [July 2014].
Steeh, C.G. (1981). Trends in nonresponse rates, 1952-1979. Public Opinion Quarterly, 45, 40-57.
Tourangeau, R. (2004). Survey research and societal change. Annual Review of Psychology, 55, 775-801.
U.S. Office of Management and Budget. (2014). Guidance for Providing and Using Administrative Data for Statistical Purposes. Memorandum M-14-06. Washington, DC.
Waksberg, J. (1978). Sampling methods for random digit dialing. Journal of the American Statistical Association, 73, 40-46.
Woodward, J., Wilson, E. et Chesnut, J. (2007). Evaluation Report Covering Facilities - Final Report. 2006 American Community Survey Content Test Report H.3.U.S. Census Bureau. Washington, DC: U.S. Department of Commerce. Janvier.
Zelenak, M.F. et M.C. David (2013). Impact of Multiple Contacts by Computer-Assisted Telephone Interview and Computer-Assisted Personal Interview on Final Interview Outcome in the American Community Survey. U.S. Census Bureau, Washington, DC.
- Date de modification :