Études analytiques : méthodes et références
Une évaluation des données d’enquêtes non probabilistes en ligne : comparaison de l’enquête au moyen de l’application mobile Carotte Points Santé et de l’Enquête sur la santé dans les collectivités canadiennes

Passer au texte

Début du texte

Remerciements

Les auteurs aimeraient remercier Lauren White, le Dr Marc Mitchell et Megan Nobrega de CARROT Insights Inc. pour leur aide dans l’acquisition des données et leurs commentaires sur le manuscrit.

Résumé

La collecte de données d’enquête au moyen des appareils mobiles, comme les tablettes électroniques et les téléphones intelligents, a fait son apparition au Canada. Cependant, on en sait peu au sujet de la représentativité des données recueillies au moyen de ces appareils. En mars 2017, Statistique Canada a commandé une collecte de données d’enquête par l’intermédiaire de l’application Carotte Points Santé et a inclus 11 questions dans l’enquête réalisée sur l’application mobile Carotte Points Santé (Carotte). Ces questions sont tirées de l’Enquête sur la santé dans les collectivités canadiennes (ESCC) de 2017.

L’objectif du présent document est d’évaluer les caractéristiques sociodémographiques et de la santé des répondants à l’enquête Carotte par rapport à l’échantillon représentatif à l’échelle nationale fourni par l’ESCC de 2017. Les résultats révèlent que les caractéristiques des répondants à l’enquête Carotte et à l’ESCC variaient selon la plupart des caractéristiques sociodémographiques et de la santé. Les répondants à l’enquête Carotte étaient, en nombres disproportionnés, des femmes, des jeunes, des célibataires ou des personnes vivant en union libre, des titulaires d’un diplôme universitaire, des personnes nées au Canada et des résidents de grands centres urbains. De plus, les répondants à l’enquête Carotte ont évalué leur état de santé général, leur santé mentale et leur sentiment d’appartenance à la collectivité de façon défavorable par rapport aux répondants à l’ESCC. En outre, des niveaux relativement faibles de satisfaction à l’égard de la vie étaient particulièrement frappants chez les répondants à l’enquête Carotte, cette différence subsistant même après la prise en compte de covariables importantes.

Ces constatations mettent en évidence le fait que, pour évaluer la qualité des données et leur utilité, il est essentiel de connaître la raison pour laquelle celles-ci sont recueillies. CARROT Insights Inc. utilise ses résultats d’enquête pour améliorer la santé et le bien-être de ses utilisateurs, et ces résultats conviennent certainement à cette fin. Cependant, compte tenu du profil très sélectif et non représentatif des répondants à l’enquête Carotte, ces données ne doivent pas servir à tirer des inférences concernant la population canadienne en général.

1 Introduction

On reconnaît et on parle de plus en plus au sein des organismes du secteur public — y compris les organismes nationaux de statistique — du milieu universitaire et du secteur privé, des défis que posent les enquêtes auprès des ménages (pour un examen de la question, voir Couper, 2017). La diminution des taux de réponse et les coûts relativement élevés font partie des difficultés rencontrées, « les enquêtes téléphoniques… subissant sans doute les plus grands bouleversements depuis un certain temps » (Couper, 2017, p. 124).

Cependant, si l’utilisation croissante des téléphones cellulaires et d’autres technologies fondées sur Internet constitue l’un des facteurs qui nuisent aux enquêtes téléphoniques par composition aléatoire, ces technologies présentent aussi une nouvelle avenue pour la collecte de données. Cela est particulièrement vrai compte tenu de la présence accrue des appareils mobiles connectés à Internet, comme les téléphones intelligents ou les tablettes électroniques^Note , qui permettent de mener des enquêtes auprès des répondants à n’importe quel moment, n’importe où. La collecte de données au moyen des appareils mobiles est maintenant répandue dans de nombreux pays (Şahin et Yan, 2013), et les recherches publiées sur les enjeux connexes sont de plus en plus nombreuses (p. ex. Raento, Oulasvirta et Eagle, 2009; Sugie, 2016).

Les questions liées à la couverture, à la représentativité et à l’échantillonnage des répondants continuent d’être au cœur des discussions concernant la collecte de données au moyen des appareils mobiles connectés à Internet. En 2015, 86 % des ménages canadiens étaient abonnés à des services de téléphonie mobile. Chez les Canadiens de 18 ans et plus, 73 % d’entre eux possédaient un téléphone intelligent et 52 % possédaient une tablette électronique (Conseil de la radiodiffusion et des télécommunications canadiennes, 2016). Néanmoins, les taux de couverture sont toujours inférieurs à ceux obtenus au moyen des lignes téléphoniques terrestres au cours des dernières décennies, alors que les enquêtes téléphoniques par composition aléatoire constituaient la norme (Couper, 2017). Cela soulève des questions quant à la sélection des répondants en fonction des personnes qui possèdent et utilisent un téléphone intelligent. Des enjeux liés à la sélection des répondants surgissent quant au type de personnes qui choisissent de télécharger une application précise et, parmi celles-ci, un autre enjeu émerge quant aux personnes qui choisissent de répondre à des enquêtes précises. Dans l’ensemble, les activités de collecte de données au moyen des appareils mobiles en fonction d’échantillons non probabilistes soulèvent des préoccupations au sujet de l’inférence statistique et de la possibilité de généraliser à des populations plus vastes.

La collecte de données d’enquête au moyen des appareils mobiles a fait son apparition au Canada. Une organisation s’adonnant à cette activité est CARROT Insights Inc., une nouvelle entreprise ayant fait beaucoup parler d’elle depuis sa fondation en 2016. L’application Carotte Points Santé offre une plateforme de participation publique conçue pour inciter les utilisateurs à adopter des comportements sains, comme marcher davantage et manger mieux, en leur accordant des points dans le cadre de programmes de fidélisation des consommateurs populaires (p. ex. points échangés contre des voyages, des films, de l’essence et des produits alimentaires). Les gens peuvent télécharger gratuitement l’application mobile Carotte Points Santé à partir de l’Apple App Store et de Google Play. Comme indiqué dans l’application Carotte Points Santé (2018), « Carotte Points Santé est une plateforme de participation publique fondée sur l’intelligence artificielle qui met à profit l’économie comportementale (théorie de l’incitation) pour encourager, promouvoir et récompenser les habitudes de vie responsables. Carotte mise sur le pouvoir des programmes de fidélisation des consommateurs les plus populaires pour maximiser l’attrait de sa plateforme et la participation des utilisateurs ».

CARROT Insights Inc. a reçu du financement de l’Agence de la santé publique du Canada et du gouvernement de la Colombie-Britannique, et travaille en collaboration avec des organismes non gouvernementaux œuvrant dans le domaine de la santé^Note  et le secteur privé. Depuis son lancement en Colombie-Britannique en 2016, l’application Carotte Points Santé a été lancée en Ontario et à Terre-Neuve-et-Labrador. L’application Carotte Points Santé suscite beaucoup d’intérêt : Carotte Points Santé (2018) a signalé « plus d’un million de consommateurs canadiens » et a été reconnue comme étant l’application mobile canadienne de l’année en 2017.

Dans le cadre de ses activités, CARROT Insights Inc. mène des enquêtes en ligne auprès de ses utilisateurs. Le matériel promotionnel initial de CARROT Insights Inc. attirait l’attention sur la richesse des données sur les attitudes et les comportements recueillies auprès des utilisateurs et soulignait l’importance de ces renseignements pour améliorer l’efficience, l’efficacité et l’adéquation des interventions et des campagnes de mobilisation pour ses utilisateurs et ses partenaires. CARROT Insights Inc. ne prétend pas pouvoir généraliser ses données à la population canadienne.

En mars 2017, Statistique Canada a commandé une collecte de données d’enquête par l’intermédiaire de l’application Carotte Points Santé. Cette initiative faisait partie des efforts globaux de Statistique Canada pour trouver d’autres sources de données pouvant être utilisées à diverses fins (p. ex. l’estimation directe des caractéristiques de la population et l’amélioration des estimations directes au moyen des techniques d’estimation sur petits domaines). CARROT Insights Inc. a été choisie compte tenu de sa collaboration initiale avec le gouvernement fédéral, de la popularité de l’application Carotte Points Santé et de la possibilité qu’offrait cette dernière d’évaluer la collecte de données non probabilistes en ligne. La rapidité d’exécution et les coûts relativement faibles de l’enquête réalisée sur l’application mobile Carotte Points Santé (Carotte) ont également constitué des facteurs dont Statistique Canada a tenu compte.

Statistique Canada a inclus 11 questions dans l’enquête Carotte. Ces questions sont tirées de l’Enquête sur la santé dans les collectivités canadiennes (ESCC) de 2017, qui se compose d’un échantillon de Canadiens représentatif à l’échelle nationale. Cette enquête a fourni un cadre permettant d’évaluer la représentativité des répondants à l’enquête Carotte. Les questions ont été choisies dans le but d’évaluer l’utilité des données de l’enquête Carotte aux fins d’utilisation dans l’estimation sur petits domaines et avec d’autres techniques méthodologiques.

L’objectif du présent document est d’évaluer les caractéristiques sociodémographiques et de la santé des répondants à l’enquête Carotte par rapport à l’échantillon de Canadiens représentatif à l’échelle nationale fourni par l’ESCC. L’évaluation de l’incidence de l’application Carotte Points Santé sur le bien-être et les comportements influant sur la santé va au-delà de la portée du présent document et du mandat de Statistique Canada.

Ce document est organisé en quatre sections. À la section 2, les caractéristiques des répondants à l’enquête Carotte et à l’ESCC sont comparées selon 13 variables^Note , et des conclusions sont tirées quant à la représentativité des répondants à l’enquête Carotte. La section 3 permet d’examiner plus en détail les relations entre les variables présentes dans les données de l’enquête Carotte et de les comparer aux relations observées dans l’ESCC. La section 4 présente une analyse multivariée de la satisfaction à l’égard de la vie déclarée par les répondants à l’enquête Carotte et à l’ESCC. Cet exercice a pour but de documenter davantage l’autosélection potentielle des répondants à l’enquête Carotte en fonction de caractéristiques non observées. La section 5 présente les conclusions de l’étude.

2 Caractéristiques des répondants à l’Enquête sur la santé dans les collectivités canadiennes et à l’enquête par l’intermédiaire de l’application mobile Carotte Points Santé

À la fin de mars 2017, Statistique Canada a travaillé en collaboration avec CARROT Insights Inc. et le gouvernement de la Colombie-Britannique à la sélection, à la formulation et à des échelles de réponse de 11 questions à inclure à l’enquête Carotte (voir le tableau 1 en annexe). Les questions étaient identiques aux questions de l’Enquête sur la santé dans les collectivités canadiennes (ESCC) ou les reproduisaient aussi fidèlement que possible. CARROT Insights Inc. a recueilli des données d’avril à juin 2017 auprès de répondants dans trois provinces (Colombie‑Britannique, Ontario et Terre-Neuve-et-Labrador).

À la fin de juillet 2017, Statistique Canada a reçu un fichier de données renfermant 297 865 observations. De ce nombre, 153 508 répondants ont répondu à l’enquête en ligne et 144 357 n’y ont pas répondu. Parmi les utilisateurs de l’application Carotte Points Santé qui n’ont pas répondu à l’enquête, 34,6 % étaient des hommes et 63,6 % étaient des femmes^Note . Parmi les utilisateurs de l’application Carotte Points Santé qui ont répondu à l’enquête, 31,2 % étaient des hommes et 67,4 % étaient des femmes^Note . Aucun renseignement n’est disponible sur d’autres caractéristiques des utilisateurs de l’application Carotte Points Santé n’ayant pas répondu à l’enquête. Aucuns poids de sondage n’ont été fournis ou utilisés aux fins de l’analyse des données de l’enquête Carotte.

L’ESCC est une enquête transversale annuelle permettant de recueillir des renseignements liés à l’état de santé, à l’utilisation des soins de santé et aux déterminants de la santé pour la population canadienne de 12 ans et plus résidant dans les 10 provinces et les trois territoires. Les personnes vivant dans les réserves indiennes ou sur des terres de la Couronne, les pensionnaires d’un établissement institutionnel, les membres à plein temps des Forces armées canadiennes, les jeunes de 12 à 17 ans qui vivent en foyer d’accueil et les résidents de certaines régions éloignées ont été exclus du champ de l’enquête (formant ensemble 2 % de la population canadienne âgée de 12 ans et plus). L’analyse des données de l’ESCC présentée ci-dessous repose sur les données de 2017. Au total, 26 730 répondants à l’ESCC de la Colombie‑Britannique, de l’Ontario et de Terre-Neuve-et-Labrador ont été inclus. Les répondants à l’ESCC de 13 ans ou plus ont été conservés dans l’analyse pour maintenir la cohérence avec les groupes d’âge des répondants à l’enquête Carotte. Toutes les estimations tirées des données de l’ESCC reposent sur des données pondérées^Note .

Les taux de données manquantes pour une question dans les données de l’ESCC et de l’enquête Carotte^Note  étaient généralement inférieurs à 5 % et de moins de 3 % dans la plupart des cas (voir le tableau 2 en annexe). La seule exception digne de mention était le taux élevé de données manquantes pour la question portant sur le revenu du ménage chez les répondants à l’enquête Carotte^Note . Les données manquantes sont exclues des comparaisons de l’ESCC et l’enquête Carotte présentées à la section 3.

2.1 Caractéristiques sociodémographiques

Les caractéristiques des répondants à l’ESCC de 2017 et à l’enquête Carotte de 2017 sont présentées dans la partie 1 du tableau 1. Des renseignements comparables sont également présentés pour les répondants de 25 à 44 ans dans la partie 2 du tableau 1. Comme indiqué ci‑dessous, les jeunes répondants étaient surreprésentés dans les données de l’enquête Carotte, ce qui soulève la possibilité que les différences observées selon les autres variables, comme l’état matrimonial et le niveau de scolarité, découlent simplement de cette différence d’âge. La partie 2 permet d’évaluer cette possibilité.

Conformément à ce qu’on retrouve dans d’autres études (de Bruijne et Wijnant, 2013; Peterson, 2012; Wells, Bailey et Link, 2014), les répondants à l’enquête Carotte étaient des femmes en nombre disproportionné et des jeunes en nombre disproportionné. En effet, 51 % des répondants à l’ESCC étaient des femmes, 68 % des répondants à l’enquête Carotte étaient des femmes. Une différence semblable (17 points de pourcentage) a été observée chez les répondants de 25 à 44 ans.

En ce qui a trait à l’âge, la proportion des répondants à l’enquête Carotte dans la vingtaine était de 20 points de pourcentage plus élevés que celle des répondants à l’ESCC (s’établissant à 35 % et à 15 %, respectivement), et la proportion des répondants dans la trentaine était de 11 points de pourcentage plus élevés (s’établissant à 27 % et 16 %, respectivement). À l’inverse, la proportion des répondants à l’enquête Carotte de 55 ans ou plus était de près de 27 points de pourcentage plus faible que la proportion des répondants à l’ESCC, s’établissant à 9 % et 35 %, respectivement.

Des différences quant à l’état matrimonial des répondants ont également été observées dans les deux fichiers de données. Des proportions plus faibles de répondants à l’enquête Carotte étaient mariés (une différence de 11 points de pourcentage) comparativement aux répondants à l’ESCC, tandis que des proportions plus grandes étaient célibataires ou en union libre (des différences de 6 à 7 points de pourcentage). Parmi les répondants de 25 à 44 ans, les répondants à l’enquête Carotte étaient également moins susceptibles d’être mariés que les répondants à l’ESCC (43 % et 52 %, respectivement), cette différence étant en majeure partie attribuable aux proportions plus grandes de répondants à l’enquête Carotte qui était en union libre ou célibataires.

Le niveau de scolarité était considérablement plus élevé chez les répondants à l’enquête Carotte que chez les répondants à l’ESCC, une différence de 13 points de pourcentage ayant été observée dans les proportions de répondants ayant déclaré être titulaires d’un baccalauréat ou d’un diplôme universitaire supérieur (40 % et 27 %, respectivement). Le profil d’âge plus jeune des répondants à l’enquête Carotte explique en partie cette différence. Parmi les répondants à l’enquête Carotte et à l’ESCC de 25 à 44 ans, les proportions d’entre eux qui sont titulaires d’un diplôme universitaire ou d’un diplôme d’études supérieures étaient de 46 % et de 39 %, respectivement.

La proportion des répondants à l’enquête Carotte qui s’identifient comme étant des immigrants au Canada était légèrement plus faible que la proportion des répondants à l’ESCC, s’établissant à 27 % et 33 %, respectivement. Les proportions étaient semblables chez les répondants de 25 à 44 ans.

Pour ce qui est de l’activité principale, les répondants à l’enquête Carotte étaient plus susceptibles que les répondants à l’ESCC d’occuper un emploi (69 % et 55 %, respectivement) et moins susceptibles d’être à la retraite (4 % et 20 %, respectivement). Cependant, ce résultat est en grande partie attribuable aux caractéristiques d’âge différentes des deux échantillons. Parmi les répondants de 25 à 44 ans, peu de différences ont été observées dans les activités principales déclarées.

Les répartitions des répondants à l’enquête Carotte et à l’ESCC dans les catégories de revenu du ménage ont été difficiles à comparer, car 19 % des répondants à l’enquête Carotte (et 16 % des répondants à l’enquête Carotte de 25 à 44 ans) n’ont pas répondu à cette question (données non présentées). Bien que les répondants à l’enquête Carotte étaient moins susceptibles que les répondants à l’ESCC de déclarer vivre au sein d’un ménage ayant un revenu de 100 000 $ ou plus (une différence de 18 points de pourcentage), il a été impossible de déterminer si cela était attribuable au fait que la non-réponse était particulièrement élevée chez les répondants à l’enquête Carotte ayant un revenu du ménage élevé.

Dans l’ensemble des trois provinces, les répondants à l’enquête Carotte étaient surreprésentés dans les grands centres urbains. En Colombie-Britannique, 65 % des répondants à l’enquête Carotte et 51 % des répondants à l’ESCC habitaient dans des centres urbains comptant plus de 1 million d’habitants (c.-à-d. dans la région métropolitaine de recensement [RMR] de Vancouver). Cette différence s’est traduite par de plus faibles proportions de répondants à l’enquête Carotte habitant dans des régions rurales ou au sein de collectivités comptant moins de 30 000 habitants (voir le tableau 3 en annexe). La surreprésentation des répondants à l’enquête Carotte dans la RMR de Vancouver était semblable, mais la différence était légèrement moins grande — s’établissant à 11 points de pourcentage — chez les répondants de la Colombie‑Britannique de 25 à 44 ans (voir le tableau 4 en annexe).

En Ontario, les proportions de répondants à l’enquête Carotte et à l’ESCC habitant dans des centres urbains comptant plus de 1 million d’habitants étaient de 52 % et 48 %, respectivement, la différence se traduisant encore une fois par de plus faibles proportions de répondants à l’enquête Carotte habitant dans des régions rurales et de petites villes (voir le tableau 3 en annexe). Aucune différence n’a été observée chez les répondants de 25 à 44 ans (voir le tableau 4 en annexe).

À Terre-Neuve-et-Labrador, 60 % des répondants à l’enquête Carotte et 39 % des répondants à l’ESCC habitaient à St. John’s, un centre urbain comptant plus de 100 000 habitants. Encore une fois, cette différence de 21 points de pourcentage s’est traduite par de plus faibles proportions de répondants à l’enquête Carotte habitant dans des régions rurales (une différence de 16 points de pourcentage) et de petites collectivités (une différence de 5 points de pourcentage; voir le tableau 3 en annexe). La tendance était semblable chez les répondants de 25 à 44 ans (voir le tableau 4 en annexe).

Pour résumer cette section, les caractéristiques des répondants à l’enquête Carotte et à l’ESCC variaient selon la plupart des variables démographiques. Les différences étaient plus importantes selon le sexe, l’âge et le lieu de résidence, et un peu plus modestes selon l’état matrimonial, le niveau de scolarité et le statut d’immigration. Dans l’ensemble, les répondants à l’enquête Carotte étaient, en nombres disproportionnés, des femmes, des jeunes, des célibataires ou des personnes vivant en union libre, des titulaires d’un diplôme universitaire, des personnes nées au Canada et des résidents de grands centres urbains. C’était le cas chez les répondants de tous les âges et chez les répondants de 25 à 44 ans.

Ces différences entre les caractéristiques étaient évidentes dans l’ensemble des trois provinces dans lesquelles l’enquête Carotte a été menée, même si l’importance de la différence variait dans certains cas (voir le tableau 3 en annexe). Par exemple, en Colombie-Britannique et en Ontario, les proportions de répondants à l’enquête Carotte qui étaient des femmes étaient de 16 à 17 points de pourcentage plus grandes que les proportions de répondants à l’ESCC, tandis qu’à Terre-Neuve-et-Labrador, cette différence était de 24 points de pourcentage. De même, à Terre‑Neuve-et-Labrador, la surreprésentation des répondants à l’enquête Carotte qui sont titulaires d’un diplôme universitaire était plus importante qu’en Colombie-Britannique et en Ontario, tout comme l’était la surreprésentation des répondants à l’enquête Carotte dont l’activité principale était de travailler.

2.2 Caractéristiques de la santé et du bien-être

En plus des différences sociodémographiques examinées ci-dessus, d’importantes différences entre les caractéristiques étaient évidentes selon les quatre mesures du bien-être incluses tant dans l’ESCC que dans l’enquête Carotte. Étant donné que l’amélioration des comportements influant sur la santé constitue l’objectif premier de l’initiative Carotte, on pourrait s’attendre à ce que les gens qui cherchent à améliorer leur santé soient plus susceptibles de télécharger et d’utiliser l’application Carotte Points Santé. Cela pourrait également inclure des personnes à qui un professionnel de la santé a conseillé d’améliorer leurs comportements influant sur la santé ou des personnes qui étaient plus susceptibles de ressentir le besoin d’améliorer leur vie.

En ce qui a trait à l’autoévaluation qu’ont faite les répondants de leur état de santé général, 37 % des répondants à l’enquête Carotte et 60 % des répondants à l’ESCC ont évalué leur état de santé général comme étant très bon ou excellent. Cette différence de 23 points de pourcentage était attribuable à des proportions plus grandes de répondants à l’enquête Carotte ayant évalué leur état de santé général comme étant bon ou passable. La différence était encore plus marquée — s’établissant à 33 points de pourcentage — chez les répondants de 25 à 44 ans (voir le tableau 1). De même, des différences de 20 points de pourcentage ou plus étaient évidentes dans chacune des trois provinces (voir le tableau 3 en annexe) et chez les répondants de 25 à 44 ans dans chaque province (voir le tableau 4 en annexe).

L’évaluation qu’ont faite les répondants à l’enquête Carotte de leur santé mentale était également moins positive que celle de leurs homologues de l’ESCC. Si 69 % des répondants à l’ESCC ont évalué leur santé mentale comme étant très bonne ou excellente, c’était le cas pour seulement 44 % des répondants à l’enquête Carotte, ce qui représente une différence de 25 points de pourcentage. En outre, 8 % des répondants à l’ESCC ont évalué leur santé mentale comme étant passable ou mauvaise, comparativement à 23 % des répondants à l’enquête Carotte. Les différences avaient la même ampleur chez les répondants de 25 à 44 ans (voir le tableau 1), et elles étaient évidentes dans l’ensemble des trois provinces (voir le tableau 3 en annexe) et chez les répondants âgés de 25 à 44 ans dans chaque province (voir le tableau 4 en annexe).

Les répondants à l’enquête Carotte étaient également moins susceptibles de déclarer un fort sentiment d’appartenance à leur collectivité locale. Chez les répondants à l’ESCC, 72 % ont évalué leur sentiment d’appartenance à la collectivité comme étant un peu ou très fort, comparativement à 50 % des répondants à l’enquête Carotte. Les résultats étaient sensiblement les mêmes chez les répondants de 25 à 44 ans (voir le tableau 1), chez ceux dans chacune des trois provinces (voir le tableau 3 en annexe) et chez les répondants âgés de 25 à 44 ans dans chaque province (voir le tableau 4 en annexe). Cela donne à penser que les répondants à l’enquête Carotte avaient tendance à avoir de faibles liens sociaux, étant donné que le sentiment d’appartenance à la collectivité est un concept multidimensionnel dont les réseaux sociaux constituent une composante particulièrement importante (Schellenberg et coll., 2018).

Enfin, les répondants à l’enquête Carotte ont déclaré des niveaux beaucoup plus faibles de satisfaction à l’égard de la vie que les répondants à l’ESCC. Sur une échelle de réponse de 0 à 10, une proportion de 71 % des répondants à l’ESCC ont chiffré la satisfaction qu’ils éprouvent à l’égard de la vie à 8 ou plus, comparativement à seulement 38 % des répondants à l’enquête Carotte. À l’inverse, 29 % des répondants à l’enquête Carotte ont chiffré leur satisfaction à l’égard de la vie à 5 ou moins, comparativement à 8 % des répondants à l’ESCC. Là encore, les résultats étaient sensiblement les mêmes chez les répondants de 25 à 44 ans (voir le tableau 1), chez ceux dans chacune des trois provinces (voir le tableau 3 en annexe) et chez les répondants de 25 à 44 ans dans chaque province (voir le tableau 4 en annexe).

En plus de ces quatre mesures du bien-être, les répondants ont également déclaré avoir reçu ou non un diagnostic d’hypertension artérielle d’un professionnel de la santé. Une petite différence (4 points de pourcentage) a été observée entre les répondants à l’ESCC (18 %) et à l’enquête Carotte (14 %) ayant déclaré avoir reçu un diagnostic d’hypertension artérielle. Cependant, cette différence était inversée et doublée chez les répondants de 25 à 44 ans (voir le tableau 1). Si de petites différences entre les répondants à l’ESCC et à l’enquête Carotte ont été observées en Colombie-Britannique et en Ontario, une grande différence a été observée pour Terre‑Neuve‑et‑Labrador, alors que 25 % des répondants à l’ESCC ont déclaré avoir reçu un diagnostic d’hypertension artérielle, comparativement à 15 % des répondants à l’enquête Carotte (voir le tableau 3 en annexe).

Dans l’ensemble, les répondants à l’enquête Carotte ont évalué leur bien-être de façon défavorable par rapport aux répondants à l’ESCC, des différences de 25 à 30 points de pourcentage ayant été observées dans l’autoévaluation positive de l’état de santé général, de la santé mentale et de la satisfaction à l’égard de la vie, et une différence de 20 à 25 points de pourcentage ayant été observée dans l’évaluation positive de leur sentiment d’appartenance à leur collectivité locale. Pour ce qui est d’avoir reçu un diagnostic d’hypertension artérielle, des différences relativement modestes ont été observées, sauf à Terre-Neuve-et-Labrador^Note .

3 Corrélations entre les éléments des deux enquêtes

En plus des différences observées entre les caractéristiques des répondants à l’enquête Carotte et à l’ESCC, un autre enjeu lié aux possibilités de généralisation était la mesure dans laquelle les relations observées entre les variables dans les données de l’enquête Carotte étaient représentatives des relations observées entre les mêmes variables chez la population en général (c.-à-d. l’échantillon représentatif des répondants à l’ESCC). Des coefficients de corrélation de Pearson (r) fondés sur les répondants de 25 à 44 ans sont présentés dans le tableau 2^Note .

La plupart des coefficients de corrélation dans les deux ensembles de données (53 sur 66) présentaient la même direction de la relation (c.-à-d. une corrélation positive ou négative), même si ce n’était pas toujours le cas. Par exemple, les corrélations entre les variables du niveau de scolarité et de l’état matrimonial étaient négatives dans l’ESCC (r = -0,09), mais positives dans les données de l’enquête Carotte (r = 0,06).

Il y avait également des différences dans la force de certaines des corrélations observées dans les données de l’ESCC et de l’enquête Carotte, en particulier celles ayant trait aux mesures du bien-être. Par exemple, la relation entre l’activité principale et l’état de santé général autoévalué était plus forte dans les données de l’ESCC que dans les données de l’enquête Carotte (r = 0,23 et 0,06, respectivement), comme l’étaient les relations entre la satisfaction à l’égard de la vie et l’état de santé général (r = -0,46 et -0,28) et la santé mentale (r = -0,53 et -0,33). Dans l’ensemble, les relations observées entre les variables dans les données de l’enquête Carotte étaient généralement comparables à celles observées entre les mêmes variables dans l’ESCC. Cela étant dit, l’importance de certains des coefficients de corrélation concernant la santé et le bien‑être était différente entre les deux sources de données.

4 Satisfaction à l’égard de la vie chez les répondants aux deux enquêtes

Les questions incluses dans l’enquête Carotte et l’ESCC comprenaient des covariables de la satisfaction à l’égard de la vie bien établies dans les recherches publiées (p. ex. l’état matrimonial, la situation vis-à-vis du chômage, l’état de santé général, la santé mentale ou les liens sociaux). Ces dernières ont été incluses pour évaluer si les différences importantes observées dans la satisfaction à l’égard de la vie subsistaient entre les répondants à l’enquête Carotte et à l’ESCC, abstraction faite de ces covariables. Un écart subsistant pourrait indiquer des différences qui sont autrement demeurées non observées dans les deux échantillons. Par exemple, les personnes qui veulent apporter ou ont besoin d’apporter des améliorations à leur vie peuvent être particulièrement susceptibles de devenir des utilisateurs de l’application Carotte Points Santé. En effet, l’application a été conçue pour ce groupe d’utilisateurs. Cependant, si ces caractéristiques, attitudes ou motivations distinguent davantage les utilisateurs de l’application Carotte Points Santé de la population en général, cela pourrait réduire les possibilités de tirer des inférences sur la population en général à partir des données de l’enquête Carotte.

Pour comparer la satisfaction à l’égard de la vie des répondants à l’enquête Carotte et à l’ESCC, les données des deux sources ont été combinées en un fichier unique. Une régression de la satisfaction à l’égard de la vie a ensuite été réalisée en fonction de 12 variables indépendantes : le sexe, l’âge, le niveau de scolarité, l’état matrimonial, le statut d’immigration, la province de résidence, le lieu de résidence urbain/rural, l’activité principale, le revenu du ménage, l’état de santé général autoévalué, la santé mentale autoévaluée et le sentiment d’appartenance à la collectivité locale. De plus, une variable nominale distinguant les répondants à l’enquête Carotte des répondants à l’ESCC a été incluse comme treizième variable et a fait l’objet de l’analyse. La régression a été restreinte aux personnes de 25 à 44 ans^Note  afin de réduire l’incidence des interactions avec l’âge, et les échantillons ont été repondérés pour assurer que les deux groupes contribueraient dans la même mesure au modèle.

Le modèle 1 présenté dans le tableau 3 inclut seulement la variable nominale de l’enquête Carotte et de l’ESCC et indique que, en l’absence de toute autre covariable, la satisfaction à l’égard de la vie était de 1,64 point plus élevée chez les répondants à l’ESCC comparativement aux répondants à l’enquête Carotte, sur une échelle de 0 à 10. L’ampleur de cet effet est énorme et est semblable à celui généralement observé entre les personnes en excellente santé par opposition à une santé mauvaise ou passable. Cette différence subsistait lorsque les caractéristiques sociodémographiques étaient ajoutées (modèles 2 et 3). L’inclusion de l’état de santé général autoévalué réduisait la différence observée dans la satisfaction à l’égard de la vie chez les répondants à l’enquête Carotte et à l’ESCC à 1,13 point (modèle 4), et l’ajout subséquent de la santé mentale autoévaluée la réduisait encore davantage à 0,96 point (modèle 5). Enfin, l’inclusion du sentiment d’appartenance à la collectivité réduisait la covariable de l’enquête Carotte et de l’ESCC à 0,93 point (modèle 6).

Dans l’ensemble, même lorsque de nombreuses corrélations fortes et bien établies liées à la satisfaction à l’égard de la vie étaient prises en compte, les répondants à l’enquête Carotte obtenaient 0,93 point de moins que leurs homologues de l’ESCC sur l’échelle de satisfaction à l’égard de la vie de 11 points. L’ampleur de cette différence est grande. D’autres ensembles d’analyses de régression ordinale menées à l’égard de l’état de santé général autoévalué et de la santé mentale ont donné une différence de même ampleur entre les répondants à l’enquête Carotte et à l’ESCC (les résultats sont disponibles auprès des auteurs sur demande).

Plusieurs éléments pourraient éventuellement expliquer la différence observée dans la satisfaction à l’égard de la vie. En premier lieu, les réponses liées à la satisfaction à l’égard de la vie des répondants à l’enquête Carotte et à l’ESCC peuvent être influencées par le contenu différent de chaque enquête (c.-à-d. des effets de base de sondage). Cette explication n’est pas convaincante. Bonikowska et coll. (2013) ont révélé que, entre des cycles successifs de l’Enquête sociale générale (ESG), les réponses liées à la satisfaction à l’égard de la vie étaient moins favorables dans les enquêtes sur l’emploi du temps de l’ESG et plus favorables dans les enquêtes sur la victimisation de l’ESG qu’elles l’étaient dans d’autres cycles. Cependant, l’ampleur des effets de la base de sondage de l’ESG, prenant en compte la plupart des mêmes covariables (voir le tableau 4 dans Bonikowska et coll., 2013), était de -0,25 dans les enquêtes sur l’emploi du temps de l’ESG et de +0,28 dans les enquêtes sur la victimisation de l’ESG, une différence nettement moins grande que celle de 0,94 observée entre l’enquête Carotte et l’ESCC. En outre, les différences considérables dans le contenu des enquêtes entre des cycles successifs de l’ESG diminuent les effets potentiels de la base de sondage qu’imposaient la dizaine de questions environ dans l’enquête Carotte. Enfin, l’enquête Carotte et l’ESCC portaient toutes deux sur la santé, ce qui affaiblit encore davantage l’argument selon lequel le contenu des enquêtes a entraîné la différence observée dans la satisfaction à l’égard de la vie.

Les effets du mode d’enquête constituent une deuxième explication possible des différences entre l’enquête Carotte et l’ESCC dans la satisfaction à l’égard de la vie. Les personnes peuvent répondre différemment aux questions d’enquête lorsqu’elles remplissent un questionnaire d’enquête en ligne sur un appareil mobile, plutôt que sur un appareil de bureau — comme un ordinateur personnel — ou dans le cadre d’une interview téléphonique. Cette possibilité a été examinée, et il a été constaté que les personnes ayant répondu à l’ESCC dans le cadre d’une interview sur place ont obtenu 0,16 point de moins que leurs homologues de l’ESCC ayant participé à une interview téléphonique. Cependant, les répondants à l’enquête Carotte ont obtenu 1,70 point de moins que leurs homologues de l’ESCC ayant participé à une interview téléphonique (voir le tableau 4).

Lorsque les caractéristiques sociodémographiques (modèle 2) étaient prises en compte, il n’y avait pas de différences significatives (0,07 point) entre les deux groupes de répondants à l’ESCC (c.-à-d. ceux ayant répondu à l’enquête au moyen d’une interview sur place par rapport à une interview téléphonique), mais les répondants à l’enquête Carotte ont néanmoins obtenu 1,63 point de moins que leurs homologues de l’ESCC ayant participé à une interview téléphonique. Les répondants à l’enquête Carotte ont continué d’obtenir 0,92 point de moins relativement à la satisfaction à l’égard de la vie même après la prise en compte de l’ensemble complet des covariables disponibles. Cela donne à penser que les effets du mode d’enquête n’étaient pas un facteur. Cette constatation est conforme à l’étude de Couper, Antoun et Mavletova (2017, p. 149), dans laquelle les auteurs ont conclu qu’« un ensemble de constatations positives se dégageant clairement de la documentation est qu’il existe généralement peu de différences dans l’erreur de mesure entre les répondants à une enquête en ligne sur un appareil mobile et sur un ordinateur personnel ». Cette constatation a également été soulignée dans l’examen de la documentation de Couper (2017). Les principales différences associées au fait de répondre aux enquêtes en ligne au moyen d’appareils mobiles sont plutôt « les plus faibles taux de réponse, les taux d’interruption plus élevés et les délais d’achèvement plus longs que le fait de répondre aux enquêtes en ligne au moyen d’un ordinateur personnel » (Couper, Antoun et Mavletova 2017, p. 149).

5 Conclusions

L’enquête menée au moyen de l’application Carotte Points Santé met en évidence le potentiel de la collecte de données en ligne. Pendant seulement quatre mois, une courte enquête a été menée dans trois provinces, et les réponses de plus de 153 500 Canadiens ont été recueillies. La rapidité d’exécution, le coût relativement faible et un grand échantillon sont des caractéristiques probablement attrayantes pour les clients éventuels cherchant à recueillir des données en ligne afin de répondre à leurs besoins en information. Cependant, les résultats présentés ci-dessus indiquent clairement que les utilisateurs de l’application Carotte Points Santé ayant répondu à l’enquête présentent des différences importantes par rapport à la population canadienne en général.

Compte tenu de l’objectif de CARROT Insights Inc. qui consiste à améliorer la santé et le bien‑être, il n’est pas étonnant que les répondants à l’enquête aient évalué leur santé de façon moins favorable que la population en général. Comparativement à l’échantillon représentatif de Canadiens de 25 à 44 ans de l’ESCC, les répondants à l’enquête réalisée sur l’application mobile Carotte Points Santé (Carotte) étaient plus susceptibles de déclarer avoir reçu un diagnostic d’hypertension artérielle, plus susceptibles d’évaluer leur état de santé général comme étant passable ou mauvais et plus susceptibles d’évaluer leur santé mentale comme étant passable ou mauvaise. Il est donc possible de conclure que Carotte Points Santé réussit à rejoindre les Canadiens qui, d’après leur propre évaluation, ont besoin d’améliorer leur santé. À cet égard, la non-représentativité de l’échantillon pourrait être considérée comme un indicateur du succès de Carotte Points Santé.

D’autres aspects de l’échantillon sont également dignes de mention. Comparativement à la population en général, les répondants à l’enquête Carotte étaient plus susceptibles d’avoir un faible sentiment d’appartenance à leur collectivité locale. Cela peut témoigner de liens faibles avec la famille, les amis ou les voisins, bien que d’autres facteurs — comme les attraits locaux et la durée de résidence dans la collectivité — puissent être en jeu. L’examen de tels enjeux exigerait davantage de questions qu’il est possible d’en poser dans une seule enquête en ligne. Les résultats liés à l’appartenance à la collectivité mettent aussi en évidence la relation entre les liens sociaux et la santé, qui constitue un domaine de recherche internationale grandissant (voir Jetten, Haslam et Alexander Haslam, 2012).

Les niveaux relativement faibles de satisfaction à l’égard de la vie chez les répondants à l’enquête Carotte étaient peut-être la caractéristique la plus frappante de l’échantillon. Cette différence subsistait même après la prise en compte de covariables importantes, comme le chômage, l’état de santé général, la santé mentale et l’appartenance à la collectivité. Il est possible d’en conclure que, compte tenu d’un mauvais état de santé et d’un manque de satisfaction à l’égard de la vie, les utilisateurs de l’application Carotte Points Santé étaient particulièrement motivés à apporter des changements. Leur acquisition et leur utilisation de l’application Carotte Points Santé peuvent témoigner de cette volonté. Au risque de spéculer, leurs niveaux relativement faibles de satisfaction à l’égard de la vie peuvent témoigner de leur évaluation de la distance qui subsiste entre leur vie actuelle et la vie qu’ils espèrent avoir. L’échelle de Cantril repose sur cette mesure d’évaluation^Note  du bien-être subjectif recueillie dans le cadre du sondage mondial Gallup et utilisée dans l’enquête World Happiness Report (rapport mondial sur le bonheur) (Helliwell, Layard et Sachs, 2018). Cette interprétation met également en évidence le potentiel des caractéristiques non observées — dans ce cas-ci, la motivation à changer sa vie — pouvant permettre de distinguer davantage les répondants à l’enquête Carotte de la population en général.

Les fins auxquelles des données sont recueillies sont essentielles pour évaluer la qualité des données et leur adéquation à leur utilisation. Comme souligné d’entrée de jeu, CARROT Insights Inc. ne prétend pas pouvoir assurer la représentativité de ses répondants ou généraliser ses résultats d’enquête à la population canadienne. Elle met plutôt en évidence son utilisation des résultats d’enquête pour améliorer l’efficacité et l’adéquation des initiatives conçues pour améliorer la santé et le bien-être de ses utilisateurs. Les données de l’enquête Carotte convenaient certainement à cette fin d’un point de vue méthodologique. Au-delà de cette utilisation, il serait malavisé de se servir des données de l’enquête Carotte pour tirer des inférences concernant la population canadienne compte tenu de la nature très sélective et non représentative de l’échantillon.

Annexe

Bibliographie

Bonikowska, A., et coll. 2013. « An assessment of life satisfaction responses on recent Statistics Canada surveys ». Social Indicators Research 118 (2) : 617 à 643.

Carotte Points Santé. 2018. CARROT Insights Inc. Accessible à l’adresse suivante : https://www.carrotapp.com/home-fr/ (consulté le 15 février 2019).

Conseil de la radiodiffusion et des télécommunications canadiennes. 2016. Rapport de surveillance des communications 2016. Ottawa.

Couper, M.P. 2017. « New developments in survey data collection ». Annual Review of Sociology 43 : 121 à 145.

Couper, M.P., C. Antoun et A. Mavletova. 2017. « Mobile web surveys: A total survey error perspective ». In Total Survey Error in Practice, dir. P. Biemer, E. de Leeuw, S. Eckman, B. Edwards, F. Kreuter, L.E. Lyberg, N.C. Tucker et B.T. West, p. 133 à 154. Hoboken, New Jersey : John Wiley & Sons, Inc.

De Bruijne, M., et A. Wijnant. 2013. « Comparing survey results obtained via mobile devices and computers: An experiment with a mobile web survey on a heterogeneous group of mobile devices versus a computer-assisted web survey ». Social Science Computer Review 31 (4) : 482 à 504.

Helliwell, J., R. Layard et J. Sachs. 2018. World Happiness Report 2018. New York : Sustainable Development Solutions Network.

Jetten, J., C. Haslam et S. Alexander Haslam, dir. 2012. The Social Cure: Identity, Health and Well-Being. Londres, R.-U. : Psychology Press.

Peterson, G. 2012. « Unintended mobile respondents ». CASRO Technology Conference, CASRO (Council of American Survey Research Organizations), 31 mai 2012. Présentation.

Raento, M., A. Oulasvirta et N. Eagle. 2009. « Smartphones: An emerging tool for social scientists ». Sociological Methods & Research 37 (3) : 426 à 454.

Şahin, F., et Z. Yan. 2013. « Mobile phones in data collection: a systematic review ». International Journal of Cyber Behavior, Psychology and Learning (IJCBPL) 3 (3) : 67 à 87.

Schellenberg, G., et coll. 2018. « The correlates of self-assessed community belonging in Canada: Social capital, neighbourhood characteristics, and rootedness ». Social Indicators Research 140 (2) : 597 à 618.

Schenker, N., et coll. 2006. « Multiple imputation of missing income data in the National Health Interview Survey ». Journal of the American Statistical Association 101 (475) : 924 à 933.

Sugie, N.F. 2016. « Utilizing smartphones to study disadvantaged and hard-to-reach groups ». Sociological Methods & Research 47 (3) : 458 à 491.

Wells, T., J.T. Bailey et M.W. Link. 2014. « Comparison of smartphone and online computer survey administration ». Social Science Computer Review 32 (2) : 238 à 255.