Leçons tirées de l’évaluation de l’ACMTS

Publié le 31 mars 2017

L’Agence canadienne des médicaments et des technologies de la santé (ACMTS) vient de publier son dernier rapport d’évaluation. L’équipe d’évaluation de Science-Metrix a effectué cette étude approfondie de septembre 2015 à décembre 2016. Plusieurs conclusions de l’évaluation portent sur les données, incluant la collecte de données, l’accès aux données et les liens qui peuvent être établis entre les différentes sources de données. Ces constats effectués sur les données ont fait l’objet d’une des trois recommandations de l’évaluation. Dans un monde axé sur les données, ces résultats peuvent également fournir des leçons précieuses pouvant profiter à notre clientèle élargie.

L’évaluation de l’ACMTS a porté sur la pertinence et la performance de l’Agence pour les années 2012-2013 à 2015-2016. Elle visait à cerner les impacts auxquels l’ACMTS a contribué en vertu de son rôle lié à la production ou au partage d’information en santé. L’étude a également évalué le rôle actuel et potentiel de l’ACMTS à la lumière des tendances observées tant dans le système de santé canadien que dans le monde entier. Six rapports techniques résumant les données recueillies ont été produits au cours des 16 mois qu’a duré l’évaluation. Ces rapports ont été partagés avec la direction de l’ACMTS ainsi qu’avec Santé Canada.

L’évaluation visait à recueillir des données sur les résultats à long terme tels que les bénéfices sociaux et économiques ainsi que les bénéfices liés à la santé ou au système de santé. Elle a également examiné des exemples de changements dans les pratiques liées aux politiques ou des exemples d’amélioration de la coordination des politiques découlant des services et des produits de l’ACMTS. Un des principaux défis de l’évaluation était de trouver des éléments probants permettant de rattacher ces répercussions à plus long terme à l’ACMTS, principalement en raison des lacunes dans les données disponibles. D’après les informations recueillies et le retour d’information de plusieurs intervenants, l’évaluation a montré que ces données n’étaient pas disponibles sous une forme qui rend ces liens possibles. Comme mentionné dans le rapport, « Cette évaluation a révélé qu’il n’existait aucun répertoire ou système centralisé pour le stockage, la récupération, le traitement et l’assurance qualité des données sur La performance à l’ACMTS. [...] tandis que les unités individuelles recueillent des données et rendent compte de la performance, il n’existe pas de moyen cohérent relier les données et les indicateurs de rendement conformément à la stratégie de gestion de la performance de l’ACMTS. »

Mais avec le progrès technologique et l’accès à de nouvelles sources de données, de nouvelles occasions de recueillir et de connecter des données apparaissent. La recommandation découlant de ces constatations est que l’ACMTS devrait améliorer sa façon de mesurer la performance afin de mieux quantifier et qualifier son impact sur le système de santé et sa contribution aux impacts en aval. Cette recommandation a des répercussions sur la qualité et la cohérence de la collecte des données dans une organisation et dans le temps, ainsi que sur les liens pouvant être établis entre les ensembles de données aux niveaux fédéral et provincial afin d’en attribuer clairement les impacts. L’évaluation a noté que cette collecte de données pourrait être entreprise en collaboration avec les bailleurs de fonds de l’ACMTS, comme Santé Canada et les provinces, en raison de l’amélioration de l’accès aux résultats en matière de santé et aux données relatives aux indicateurs des systèmes de santé.

En plus d’une application plus large des conclusions et recommandations présentées ci-dessus, l’équipe d’évaluation a tiré d’autres leçons importantes pouvant éclairer les évaluations futures. Des recommandations similaires se retrouvent également dans une étude réalisée par Science-Metrix pour la Commission européenne, et qui paraîtra prochainement. Premièrement, la conception de l’évaluation d’une institution ou d’un programme ayant un mandat pancanadien profiterait d’un exercice initial de cartographie des intervenants pour comprendre le paysage, les relations fédérales-provinciales et le positionnement de l’institution ou du programme au sein d’un réseau complexe d’intervenants, de partenaires et de bailleurs de fonds. Deuxièmement, si les processus de mise en œuvre, l’engagement des clients et la gouvernance peuvent être des priorités pour les clients, les évaluations sommatives ou de cycle de fin de financement devraient quand même insister fortement sur les résultats. Troisièmement, même si l’optimisation des ressources est un critère important d’évaluation, la conception de l’évaluation devrait octroyer des ressources suffisantes pour mettre l’accent sur l’atteinte des résultats, en particulier les résultats à long terme, compte tenu du besoin inévitable de recueillir des données secondaires et primaires auprès des intervenants provinciaux et territoriaux.

L’identification des lacunes dans les données et l’effort pour les combler sont des processus continus. Mettre à profit les sources de données existantes, saisir le potentiel d’application de nouvelles sources et voir comment celles-ci peuvent être liées pour suivre efficacement les résultats enrichira les résultats d’évaluations futures et élargira la base de données probantes pour la prise de décision.

Le rapport final de l’évaluation de l’ACMTS est disponible ici (anglais seulement) : [PDF]

La réponse des gestionnaires de l’ACMTS est disponible ici (anglais seulement) : [PDF]

À propos de l’ACMTS :

L’ACMTS a été créée en 1989 par les gouvernements fédéral, provinciaux et territoriaux du Canada, qui estimaient que le Canada avait besoin d’une approche coordonnée pour évaluer les technologies de la santé. Le résultat a été la création d’un organisme qui tire parti de l’expertise canadienne de chaque région et produit des solutions fondées sur des données probantes qui profitent aux patients dans les juridictions à travers le pays.

L’ACMTS est un organisme indépendant à but non lucratif chargé de fournir aux décideurs du domaine des soins de santé des preuves objectives pour prendre des décisions éclairées concernant l’utilisation optimale des technologies de la santé, incluant les médicaments, les tests de diagnostic et les dispositifs et procédures médicaux, dentaires et chirurgicaux. En plus d’apporter des données probantes, l’ACMTS fournit également des conseils, des recommandations et des outils.

 

Image: iStock Photo