Secteur des minéraux et des métaux (SMM) - Évaluation des sciences et de la technologie (S-T) (2009)
Client : Ressources naturelles Canada (RNCan)
Description : Cette évaluation porte sur les programmes de science et de technologie (S-T) du Laboratoire de la technologie des matériaux (LTM) et des Laboratoires des mines et des sciences minérales (LMSM). Le LTM et les LMSM s’attachent à l’application de principes scientifiques éprouvés et à la mise au point de technologies novatrices pour les besoins du gouvernement, de l’industrie et d’autres intervenants clés.
La présente évaluation a examiné trois questions : (1) pertinence et raison d’être, (2) résultats et succès et (3) rapport coût-efficacité (incluant les questions de conception et de prestation), ainsi que des solutions de rechange à l’exécution des activités S-T des laboratoires.
L’évaluation est fondée sur des preuves provenant (1) d’un examen des documents et des fichiers, (2) de deux enquêtes électroniques sur la satisfaction de la clientèle et le rayonnement, (3) d’entrevues avec le personnel de laboratoire, les clients, partenaires et autres organismes clés, (4) d’examens détaillés de projets à partir de documents de projet et d’entrevues avec des gestionnaires de projet et des clients et (5) d’un examen des extrants S-T dont une analyse bibliométrique des publications scientifiques.
Téléchargez le rapport
[HTML] – Rapport d’évaluation et réponse de la direction
Évaluation-bilan de l'Initiative de surveillance intensifiée de l'encéphalopathie spongiforme bovine (ESB) de l'ACIA (2009)
Client : Agence canadienne d'inspection des aliments (ACIA)
Description : Par suite de l’éclosion du premier cas d’ESB en mai 2003, le gouvernement du Canada, par l’intermédiaire de Santé Canada et de l’ACIA, a intensifié son activité sur l’ESB et a rapidement développé une gamme complète de mesures scientifiques pour réduire efficacement la probabilité d’une exposition, d’une amplification et d’une propagation de l’ESB dans le cheptel bovin. Depuis 2003, l’ACIA a obtenu des ressources supplémentaires pour l’initiative ESB intensifiée, notamment les volets suivants :
- Volet renforcé de surveillance et de prélèvements
- Volet renforcé de suivi, de traçage et d’application de la loi
- Augmentation de la capacité d’abattage au pays
- Retrait du matériel à risque identifié
- Expansion des marchés d’exportation
Cette évaluation porte sur les questions suivantes : succès et réalisations, gouvernance, conception et déroulement, pertinence et besoin permanent, mesure du rendement et présentation de rapports, rapport coût-efficacité et options de rechange.
L’évaluation est fondée sur les instruments de collecte de données suivants : (1) entrevues auprès d’informateurs clés à l’interne et à l’externe de l’ACIA et (2) un examen de documents et de fichiers de l’ACIA et d’organismes externes concernés.
Téléchargez le rapport
[HTML] – Rapport d’évaluation
[HTML] – Réponse de la direction
Évaluation de la Direction de la sécurité et de la sûreté des explosifs (DSSE) du Secteur des minéraux et des métaux (SMM) (2010)
Client : Ressources naturelles Canada (RNCan)
Description : Ressources Naturelles Canada (RNCan) a confié à Science-Metrix le mandat d'évaluer la Direction de la sécurité et de la sûreté des explosifs (DSSE). Cette évaluation porte sur les programmes et les principales activités exécutées, à titre individuel et coopératif, par les deux organismes qui composent la direction, soit la Division de la réglementation des explosifs (DRE) et le Laboratoire canadien de recherche sur les explosifs (LCRE), de l'exercice financier 2004-2005 à l'exercice financier 2008-2009. La DSSE, créée dans le cadre du renouvellement du Secteur des minéraux et des métaux, et sa structure organisationnelle actuelle sont en place depuis 2007-2008. Auparavant, le LCRE et la DRE faisaient partie de la Direction de la technologie minérale (DTM).
La présente constitue la première évaluation de la DSSE.Plusieurs éléments de preuve établissent que la DSSE a réussi à remplir son mandat et atteindre ses principaux objectifs pendant toute la période couverte par l'évaluation. L'évaluation examine cinq enjeux liés à la pertinence et au rendement. Quatre méthodes ont été mises de l'avant pour l'évaluation : (1) examen de la littérature externe spécialisée (canadienne et étrangère) et analyse comparative des règlements sur les explosifs et des régimes de S-T d'autres pays, (2) entrevues avec des employés de la DSSE et des intervenants canadiens et étrangers, (3) études de cas relevées dans quatorze projets ou activités dans les cinq principaux domaines d'activité de la DSSE et, incluant, des entrevues avec des employés de la DSSE et des clients et partenaires et (4) examen exhaustif de plus de 200 fichiers et documents internes.
L'efficacité globale de la surveillance réglementaire de la DRE et la production scientifique et technologique du LCRE ont été importantes: DRE a géré avec succès la Loi sur les explosifs et son règlement, développé et validé les règlements et les politiques sur la base de l'apport scientifique et technique du LCRE. Le LCRE a également apporté des contributions importantes à des clients externes et aux principaux intervenants à travers le transfert de connaissances, de conseils d'expert et de technologies. Ces activités ont assuré un cadre solide et crédible qui ont amélioré la sécurité publique, renforcé la sécurité nationale et l'efficacité de l'industrie.
Téléchargez le rapport
[HTML] – Rapport d’évaluation et réponse de la direction
Évaluation du Programme de subventions de recherche et développement coopérative (RDC) (2010).
Client: Conseil de recherches en sciences naturelles et en génie du Canada (CRSNG)
Le Conseil de recherches en sciences naturelles et en génie du Canada (CRSNG) a confié à Science- Metrix le mandat d'évaluer le Programme de subventions de recherche et de développement coopérative (Programme de subventions de RDC).
Ce programme favorise les collaborations bénéfiques pour les entreprises et les établissements postsecondaires en appuyant les projets ciblés de recherche et de développement (R et D) qui suscitent des avantages industriels ou économiques. Plus précisément, le Programme de subventions de RDC appuie les projets entrepris par les chercheurs universitaires en collaboration avec des partenaires du secteur privé. Les coûts directs du projet sont partagés entre le CRSNG et le ou les partenaires industriels. La plupart des subventions sont accordées pour une période de un à trois ans, mais peuvent durer jusqu'à cinq ans.
Cette évaluation, qui couvre la période 1997-2008, comprend plusieurs méthodes de collecte de données: 1) un examen des documents, de la littérature, des fichiers et données du programme, 2) un examen des subventions, 3) des entrevues, 4) cinq sondages électroniques (réalisée avec des chercheurs universitaires et des partenaires industriels financés et non financés et du personnel hautement qualifié (PHQ)), 5) une analyse d'impact économique, et 6) six études de cas.
Les résultats révèlent que le Programme de subventions de RDC est pertinent, bien conçu, bien exécuté et que, de manière générale, il offre des avantages à long terme considérables aux partenaires de l'industrie, aux chercheurs universitaires et au PHQ.
Téléchargez le rapport
[PDF] - Rapport d’évaluation
[PDF] - Réponse de la direction
Évaluation formative du programme de subventions de recherche-création en arts et lettres du CRSH (2008)
Client : Conseil de recherches en sciences humaines du Canada (CRSH)
Description : Le CRSH est un organisme subventionnaire fédéral qui fait connaître et appuie la recherche et la formation universitaire en sciences sociales et en sciences humaines. Après avoir pris connaissance de données selon lesquelles les artistes universitaires, malgré leur nombre croissant, étaient sous-représentés au sein des programmes subventionnaires fédéraux, le CRSH a, en 2002, approuvé la mise au point d’un programme pilote de trois ans à l’intention de ces chercheurs-créateurs en quête de savoir artistique.
L’évaluation formative du Programme de subventions de recherche-création en arts et lettres porte sur les enjeux suivants : (1) pertinence, (2) conception et prestation, (3) extrants et résultats escomptés immédiats et (4) risques et possibilités.
L’évaluation est fondée sur la triangulation de données probantes obtenues à l’aide des méthodes suivantes : (1) examen exhaustif des fichiers et documents liés au programme, (2) atelier en table ronde avec des personnes subventionnées et (3) enquêtes électroniques auprès de trois groupes : candidats subventionnés, candidats non subventionnés (groupe comparable) et gestionnaires des études, de la recherche et du financement d’établissements post-secondaires.
Téléchargez le rapport
[PDF] – Rapport d’évaluation
[PDF] – Appendice méthodologique
[PDF] – Réponse de la direction
Évaluation sommative de la nouvelle initiative des réseaux de centres d’excellence (NI-RCE) (2009)
Client : Conseil de recherches en sciences humaines du Canada (CRSH)
Description : Le programme de recherche pilote NI-RCE a été mis sur pied en 2003 par le Secrétariat des RCE pour (1) faciliter la création de réseaux, (2) appuyer les activités de réseautage chez les chercheurs ou les équipes de recherche bien établis afin de les encourager à développer de nouveaux partenariats avec les communautés concernées et (3) répondre aux besoins en vue d’interaction, de partenariat et de réseautage.
Cette évaluation porte sur les enjeux suivants : (1) résultats du programme pilote, à l’égard des extrants et des résultats escomptés, (2) exécution du projet pilote par le Secrétariat des RCE et par les réseaux de la NI-RCE et (3) utilité du projet pilote.
Plusieurs méthodes et éléments de preuve ont été employés pour l’évaluation : (1) examen de documents administratifs, de fichiers, de données et de sources sur Internet; (2) études de cas des NI-RCE financés (entrevues et examen de la documentation), (3) analyse comparative de programmes similaires et (4) analyse hypothétique.
Téléchargez le rapport
[PDF] – Rapport d’évaluation
[PDF] – Réponse de la direction
Administration d’un sondage Web à l’appui d’une évaluation par un Groupe d’experts international du processus d’examen par les pairs au CRSH
Client : Conseil de recherches en sciences humaines (CRSH)
Description : Parmi les priorités stratégiques énoncées pour 2008-2011 dans le document Définir nos orientations, le CRSH prévoyait une évaluation par un groupe d’experts de la qualité et de l’intégrité de son processus d’examen par les pairs dans l’optique de l’améliorer. Pour jauger l’opinion de la communauté de chercheurs à ce sujet et pour recueillir leurs observations, le CRSH a demandé à Science-Metrix d’administrer un sondage Web auprès du corps professoral des facultés de sciences sociales d’universités canadiennes pour le Groupe d’experts international responsable de l’évaluation.
Près de 20 000 chercheurs ont été ainsi sollicités. Le taux de participation au sondage s’est avéré élevé, soit plus de 35 %. Plus de 6 000 questionnaires ont été remplis et analysés au moyen d’outils de mesure quantitative et qualitative. Les résultats du sondage ont confirmé la valeur et la crédibilité du processus d’examen par les pairs du CRSH. Les résultats du sondage ont également appuyé un grand nombre des recommandations présentées au CRSH par le Groupe d’experts.
Téléchargez le rapport
[
PDF] – Rapport du groupe d’experts international (Promouvoir l’excellence en recherche – Examen mené par un groupe d’experts international à l’égard des pratiques d’évaluation par les pairs au CRSH)
