Élaboration progressive d’un puissant modèle d’évaluation des enseignements à l’Université de Toronto

Un changement de paradigme n’est jamais facile, même lorsqu’il est visiblement nécessaire.1

C’était tout particulièrement vrai pour l’Université de Toronto, qui se penchait sur ses évaluations des enseignements. Le remplacement de plusieurs outils d’évaluations à travers l’établissement représentait un véritable changement de paradigme, un qui devait refléter non seulement la récente évolution des pratiques d’évaluation mais aussi les besoins diversifiés de la communauté universitaire.

Rigoureux processus d’analyse

L’histoire commence en 2008, lorsque le sujet des évaluations est soulevé par un membre du Centre de soutien et d’innovation pédagogiques (CTSI) dans le cadre d’un comité institutionnel sur l’enseignement et l’apprentissage, présidé par le vice-recteur. La première graine venait d’être semée.

Lors de cette réunion, il a été convenu qu’une analyse approfondie des pratiques représentait la première étape essentielle. Dre Pam Gravestock et Dre Emily Greenleaf du CTSI ont réussi à obtenir le financement du Conseil ontarien de la qualité de l’enseignement supérieur en vue de mener une revue de la littérature traitant des évaluations de cours. Le rapport Student Course Evaluations: Research, Models and Trends a été publié en 2008.2 Dre Gravestock et Dre Greenleaf ont aussi effectué une première analyse des pratiques au sein d’autres établissements, et ont ensuite entrepris une révision des pratiques internes pour toutes les divisions de U of T.

Le processus de révision interne a démontré comment les méthodes d’évaluation ne correspondaient pas aux meilleures pratiques de la littérature en la matière.

« Au total, il y avait 33 outils différents en usage à travers notre établissement », dit la professeure Carol Rolheiser, directrice du CTSI et autorité respectée en matière de gestion du changement en éducation. « Nous avons aussi identifié différents modes d’utilisation : papier, en ligne, ainsi qu’un hybride des deux », ajoute Dr Pam Gravestock, directrice associée du CTSI.

« Ces outils variés représentaient visiblement des priorités différentes au sein de contextes d’apprentissage précis. Mais pour les décisions de haut niveau, incluant les processus pour les évaluations annuelles, l’ancienneté, les promotions et l’assurance qualité, nous n’avions pas de mécanismes pour recueillir des paramètres communs à l’échelle universitaire », explique Rolheiser.

En d’autres termes, l’institution était limitée dans sa capacité à tirer des conclusions éclairées quant à l’expérience d’apprentissage de tous ses étudiants.

Stratégies efficaces de gestion du changement

Un groupe de travail a été formé par le bureau du recteur en 2009 pour se pencher sur les évaluations de cours à l’échelle de toute l’université. Présidé par trois vice-recteurs, il incluait aussi des administrateurs de haut niveau, des membres du corps enseignant provenant de tout l’établissement et le CTSI.

S’inspirant de la recherche et des analyses déjà menées, le groupe de travail a formulé une série initiale de recommandations en faveur d’une nouvelle approche qui servirait de modèle pour les paramètres tant communes que contextuelles. Le nouveau Modèle d’évaluation des cours (CEF) impliquait aussi la transition vers un système en ligne.

Pour une grande université comme U of T, avec sa longue et riche histoire, s’entendre sur les recommandations et appliquer le nouveau modèle représentaient un tout autre défi

« Des groupes variés avaient des préoccupations légitimes quant au changement de leurs processus précédents », raconte Dre Cherie Werhun, responsable du soutien aux évaluations de cours au CTSI avec une expérience en conception d’évaluation et en psychologie du changement de l’attitude. « Ces préoccupations variaient beaucoup et touchaient toute une gamme de sujets. De façon très globale, notre responsabilité était de motiver les gens à déconstruire et à revoir les priorités et les attentes en matière d’apprentissage à travers l’établissement. »

Professeure Rolheiser, ayant assisté à de nombreux changements de paradigme dans différents milieux académiques, était donc déjà familière avec beaucoup des défis à prévoir et à relever. Elle savait fort bien que la gestion du changement consistait non seulement à concevoir les meilleurs outils possibles mais aussi à gérer les relations.

« Nous avons adopté plusieurs stratégies de gestion du changement », décrit Rolheiser. « D’une part, ce modèle n’est pas statique mais dynamique, basé sur des meilleures pratiques incorporant les avis de toutes les parties prenantes. Les groupes de travail, les séances d’information et l’intégration des idées ont été des éléments clés du processus de mise en oeuvre du modèle d’évaluation. Les commentaires des participants et l’évaluation proactive du modèle s’inscrivent dans un cycle continu d’amélioration. »

« Une stratégie critique pour faciliter la transition pour les différents acteurs, tout particulièrement pour un public universitaire, consiste à puiser dans la base de recherches. Il nous a été extrêmement utile de pouvoir nous référer à ces données factuelles afin de limiter le scepticisme et de favoriser un regard plus objectif sur nos suggestions quant aux changements à apporter au processus d’évaluation », remarque Rolheiser.

Leadership administratif et intégration des avis des parties prenantes

Les membres du groupe de travail universitaire ont consulté leurs propres divisions concernant le nouveau processus et ont recueilli les commentaires sur les recommandations proposées.

Le groupe de travail s’est rencontré régulièrement en 2009-2010 pour discuter des commentaires reçus et de l’évolution du projet. Le CTSI a aussi rencontré différents intervenants dont les enseignants, les étudiants et le personnel afin de fournir des renseignements et de comprendre les préoccupations. De plus, un travail plus ciblé a commencé avec la Faculté des arts et des sciences qui souhaitait apporter des changements à ses évaluations dès que possible.

« La revue de la littérature a démontré que les universités qui ne réussissent pas à impliquer les parties prenantes, particulièrement les enseignants et les étudiants, en paient le prix non seulement dans la validité de leur structure d’évaluation mais aussi dans les taux de participation », explique Werhun. « La formation de groupes de travail et la tenue de rencontres interactives avec toutes les parties prenantes ont largement contribué à apaiser les appréhensions et les inquiétudes. »

« Ces aperçus ont joué un rôle clé dans la détermination de la validité des questions qui s’inscriraient finalement dans la banque de questions centrale du modèle d’évaluation. »

Professeure Carol Rolheiser,
Directrice du Centre de soutien et d’innovation pédagogiques (CTSI), Université de Toronto

Ces rencontres ont aussi apporté des éclaircissements critiques quant aux différents aspects du processus d’évaluation des enseignements. Par exemple, lors de quelques groupes de discussions étudiants, le CTSI a découvert que certaines questions ne recueillaient pas l’information ciblée à l’origine.

« Les étudiants avaient interprété certaines questions différemment », dit Rolheiser. « Lorsque questionnés au sujet de la disponibilité d’un enseignant, par exemple, les étudiants devaient répondre en fonction des heures de bureau ou de la disponibilité par courriel. Toutefois, l’interprétation des étudiants a fréquemment tendu vers la facilité d’approche de l’enseignant, c’est-à-dire la convivialité et l’ouverture au contact. Ces aperçus ont joué un rôle clé dans la détermination de la validité des questions qui s’inscriraient finalement dans la banque de questions centrale du modèle d’évaluation. »

Modèle dynamique tenant compte des contextes locaux et institutionnels

En 2010, le groupe de travail a soumis son rapport et ses recommandations au  bureau du recteur.

« Le groupe de travail a recommandé une approche d’évaluation centrée sur l’étudiant avec une série de questions noyaux reflétant les objectifs d’apprentissage de tout l’établissement », explique Gravestock.

Pour répondre aux exigences organisationnelles tout en tenant compte des contextes locaux d’enseignement, le groupe de travail a proposé une structure en cascade à quatre paliers pour les évaluations de cours, à savoir des questions portant sur l’enseignement, le département, la division et l’établissement.

« Chaque palier du modèle d’évaluation reflète les besoins des divers niveaux de l’université », dit Gravestock. « Il y a huit questions organisationnelles de base, une option permettant aux divisions et aux départements d’ajouter leurs propres questions, et enfin une option pour les enseignants qui peuvent sélectionner leurs propres questions pour chaque cours à partir d’une banque. Chaque formulaire d’évaluation peut donc avoir un maximum de 20 questions. »

Le modèle en cascade est une solution ingénieuse à un problème d’exigences apparemment contradictoires, soit d’assurer la constance de la collecte de données à travers l’établissement tout en tenant compte des besoins d’évaluation de contextes locaux d’enseignement.

« La protestation la plus courante des gens vis-à-vis un outil central à un niveau, c’est qu’il ne reflète pas leurs priorités d’enseignement et d’apprentissage, comme pour un cours de cycle supérieur versus un cours de premier cycle », précise Rolheiser. « Notre modèle d’évaluation est sensible à ces priorités tout en l’étant envers celles de tout l’établissement. Il reflète ce qui est important à l’Université de Toronto et ce qui la rend unique. »

Mise au point des bons outils

À la mi-année 2010, ayant accompli sa mission, le groupe de travail a été dissout et réparti en quelques nouvelles communautés, incluant un groupe de mise en oeuvre composé de plusieurs sous-groupes. Ces quatre sous-groupes se chargeaient respectivement de la formulation des politiques, de l’élaboration des questions organisationnelles de base incluant des discussions préliminaires sur la banque de questions centrale, de la mise au point de stratégies pour assurer des taux de participation satisfaisants, et du processus de demande de propositions (DP) pour le sélection d’un fournisseur de logiciel.

À la mi-année 2011, les sous-groupes avaient atteint leurs objectifs. Ils avaient établi des questions organisationnelles de base, obtenu l’approbation du comité de gouvernance pour une nouvelle politique intitulée The Student Evaluation of Teaching in Courses, et sélectionné un nouveau système logiciel pour le projet. Peu de temps après, la banque de questions centrale a été élaborée.

En ce qui a trait à la sélection de la technologie appropriée, la demande de propositions était rigoureuse, incluant des exigences technologiques précises en fonction de tous les mandats typiques dont l’utilisation en ligne, la confidentialité des réponses et l’intégration avec le SGA Blackboard, mais aussi la flexibilité de gérer le modèle dynamique d’évaluation. Le système devait aussi offrir la stabilité requise pour gérer la grande population étudiante de l’université tout en étant suffisamment sophistiqué pour générer des rapports détaillés requis.

« Notre format de rapport était critique pour obtenir l’appui des gens à l’égard du nouveau système », dit Werhun. « Nous avons mis beaucoup d’effort à concevoir des rapports axés sur les besoins et le degré de confort des tous les groupes. Les présidents et les doyens ont parfois besoin de réviser des données sommaires, tandis qu’à d’autres moments, une analyse plus exhaustive est de mise. Nos rapports sont composés d’une page sommaire présentant des statistiques descriptives, puis de sections subséquentes détaillant les distributions de fréquence et les données qualitatives sur les étudiants. Puisque l’accès par les étudiants s’inscrit dans notre nouvelle politique institutionnelle sur les évaluations de cours, nous avons aussi des rapports sommaires destinés au corps étudiant incluant des moyennes pour les questions organisationnelles de base, et, dans la plupart des cas, les questions propres à la division aussi. »

« De nombreux enseignants et administrateurs, lorsqu’ils voient les rapports générés par le système en ligne et constatent que le nouveau modèle leur fournit des informations plus ciblées, plus utiles et plus détaillées, comprennent alors la valeur de l’investissement dans le cadre du processus de transition. »

Lancement progressif, processus itératif

En été 2011, le CTSI a mené un premier projet d’essai avec quatre cours dans la Faculté des arts et des sciences. Ce pilote a servi à tester les potentielles questions de base et l’échelle d’évaluation ainsi qu’à obtenir un retour des étudiants concernant l’administration en ligne des évaluations de cours. Après le projet, d’autres améliorations ont été apportées à l’échelle et aux questions qui ont ensuite été incorporées au modèle final par l’équipe.

« Notre mise en oeuvre est un processus itératif », affirme Rolheiser. « Notre travail de terrain et le pilotage de ces idées sont partagés avec le comité qui peut ensuite perfectionner le processus actuel. Ce n’est pas strictement théorique. C’est basé sur la pratique et les vraies expériences de nos parties prenantes. »

Alors que les évaluations de cours en ligne s’entamaient, le CTSI a continué à offrir ses séances d’information, tendant la main aux nombreuses divisions de l’université dont la Faculté des soins infirmiers qui a manifesté sa volonté d’initier la mise en oeuvre.

« Nous commençons avec une présentation d’une heure sur le modèle d’évaluation. Pendant le processus initial de consultation, nous prenons le temps de recueillir les renseignements sur le contexte de la division afin qu’on puisse façonner les autres processus pédagogiques en conséquence », explique Werhun. « Si plus d’information est requise, nous faisons une tournée incluant des présentations plus détaillées et des occasions pour les parties prenantes de poser des questions. Nous discutons de sujets comme les échelles d’évaluation, la formulation de questions efficaces ou la gestion des taux de participation. »

Si une présentation générale ne suffit pas, le CTSI travaillera individuellement avec les enseignants.

« Si les enseignants souhaitent voir plus de résultats, analyser les détails, ou sont tout simplement mécontents de changer leurs évaluations de cours, nous organisons des rencontres individuelles au sein des départements », dit-elle.

« Le travail au sein des divisions et des départements est un élément clé de notre processus », dit Gravestock. « Nous identifions leurs priorités d’enseignement et d’apprentissage, puis nous élaborons des questions en conséquence qui apparaîtront sur leurs formulaires d’évaluation. L’objectif est d’assurer qu’elles reflètent avec exactitude les contextes académiques individuels et qu’elles fournissent des mesures significatives pour les enseignants, les étudiants et les administrateurs. »

L’intégration des idées requiert plus que la simple collecte d’information, par contre. Il faut arriver à gérer les gens et l’information et savoir communiquer efficacement.

« Il y a une grosse différence entre l’écoute active et la simple acceptation de ce qui est dit. L’écoute active a été une partie intégrante de ce processus », déclare

Werhun. « Notre mise en oeuvre a impliqué une négociation et une réconciliation de ce qui est raisonnable, de ce qui nous garde concentré sur les principes, et de ce qui s’inscrit dans le cadre des meilleures pratiques. »

Ces séances d’information destinées aux enseignants et aux départements ont joué un rôle essentiel dans le succès du projet dans son ensemble.

« Ces rencontres nous ont permis de passer d’un déni du besoin de changer à un comité entier d’enseignants affirmant que c’est désormais de cette façon qu’ils souhaitent mener les évaluations de cours », dit Rolheiser.

Collaboration pour un changement durable

Le perfectionnement du modèle dynamique d’évaluation, ainsi que sa mise en oeuvre à travers tout l’établissement, sont continuellement rehaussés au fil du progrès des intégrations administrative, technique et pédagogique. Par exemple, en 2013, l’intégration de l’outil en ligne au système de gestion des apprentissages a eu lieu, tandis que la conception de nouveaux matériaux pédagogiques pour les étudiants, les enseignants et les administrateurs est en cours. Pendant ce temps, le CTSI continue avec son processus factuel d’amélioration continue, retournant connaître les avis des parties prenantes afin de voir comment possiblement incorporer de nouvelles idées au système vivant et évolutif.

Bien que le modèle d’évaluation requiert initialement un grand investissement de temps, il a fait ses preuves jusqu’à présent et semble être une approche plus durable pour gérer les évaluations en enseignement supérieur. Le CTSI et toute l’Université de Toronto s’engagent à poursuivre le travail d’intégration.

« Grâce à ce processus, nous avons eu quelques-unes des meilleures conversations au sujet de l’enseignement et de l’apprentissage », conclut Rolheiser. « Car les gens sont incités à participer activement à la discussion sur la pédagogie, leurs priorités, et ce qui importe à nos étudiants. Je crois que le modèle, lorsque bien instauré, est une occasion en or d’évaluer l’enseignement et d’introduire une nouvelle façon de penser de l’enseignement et de l’apprentissage. Pour nous tous ici à l’Université de Toronto, c’est un processus sérieux et nous nous engageons à le mener de façon efficace. »