Centralisation et bouclage de la boucle à Birbeck, Université de Londres

De l’évaluation décentralisée à centralisée des modules

Birkbeck, Université de Londres, est l’un des fournisseurs d’enseignement supérieur les plus renommés du Royaume-Uni. La majorité des étudiants de Birkbeck étudient à temps partiel, aux côtés d’étudiants à temps plein. L’Université compte un nombre élevé d’étudiants adultes. Cependant, Birkbeck reste unique en ce sens que toutes ses prestations (à temps plein et à temps partiel) ont lieu le soir. Présenté comme « les spécialistes des cours du soir de Londres », Birkbeck célébrera son 200e anniversaire en 2023.

Souhaitant transformer son approche de rétroaction sur l’évaluation des modules, l’établissement a d’abord effectué un projet pilote avec le logiciel Blue d’Explorance dans cinq départements au cours de l’été de l’année universitaire 2018-2019 avant une mise en œuvre complète au début de 2019-2020. « Avant de commencer à utiliser Blue, nous n’avions rien en place qui soit centralisé », explique Garmon ap Garth, responsable des services académiques. « Il s’agissait d’un processus entièrement décentralisé, de sorte que les 19 départements avaient leurs propres systèmes en place, généralement sur papier, mais quelques-uns utilisaient différents systèmes en ligne. La pratique variait considérablement d’un département à l’autre – certains avec des sondages comptant seulement 4 ou 5 questions, d’autres de 20 à 30. Il n’y avait donc aucune cohérence.

La « plus grande préoccupation » quant au fait de ne pas avoir de système centralisé, confie Garmon, était qu’il n’y avait aucun moyen d’identifier les connaissances acquises. « Il était difficile de saisir ce que les étudiants disaient, et on ne savait pas trop ce que le personnel faisait avec les commentaires reçus, ou même si les étudiants obtiendraient de la rétroaction sur ce qu’ils avaient partagé », révèle-t-il. « L’ensemble n’avait pas été conçu de manière cohérente, et aucune analyse longitudinale n’avait eu lieu. Nous souhaitions donc changer ces choses grâce à la mise en œuvre de Blue. »

« Boucler la boucle » pour favoriser la participation

Dans le cadre de son MBA en gestion de l’enseignement supérieur, Garmon a effectué de la recherche sur les pratiques d’évaluation des modules au sein des universités du Russel Group. Son étude de 2019 a démontré que seulement 6 des 23 établissements avaient une politique pour « boucler la boucle », ce qui l’a poussé à réfléchir davantage à ce qu’il souhaitait accomplir à Birkbeck. « Boucler la boucle était l’un des principaux résultats que nous souhaitions atteindre lorsque nous avons lancé un appel d’offre pour un système, ainsi qu’une exigence clé pour notre projet avec Blue », explique-t-il. « Nous voulions assurer la cohérence des pratiques et la cohérence des rapports, et répondre aux exigences quant au partage de données avec les organismes internes et externes, y compris les exigences du Bureau des étudiants (OfS), afin de mieux comprendre l’expérience des étudiants et d’expliquer et éliminer les différences entre les différentes données démographiques. »

Garmon continue : « La fatigue liée aux sondages est une inquiétude courante dans le secteur et a un impact sur les taux de réponse. Boucler la boucle est toutefois acceptée comme étant la façon la plus efficace d’encourager la participation. Si les étudiants savent que leurs commentaires sont valorisés et servent à prendre des décisions concrètes, ils ont beaucoup plus de chances de continuer à fournir de la rétroaction. Toutes les universités du Royaume-Uni ont clairement un intérêt à améliorer les résultats du National Student Survey (NSS), et la voix étudiante en est un aspect. Être en mesure de fournir de la rétroaction devrait donc constituer un avantage pour le NSS. »

Birkbeck a suivi l’exemple de l’Université de Loughborough après avoir été impressionné par la présentation de la Dre Sarah Williamson dans le cadre de la conférence Bluenotes Global. « À la fin de notre sondage d’évaluation (20 questions principales avec jusqu’à cinq questions départementales, jusqu’à trois questions spécifiques au module et une évaluation optionnelle des tuteurs individuels), les résultats sont envoyés au responsable du module », explique Garmon. « Un nouveau projet est créé dans Blue, qui crée une tâche pour répondre à trois questions afin de boucler la boucle. Les rapports sont envoyés aux étudiants, incluant les réponses pour boucler la boucle (avec les actions à entreprendre), dans les deux semaines suivant la fin du rapport. Nous avons été clairs avec le personnel à l’effet qu’il ne s’agit pas de la seule et unique façon de boucler la boucle – pensons notamment à l’envoi de messages dans Moodle et à l’utilisation du rapport dans les groupes de liaison étudiants-employés – mais c’est la façon clé. »

Impacts immédiats et mesures pour le succès futur

Bien que Birkbeck n’ait terminé qu’un an d’évaluation de module Blue et que le changement n’en soit « encore qu’à ses débuts », Garmon a pu mettre en évidence certains impacts immédiats sur les résultats de la voix des étudiants du NSS, qui ont été publiés en juillet 2020. Les affirmations « J’ai eu l’occasion de fournir des commentaires sur mon cours » et « Le personnel valorise les points de vue et opinions des étudiants concernant l’objectif du cours » ont augmenté de 2 % chacun. Garmon ajoute : « Ce n’est pas une amélioration concluante, mais au moins elle va dans la bonne direction. Cependant, l’une des choses les plus importantes est notre capacité à envoyer les rapports aux étudiants sans délai, sinon ils seront moins susceptibles de participer à l’évaluation dans les années à venir. »

À l’avenir, Birkbeck envisage d’intégrer automatiquement les réponses Blue aux évaluations annuelles et d’assurer un taux de réponse de 100 % aux responsables de modules; de recevoir de la rétroaction des étudiants sur les processus – à quel point est-ce que les étudiants lisent réellement les rapports, et est-ce qu’ils leur sont utiles?; et d’explorer d’autres façons de rendre les rapports disponibles, par exemple avec la sélection de module. « Nous reconnaissons l’importance de suivre l’expérience des étudiants le plus tôt possible conformément au plan de l’OfS et d’autres », explique Garmon. « Nous souhaitons donc avoir une meilleure compréhension de l’expérience au niveau granulaire ainsi que plus d’occasions pour résoudre tous les problèmes. Nous voulons aussi que les étudiants aient une meilleure expérience et qu’ils nous en fassent part pour que cela soit ensuite reconnu officiellement dans le NSS. »

Il ajoute : « Nous apprécions beaucoup travailler avec Explorance. Les processus ont été très simples et il n’y a eu aucun problème technique. L’équipe est réactive, elle répond rapidement aux questions et nous apporte ce dont nous avons besoin. Nous avons également profité de la mise en place de rencontres régulières avec d’autres universités, lesquelles nous ont permis de découvrir des choses que nous ne connaissions pas. Je recommanderais certainement Explorance à d’autres universités. Ils font exactement ce à quoi ils s’engagent. »

Innovation future avec Bluepulse

Un nouveau développement à Birkbeck pour l’année 2020-21 consiste à tester Bluepulse auprès du syndicat étudiant. Par le biais du projet pilote initial Bluepulse, les représentants de classe ont accès au système afin de recueillir la rétroaction étudiante à travers l’établissement et de permettre des réponses rapides du corps étudiant. Cela leur permet de réagir rapidement et efficacement. En fournissant aux représentants de classe un outil de communication supplémentaire pour poser des questions, les résultats sont transmis au personnel par le biais du groupe de liaison employés-étudiants ou d’autres relations qu’ils entretiennent avec le personnel.