L’Université Liverpool John Moores optimise les données d’évaluation de modules avec Blue

À l’Université Liverpool John Moores (LJMU), l’évaluation des modules joue un rôle clé dans l’amélioration et l’assurance de la qualité. Cependant, la complexité des processus d’évaluation permettait difficilement à l’établissement de mesurer tous les aspects de son environnement d’enseignement et d’apprentissage.

« Nous sondons tous les échelons et chacun des modules auxquels les étudiants sont inscrits. », confie la professeure Clare Milsom, directrice de l’enseignement et de l’apprentissage académique. « Nous avons de grands modules pouvant compter plusieurs programmes différents et les étudiants suivent jusqu’à cinq modules par année qui sont évalués de façon simultanée. »

Depuis longtemps, les gestionnaires de modules souhaitaient être en mesure de voir comment les étudiants de programmes différents réagissent au module étant donné que les résultats combinés et les commentaires rendaient difficile l’accès à la rétroaction spécifique au programme.

De plus, les modules ayant un calendrier de distribution différent (p. ex. ceux qui ont lieu l’été ou commencent à divers moments) étaient difficiles à cibler. « Nous n’évaluons pas non plus des membres individuels du personnel. Nous évaluons l’exécution, soit l’enseignement et l’apprentissage. »

Avec ces critères à l’esprit et d’autres aussi, l’université a décidé de mener un projet pilote avec trois solutions différentes pour ses processus d’évaluation de modules, projet au cours duquel Blue s’est fortement démarqué.

Un système d’évaluation de modules qui fait l’affaire

Pendant plus de 10 ans, la LJMU a utilisé un sondage en ligne géré par une entreprise externe. En 2014, avec l’aide du pro-vice-recteur (Éducation), l’établissement a décidé de mener un projet pilote avec les évaluations de modules Blue.

« Nous avons rencontré l’équipe d’Explorance il y a de cela plusieurs années et nous suivions le développement de Blue parce que l’outil nous intéressait », affirme Dr Elena Zaitseva, directrice du développement et de la recherche académique. « Nous voulions évaluer ce pilote minutieusement et regarder l’engagement étudiant, les taux de réponse ainsi que la façon dont le personnel et les gestionnaires de modules interagissent avec l’outil et les résultats. » 

Pendant le projet, l’impact de Blue sur le processus d’évaluation des modules de l’université a été impressionnant.

« Les taux de réponse se sont améliorés dès le premier semestre où nous avons sondé un nombre limité de modules. Nous avons vu une bonne hausse d’environ 30% à 50% », ajoute-t-elle.

L’interface flexible et facile à utiliser de Blue a permis un meilleur engagement dans le processus de la part des membres du personnel. « Les rapports ont immédiatement été disponibles et les membres du personnel ont été beaucoup plus enclins à partager les rapports Blue avec leurs étudiants en raison de leur qualité et de leur apparence professionnelle. »

« Nous pouvons diviser les données en plusieurs parties et fournir aux gestionnaires de modules les preuves concernant l’avis de leurs étudiants sur un module précis. »

Lorsqu’on leur a demandé s’ils recommanderaient Blue pour un usage à l’échelle de l’établissement, la majorité des acteurs impliqués dans le projet pilote ont répondu par l’affirmative.

Une analyse approfondie des données de réponse

À la suite du projet pilote, la LJMU est passée à la distribution des évaluations à l’échelle de l’établissement, avec environ 80 000 évaluations au sein de 2000 modules. Puissant et flexible, le tableau de bord des taux de réponse a amélioré la visibilité des évaluations de modules comme jamais auparavant.

« Les employés peuvent maintenant se rendre dans le portail et faire le suivi des taux de réponse de leurs propres modules en temps réel », déclare Dr Graham Sherwood, responsable des inscriptions facultaires.

« Nous pouvons voir le temps de la journée auquel les étudiants ont répondu et ce que nous découvrons est que, bien que nous ayons accès au portail, la plupart des réponses sont le résultat direct d’un courriel de rappel. »

Blue est intégré au sein de l’infrastructure TI de l’université afin de synchroniser les rapports et fournir l’accès aux niveaux pertinents d’information.

« Nous recevons beaucoup plus d’information sur la façon dont les étudiants répondent. Nous pouvons voir la satisfaction par programme, par école, par genre », ajoute-t-il. « Nous pouvons séparer les données en plusieurs parties et fournir aux gestionnaires de programmes des preuves sur ce que des groupes d’étudiants spécifiques pensent d’un module précis. Une fois les rapports publiés, ils sont archivés dans Blackboard où le personnel peut y accéder en tout temps. »

Des données que les employés peuvent utiliser

Les membres du personnel souhaitaient aussi depuis quelques années avoir la possibilité d’ajouter leurs propres questions aux évaluations. Avec Blue, les gestionnaires de modules se sont vu accorder l’option de choisir jusqu’à deux questions additionnelles à partir d’une liste de 16, ou de rédiger les leurs.

« Nous avons été heureux de voir la majorité des employés utiliser la personnalisation de question, mais nous étions particulièrement enchantés que plus de 83 % du personnel à l’École des sciences naturelles et de la psychologie utilise cette fonction », affirme Dr Zaitseva. « Il s’agit d’employés l’ayant utilisée pour la première fois l’an dernier. »  

84% du personnel pensait aussi que la valeur de l’information ainsi que la convivialité des rapports étaient excellentes ou bonnes. Pour la première fois, les voix des étudiants de différents programmes se sont fait entendre et on peut clairement voir qu’il s’agit d’information très utile pour certains gestionnaires de modules.

Blue a permis à l’université de relier les données démographiques des étudiants aux rapports individuels, rapports pouvant être personnalisés pour les gestionnaires seniors ou de programme. « Tout se fait automatiquement dans Blue. On peut jouer avec le format des rapports. C’est un système très puissant. »

« Nous sommes conscients de la puissance de Blue et il nous reste encore à explorer toutes les fonctions que la plateforme offre. La formation et le soutien sont exemplaires, on nous a assistés tout au long de notre premier semestre de sondage. Nous sommes maintenant autonomes et livrons 1 500 sondages de modules à travers une variété de structures de programmes. »

Professeure Clare Milsom,
Directrice de l’Académie d’enseignement et d’apprentissage