L’Université James Cook rehausse l’analyse des cours avec Blue

L’équipe de développement de l’enseignement et de l’apprentissage à l’Université James Cook (JCU) avait une longue liste d’exigences lorsqu’elle a commencé à chercher un nouveau système d’évaluation de cours.

Données détaillées sur les évaluations de cours et d’enseignants

JCU est reconnue pour sa recherche de pointe en environnement et en écologie. L’équipe de développement, qui recueille les données de rétroaction des étudiants et mène des analyses poussées, fait foi de ces normes élevées.

JCU sépare les rapports d’évaluation d’enseignants et de cours afin d’obtenir un portrait précis de chacun.

« Les enseignants n’ont souvent pas de pouvoir sur l’élaboration du contenu qu’ils enseignent dans notre environnement multicampus. Nous voulons nous assurer de travailler avec eux sur les problèmes qu’ils peuvent corriger dans leurs cours ou leur enseignement », affirme le Dr Glenn Harrison, du développement académique à l’Université James Cook. « Avoir deux sondages distincts dans un même instrument nous permet de séparer les commentaires étudiants sur les cours de ceux sur l’enseignement. »

Ancien conférencier et chercheur en physiologie, comptant 20 ans d’expérience en enseignement, le Dr Harrison travaille maintenant étroitement avec le personnel enseignant en vue d’améliorer leurs méthodes tout en aidant l’université à instaurer des normes et à maintenir les standards.

Mise à l’épreuve des fournisseurs

Auparavant, pour gérer ces instruments, JCU effectuait ses évaluations de cours sur son système Web conçu en interne et ses évaluations d’enseignants sur papier.

Les deux systèmes séparés n’étaient pas l’idéal. Les étudiants mélangeaient souvent les instruments et la gestion du système papier était coûteuse en argent et en ressources.

Le système de remplacement devait respecter plusieurs critères. Ils souhaitaient entre autres un système unifié pouvant produire des rapports distincts pour les évaluations de cours et d’enseignants, fonctionner dans un environnement multicampus (JCU compte plusieurs campus dans l’état de Queensland et à Singapour) et répondre aux exigences d’analyses avancées.

JCU a évalué plusieurs systèmes, dont certains conçus par des universités australiennes et des entreprises logicielles tant australiennes que nord-américaines.

L’université a arrêté son choix sur Blue d’Explorance, un système d’évaluations de cours et de sondages en ligne conçu spécifiquement pour un environnement académique.

Blue sort du lot à plusieurs égards

« Nous avions de bonnes raisons de choisir Blue », confie Katrina Green, gestionnaire de projet pour le développement de l’enseignement et de l’apprentissage à l’Université James Cook, qui a participé activement au processus de sélection, à la mise en oeuvre et à la gestion de Blue.

« La flexibilité du système nous offre le pouvoir nécessaire. Nous souhaitions éviter de faire appel aux TI dès que nous devons apporter des changements, comme ouvrir ou fermer un sondage. »

JCU a aussi apprécié plusieurs fonctions clés du produit, comme l’Intégrateur de portail Blue, une application Web semi-indépendante permettant de s’intégrer aux systèmes de gestion des apprentissages (SGA) et aux portails universitaires.

« Il était primordial pour nous que Blue puisse s’intégrer avec notre SGA Blackboard », précise Green.

Lancement en phases pour toute l’université en moins d’un an

Le système d’évaluation Blue a été lancé en phases sur une période de 12 mois.

JCU a amorcé l’implantation en décembre 2012 et a effectué un pilote en janvier avec un petit nombre de cours. En mai 2013, toute l’université a fait la transition vers les évaluations de cours en ligne. Cette phase comprenait l’intégration avec le SGA Blackboard, permettant ainsi aux étudiants d’accéder aux évaluations à même le portail universitaire. Les évaluations des enseignants ont quant à elles été mises en ligne en octobre 2013.

Le système est entièrement hébergé par Explorance, l’équipe informatique de JCU n’a donc pas à se préoccuper de l’entretien de routine ou d’autres requêtes.

« Nous avons trois campus principaux en plus de campus satellites en Australie et un à Singapour. Les évaluations de cours et d’enseignants sont maintenant toutes faites en ligne », affirme Green. « Les sondages s’effectuent harmonieusement entre nous et Singapour grâce à Blackboard, et nous sommes très satisfaits de ce succès. »

Taux de réponse doublé et satisfaction étudiante haussée

JCU a lancé une campagne pour promouvoir son nouveau sondage en ligne, tirant ainsi avantage des diverses fonctions destinées à hausser le taux de participation. Les résultats parlent d’eux-mêmes.

« Nous avons commencé la promotion des évaluations en 2012 auprès des étudiants et du personnel, et nos taux de réponse ont monté jusqu’à 20-25 %. Après la transition en ligne avec Blue, ils ont bondi jusqu’à 44 % », se réjouit Green.

« Nous aimons les capacités mobiles, les courriels personnalisés et les rappels par courriels automatisés. Nous pensons que l’intégration à Blackboard représente probablement le plus grand facteur d’augmentation », déclare-t-elle. « Nous avons placé un gros bouton bleu sur la page d’accueil du portail, qui amène les tudiants directement aux formulaires d’évaluation. Ceux-ci sont maintenant accessibles en un seul endroit et listés dans un ordre intuitif. Les étudiants n’ont même pas à se connecter séparément.

L’équipe de développement de l’enseignement et de l’apprentissage a demandé  aux étudiants leur avis sur le nouveau système; celui-ci a obtenu une note quasi parfaite.

« Nous avons demandé aux étudiants du pilote si l’outil avait du sens, s’ils l’appréciaient, s’il y avait des améliorations à apporter. Il s’agissait d’un petit échantillon, environ 200 étudiants, dont 99 % ont répondu en faveur du système », indique Green.

« Ce genre de données vaut son pesant d’or au moment de présenter des changements », ajoute Harrison. « Il faut avoir un dossier convainquant avant d’aborder le personnel, et des chiffres comme ceux-ci ont un impact sérieux. »

Perfectionnement de l’enseignement

Puisque les évaluations des enseignants ne sont pas obligatoires à JCU, Exlorance devait s’assurer que Blue offre au corps professoral l’option de s’inclure à une évaluation si désiré.

« Nous sommes très impressionnés de la vitesse avec laquelle Explorance a su répondre à ce besoin, en quelques semaines à peine », affirme Harrison. « Un employé peut maintenant sélectionner de façon sécuritaire et précise de s’inclure à ces évaluations. C’est un réel succès. »

JCU a décidé que le coordonnateur des cours devait activer les évaluations des enseignants dans Blue, plutôt que de permettre à chacun d’y accéder pour faire sa sélection. Explorance a configuré Blue de façon à respecter ce processus.

« Conjointement avec le coordonnateur, les enseignants déterminent si une évaluation est appropriée pour leur cours », explique Harrison. « L’idée consiste à susciter la discussion parmi l’équipe enseignante. Ensemble, ils regardent les  données et apportent des améliorations. »

Analyses poussées

L’équipe des évaluations mène des analyses poussées sur les données recueillies, combinant les résultats avec des données démographiques pour une meilleure compréhension.

L’université a comme mandat, par exemple, de s’assurer que les réponses représentent l’ensemble de sa population étudiante. Les rapports Blue incluent les renseignements démographiques des étudiants qui ont répondu, comme le genre, les différences socioéconomiques, le statut indigène, et d’autres catégories dans leur système d’information.

« Les rapports montrent au personnel et aux gestionnaires des graphiques circulaires illustrant les données démographiques des répondants », dit Harrison. « Nous savons déjà, par exemple, que les données comportent un penchant féminin. Nous avons une proportion de 60 femmes pour 40 hommes inscrits à l’université, mais ce ratio devient de 70 pour 30 parmi les étudiants qui répondent au sondage. C’est à surveiller. »

Ils peuvent aussi sonder les données plus en profondeur pour une meilleure compréhension.

« Cette différence varie : sur certains campus et dans certaines disciplines, elle s’amplifie ou se rapproche du neutre », précise Harrison. 

Pour déterminer comment améliorer les taux de réponse, JCU utilise Google Analytics à même Blue pour comprendre le comportement des étudiants par rapport aux sondages.

« Grâce à Google Analytics, nous pouvons regarder les aspects comme l’heure à laquelle les étudiants répondent au sondage, quels appareils ils utilisent, s’ils suivent le lien courriel ou Blackboard. Nous pouvons ensuite nous ajuster en conséquence afin de hausser les taux de réponse. »

Rapports détaillés pour le personnel et les administrateurs

JCU apprécie les données solides que Blue leur procure, et ils ont créé plusieurs types de rapports pour les divers acteurs impliqués.

« La qualité de l’information quantitative que reçoivent les enseignants est déjà très apparente, et ils l’apprécient réellement », confie Harrison.

L’équipe en charge des évaluations de cours émet un rapport aux enseignants et aux administrateurs leur indiquant le score moyen et la distribution statistique pour chaque question, un graphique et un tableau illustrant la fréquence agrégée ainsi que des graphiques circulaires affichant les données démographiques des répondants.

« L’un de nos rapports préférés est celui de Cours individuel, qui montre les scores moyens pour chaque question ainsi qu’une moyenne comparative, ce qui permet aux enseignants de comparer les réponses d’une classe à toutes les classes d’une discipline, d’une école, d’une faculté et de l’université dans son ensemble. Ils peuvent aussi voir comment les réponses se comparent à celles d’autres classes de taille similaire », témoigne Harrison.

« La deuxième section contient des histogrammes avec la moyenne, la médiane et le mode pour chaque question, ainsi que la fréquence, une donnée importante. Pour ceux qui n’aiment pas les moyennes et les histogrammes, la troisième section présente un graphique et un tableau exprimant l’accord dans son ensemble. La quatrième section fait part des réponses aux boîtes à commentaires.

Harrison collabore avec les enseignants pour s’assurer que les rapports sont utilisés efficacement pour refléter le corps professoral et favoriser le développement professionnel. Il prend soin d’obtenir les détails importants pour l’utilisation de données agrégées.

« Il importe de connaître le nombre d’étudiants par classe lorsqu’on effectue des comparaisons, et nous ne pouvions pas le faire avant Blue », affirme-t-il. « Sans l’ombre d’un doute, des différences existent entre les cours avec un grand ou un petit nombre d’étudiants, et nous avons beaucoup de très petites classes. Il est rassurant pour un enseignant de savoir que leur cours de 600 étudiants de premier cycle ne sera pas comparé à une classe de 10 étudiants de cycle supérieur.

Des rapports qui impliquent les étudiants

L’équipe responsable des évaluations aime aussi le rapport Étudiant, qui montre en une page un histogramme affichant les réponses agrégées pour chaque question. Une fois le sondage fermé, les étudiants peuvent voir le pourcentage de leurs pairs qui sont en accord, neutres ou en désaccord avec chaque question.

« Le rapport étudiant nous permet de leur partager de l’information comme jamais auparavant afin qu’ils puissent constater le fruit de leurs efforts », indique Green.

« Nous essayons d’instaurer une culture quant à la collecte de données et à l’interaction avec nos étudiants », ajoute Harrison. « En les gardant informés et en démontrant des actions concrètes en réponse à leurs commentaires, nous favorisons une ouverture au changement et un maintien d’un bon taux de participation. »

Pour l’avenir, JCU prévoit plusieurs projets impliquant encore plus d’analyses, utilisant d’autres outils tels que l’analyse de l’apprentissage et l’analyse de textes. Un autre projet particulièrement intrigant consiste à créer des rapports et des normes comparatives avec des données d’autres universités australiennes.

« Nous sommes en discussion avec une autre université australienne qui utilise Blue, à savoir comment nous pouvons combiner les données afin d’obtenir des résultats comparatifs entre les deux universités », dévoile Harrison.

Un véritable partenariat avec leur fournisseur logiciel

JCU ne tarissait pas d’éloges à l’égard du service qu’ils ont reçu de l’équipe de soutien d’Explorance, qui a collaboré étroitement avec eux pour s’assurer de répondre à leurs besoins.

« Le service à la clientèle est fantastique », confie Green. « L’équipe répond toujours rapidement à nos questions, et nous avons grandement bénéficié de la formation qu’ils nous ont donnée ici même. »

Avec un système de sondage de qualité, un excellent service à la clientèle et des rapports exceptionnels, JCU se félicite d’avoir arrêté son choix sur Blue.

« Je crois qu’Explorance comprend bien le marché australien, avec sa culture et ses exigences réglementaires différentes de l’Amérique du Nord. Ses employés s’adaptent à ces différences afin de répondre à nos besoins, et non le contraire. »