Analyses des évaluations de module : comment pouvons-nous fournir les bons rapports aux bonnes personnes?

Alors que nous évoluons vers un environnement axé sur les données au sein de l’enseignement supérieur, le besoin d’accéder aux bonnes informations au bon moment ne cesse d’augmenter. Ce n’est pas différent pour les projets d’évaluation de module ou pour prendre des décisions concernant l’amélioration, que ce soit pour les étudiants, le personnel enseignant, les responsables de la qualité ou la haute direction.

Trop souvent, les universités sont limitées par les outils analytiques de leur système d’évaluation de module, soit en utilisant le modèle de rapport de base « standard », soit en téléchargeant les résultats dans des feuilles de calcul. Sans les bons outils, le problème pour les administrateurs d’évaluations de module est qu’ils se trouvent assis sur une montagne de données de rétroaction sur l’expérience des étudiants, mais pas assez de temps pour obtenir des informations exploitables à tous les niveaux de l’établissement.

Alors, que faut-il pour fournir les bons rapports d’analyse d’évaluation de module aux bonnes personnes, et ce, au bon moment? Nous avons exploré ce thème lors de notre dernier webinaire « Lunch and Learn », que nous avons tenu le 8 avril. Les sujets que nous avons traités comprenaient :

• Créer et maintenir une hiérarchie de rapports institutionnels
• Développer le contenu des rapports pour les différents rôles et fermer la boucle de rétroaction
• Ajouter du contexte à l’aide de données démographiques
• Analyser automatiquement les commentaires en texte libre
• Impliquer le personnel avec les tableaux de bord dynamiques

En réfléchissant au webinaire, je pense qu’il y a cinq domaines de discussion clés qui soulignent comment ce défi peut être facilité par les collègues universitaires :

1. Opportunité

   Il est possible – et ce n’est pas courant dans le secteur de l’enseignement supérieur – de partager et de produire des rapports d’évaluation de module avec des enseignants et des parties prenantes plus larges allant jusqu’à la haute direction. Bien que Blue dispose de son propre moteur de production de rapports, les utilisateurs peuvent facilement décider ce que ceux-ci disent et à qui ils s’adressent. Ceci est facilement intégré dans les infrastructures informatiques déjà en place au sein des établissements et non de manière autonome.

2. Flexibilité

   Les universités ont la possibilité d’analyser les commentaires quantitatifs et en texte libre grâce à des rapports améliorés. Les rapports tabulaires montrent comment fonctionnent les modules dans chaque département – scores de haut niveau – et comparent au sein des départements et à l’échelle de l’établissement. Ils peuvent examiner les classements croisés avec des données démographiques, par exemple, la plage MPC, croiser les commentaires ouverts et les commentaires quantitatifs avec les données démographiques, et contraster les moyennes sur différents intervalles de temps, de sorte que l’analyse longitudinale puisse être extrêmement précieuse.

3. Personnel Personal

   La force de Blue, c’est qu’il peut fournir un aperçu des moyennes des modules de classe, des moyennes des enseignants, des moyennes des départements et de la moyenne des établissements – et les présenter de manière concise et puissante qui ont du sens. L’analyse textuelle Blue, une analyse de texte libre présentée à travers un nuage de mots, donne une véritable idée de comment se sentent les étudiants et d’où diriger son attention. Les sentiments sont ensuite classés en termes tels qu’utile, positif, difficile, intéressant, organisé, clair, engageant, agréable, enthousiaste, dévoué, important et pertinent.

4. Facilité

   En ce qui concerne où vont les rapports, avec Blue, les universités peuvent créer des rapports de département ou de faculté et les distribuer aux bonnes personnes. Les rapports sont envoyés aux professeurs, aux chefs de département et aux cadres supérieurs par courriel ou via l’environnement d’apprentissage virtuel. Les rapports peuvent également être téléchargés, partagés ou consultés dans les tableaux de bord interactifs. Et – du fait de la façon dont ceux-ci sont configurés – si un membre du personnel part et est remplacé, des modifications peuvent être apportées dans une même ligne de données afin de permettre aux nouvelles personnes d’accéder à toute l’information passée, présente et future.

5. Confidentialité

   Une question a été publiée pendant le webinaire sur la nature confidentielle des réponses et des rapports. Avec Blue, il existe différents niveaux pour rendre les enquêtes confidentielles ou anonymes. Nous pouvons cependant nous assurer que les étudiants ne sont pas identifiables dans les rapports d’évaluation des modules, tout en examinant les données démographiques pour les tendances générales. Toutes les données produites dans Blue peuvent être exportées ou transférées vers d’autres systèmes de rapports.