Le Del Mar College obtient une vue d’ensemble de ses données d’évaluation de cours avec Blue

Pour le Dr Larry Lee, le problème ne résidait pas seulement dans le fait que les formulaires d’évaluation de cours étaient inefficaces. Ils empêchaient le collège d’avancer.

« Si nous voulons atteindre une amélioration continue à l’échelle de l’établissement, nous avons besoin de données sur lesquelles nous pouvons compter pour prendre des décisions éclairées », confie Lee.

Larry Lee, Ph. D., est doyen des affaires en Éducation professionnelle et technologique au Del Mar College (DMC), un grand collège communautaire situé à Corpus Christi au Texas. Ancien professeur de sciences informatiques, Lee détient un doctorat en programmes d’enseignement.

Pour Lee, il était impératif d’améliorer la qualité des données colligées lors de l’évaluation des cours.

« Les formulaires d’évaluation de cours sur papier étaient très coûteux, tant en ressources physiques qu’humaines », poursuit-il. « Et la qualité des données était insuffisante. Mettre les données dans des tableaux et les analyser au niveau que nous aimons demande trop de temps et d’argent. »

Le comité d’apprentissage en ligne fournit une plateforme pour le changement

Lee dirige un groupe de travail d’apprentissage en ligne, lequel a notamment reçu comme mandat de trouver une nouvelle solution pour l’évaluation des cours. L’équipe inclut deux doyens académiques, le chef des TI, le coordinateur d’apprentissage en ligne, trois chaires du comité institutionnel (conseil de la chaire, conseil enseignant, comité sur les technologies), trois enseignants, le doyen adjoint pour l’enseignement continu, le directeur de double reconnaissance de crédit et le concepteur de programmes collégiaux.

Le groupe de travail a employé une approche systématique au moment d’acquérir un nouveau système d’évaluation de cours, en commençant par analyser les besoins, définir les exigences et enfin déterminer des solutions potentielles.

« La possibilité d’intégrer facilement avec nos systèmes Canvas et Ellucian Colleague était une exigence critique », raconte Lee. « L’intégration rend les processus plus efficaces. Elle fournit aussi plus de possibilités pour analyser et comprendre les données en combinant les résultats avec les données démographiques. »

Sélection du meilleur candidat selon un processus de gouvernance partagée

Lee a commencé à rechercher des produits en novembre 2012, avant de mener des évaluations de produits tout au long du semestre d’hiver 2013. Aidé de son groupe de travail, il a considéré les solutions en fonction des exigences établies.

« Nous avons un processus de gouvernance partagée ici au DMC », explique Lee. « Afin d’apporter des changements efficaces et à long terme, nous tenons compte des avis de toutes les parties prenantes avant de prendre des décisions qui affecteront le collège en entier. »

Le groupe de travail a réduit sa liste à trois produits : deux logiciels d’évaluation de cours en ligne et un produit proposant des formulaires papier numérisés.

Rendu en mai 2013, le comité a sélectionné Blue d’Explorance en tant que solution la mieux adaptée à leurs exigences.

« Nous avons choisi Blue pour plusieurs raisons », confie Lee. « Nous aimions particulièrement la flexibilité, les fonctionnalités d’analyse ainsi que la possibilité de le personnaliser selon nos besoins, surtout à l’échelle du département. »

« Nous verrons un plus grand rendement lorsque nous commencerons à utiliser Blue pour mener des sondages en plus de nos évaluations de cours. »

Doyen des affaires, Éducation professionnelle et technologique au Del Mar College

Le groupe a aussi aimé que Blue puisse s’étendre au-delà des évaluations de cours, notamment pour effectuer des sondages.

« Nous verrons un plus grand rendement lorsque nous commencerons à utiliser Blue pour mener des sondages en plus de nos évaluations de cours. »

Le Del Mar College a opté pour que son système soit hébergé, ce qui lui apporte plusieurs avantages, notamment une réduction prévue des coûts à long terme.

« Si nous avions hébergé Blue nous-mêmes, nous aurions eu un autre serveur à maintenir ainsi qu’une autre personne à former et à spécialiser », explique Lee. « Le fait qu’Explorance héberge Blue réduit nos coûts à long terme et permet à nos ressources TI internes de mieux se concentrer sur leurs tâches. »

Les services professionnels assurent un lancement tout en douceur

La mise en œuvre du projet a commencé pendant le semestre d’été 2013. Explorance a fourni des services professionnels pour la mise en en œuvre, mais aussi pour la formation, la consultation initiale, la configuration du projet, le suivi et la production de rapports.

Ils ont mené un petit projet pilote en août 2013 dans six cours afin de garder un œil sur le projet et d’obtenir la rétroaction nécessaire pour apporter des améliorations.

« Nous voulions voir ce que les étudiants allaient voir, ce que les professeurs allaient voir, ainsi que les taux de réponse », relate Lee. « Nous avons été impressionnés. Tout s’est bien déroulé et les quelques problèmes techniques qui sont survenus ont été résolus très rapidement. »

Afin de maximiser les taux de réponse, le DMC a mis en place plusieurs programmes que les services professionnels d’Explorance ont recommandés et ajustés pour respecter leurs politiques et procédures.

Les invitations courriel envoyées directement par le recteur, par exemple, ont encouragé les étudiants à compléter les évaluations en ligne grâce à un lien vers le formulaire placé dans le corps du message. Deux courriels de rappel automatisés ont ensuite été envoyés par les doyens académiques aux étudiants n’ayant pas rempli leurs formulaires.

Accessible de partout, dont le portail Canvas

Le DMC a aussi utilisé l’Intégrateur de portail Blue (IPB) pour intégrer les formulaires d’évaluation Blue dans son portail Canvas. Les services professionnels d’Explorance ont fourni la formation nécessaire afin de montrer comment ajouter des blocs au portail, créer des déclencheurs de courriel et ajuster les tableaux de bord, entre autres.

« Une fois les étudiants connectés au portail, ils reçoivent un message qui les informe de leurs évaluations à faire », ajoute Lee. « Il était important d’atteindre des taux de réponse les plus hauts possible, et rendre ces formulaires accessibles à partir de Canvas était un élément essentiel pour ce faire. »

Les formulaires d’évaluation sont aussi compatibles avec n’importe quel système d’exploitation et sur n’importe quel type d’appareil.

« Les étudiants d’aujourd’hui font presque tout sur leurs appareils mobiles », lance Lee. « Nous devons être là où ils se trouvent, alors nous étions contents de voir les formulaires bien formatés pour les téléphones cellulaires et les tablettes. »

Après la fin du projet pilote initial, Lee a rencontré les professeurs participants afin de discuter des résultats et de possibles améliorations. La communication avait besoin d’être améliorée. Les professeurs ont remarqué que, souvent, les étudiants ne vérifiaient pas leurs boîtes de réception de courriels DMC et ne recevaient donc pas les notifications.

« Plusieurs professeurs ont pris l’initiative de fournir du temps en classe afin de remplir les formulaires, lorsqu’ils avaient accès à des ordinateurs dans la salle ou dans un laboratoire à proximité », raconte Lee. « Nous avons aussi développé une alerte par message texte qui ira aux étudiants en plus d’aller à l’adresse courriel de leur choix. Le tout sera lancé à l’automne 2014. »

Assez flexible pour gérer des politiques uniques

À l’automne 2013, le DMC a instauré les formulaires d’évaluation de cours en ligne à l’échelle de tout le collège. Comme convenu dans l’entente de services professionnels, Explorance s’est chargée de lancer les évaluations de cours, de vérifier que les courriels allaient aux bons destinataires et enfin de produire les rapports.

Le protocole d’évaluation du DMC est différent de celui de la plupart des autres collèges. Alors que tous les enseignants non permanents doivent voir tous leurs cours évalués par leurs étudiants, les professeurs permanents, eux, ne doivent faire évaluer que deux cours par année scolaire.

« La flexibilité de Blue a permis de respecter cet échéancier », se réjouit Lee. « Nous n’avions qu’à aller dans le tableau des professeurs, choisir les personnes appropriées et les sections de cours nous-mêmes plutôt que de créer des formulaires d’évaluation pour tous les cours. »

« Canvas nous permet de cacher les sections qui ne sont pas évaluées, les étudiants ne voient donc que les cours pour lesquels ils doivent remplir un formulaire. »

Notre travail acharné a porté ses fruits et le collège a obtenu des taux de participation satisfaisants. « Nous sommes heureux de nos taux de réponse », affirme Lee. « Néanmoins, nous sommes toujours à la recherche de façons de faire mieux. »

Des données qualitatives de qualité largement supérieure

Comme tout s’est bien déroulé pendant le semestre d’automne, le DMC a décidé de gérer les évaluations de cours par lui-même au printemps. L’équipe a reçu une formation d’autonomie à distance de la part des services professionnels d’Explorance qui a montré comment gérer les projets, les rapports ainsi que les autres fonctions administratives. Le DMC a ensuite pu lancer le sondage.

« Nous avons mené le sondage pendant une semaine de moins qu’au semestre d’automne et avons vu une amélioration dans les taux de réponse », rapporte-t-il. « Nous sommes très heureux des résultats. »

Le DMC est aussi très satisfait de la qualité des données recueillies.

« En ce moment, nous avons le meilleur portrait que nous ayons jamais eu », déclare-t-il. « Les commentaires sont considérablement meilleurs. Une fois les données aberrantes éliminées, nous avons une image beaucoup plus exacte des points de vue de nos étudiants. »

Le DMC apprécie aussi la rapidité avec laquelle ils obtiennent les résultats.

« Les rapports ne prennent maintenant que quelques jours à préparer plutôt que des semaines ou même des mois », se réjouit Lee. « Et ils sont beaucoup plus robustes. Nous pouvons poser des questions multiples, notamment par rapport aux installations. »

Plus de détails pour une distribution élargie

Cette information clé est maintenant distribuée aux échelons administratifs dans une variété de formats qui donnent aux administrateurs une meilleure compréhension des interactions entre les enseignants et les étudiants.

« Le directeur du département, le doyen et le recteur peuvent voir des résultats pour tous les membres de leur division dans un seul et même rapport, ce qui est génial », explique Lee. « Ceux-ci sont sous forme de PDF, ce qui est beaucoup plus facile à gérer. Ils peuvent facilement y accéder à partir de leur courriel ou du portail Canvas. »

Les chiffres fournissent une vue d’ensemble des réponses étudiantes, tandis que les commentaires permettent tant aux enseignants qu’à leurs superviseurs de creuser plus loin.

« Les rapports montrent comment un cours se compare à la division ainsi qu’au collège dans son ensemble. On peut voir des tendances générales dans les données, où l’enseignement peut être fort ou bien nécessiter du soutien par les pairs, ou où les installations sont défaillantes », ajoute-t-il. « On peut aussi regarder les questions individuelles afin de voir comment un professeur performe dans certaines catégories, notamment en enseignement. »

Le DMC tire aussi avantage des commentaires sous forme de tableau qui apparaît dans un rapport facile à lire et à comprendre.

« Les graphiques dressent un portrait rapide. On peut ensuite faire défiler les commentaires afin de clarifier ce qu’on voit dans les chiffres. »

Un avenir prometteur

En moins d’un an, le Del Mar College est passé d’un processus papier à l’évaluation en ligne des cours sur la base d’une prise de décision solide guidée par les pratiques de gouvernance partagée et l’objectif de soutenir l’amélioration au sein du collège. Explorance est heureuse d’avoir pu jouer un rôle important dans leur succès.

« Blue est un produit très puissant qui nous permet d’aller plus en profondeur dans nos sondages. Il sera un outil puissant pour nous aider à obtenir l’information dont nous avons besoin afin de changer nos processus et de travailler vers l’amélioration. »