Une approche sous forme de cours sur l’évaluation des programmes
Le Guide d’évaluation des programmes par Alana Hoare, Catharine Dishke Hondzel et Shannon Wagner est autorisé en vertu d’une licence Attribution – Pas d’Utilisation Commerciale – Partage dans les Mêmes Conditions 4.0 International de Creative Commons, sauf indication contraire.
Ce manuel a été réalisé en collaboration avec Pressbooks.
1
À l’hiver 2021, j’ai appris que j’allais coordonner le processus d’évaluation cyclique des programmes de l’université. Cette dernière propose plus de 200 programmes : des programmes universitaires traditionnels aux formations professionnelles, des certificats aux diplômes d’études supérieures, les trois quarts des cours étant offerts sur le campus, et les autres en ligne. Avec un si grand nombre de programmes devant être évalués au moins une fois tous les sept ans, ma première pensée a été la suivante : « Comment vais-je réussir à coordonner autant d’évaluations de programmes en même temps? »
Après avoir exploré plusieurs outils de gestion de projet, je suis finalement revenue à mes premières amours en tant qu’enseignante au primaire.
Lorsque j’ai commencé à réfléchir aux évaluations de programmes du point de vue d’une enseignante dans une classe, toutes les stratégies qui se sont avérées efficaces pour l’apprentissage des élèves me sont apparues comme une nouvelle façon d’envisager la coordination d’évaluations de programmes efficaces et significatives.
Ce que je savais aussi en tant qu’enseignante, c’est que je pouvais gérer une classe de 30 élèves. Lorsque j’ai considéré les 30 programmes comme des individus à part entière, cela m’a fait penser à une approche basée sur des cohortes et utilisant une structure personnalisée mais cohérente d’un « cours sur l’évaluation de programmes ».
Le présent guide d’évaluation des programmes explique en détail comment une université a mis en œuvre un cours sur l’évaluation des programmes pour mener plusieurs évaluations et comment elle a tiré parti du concept de communautés de perfectionnement professionnel comme catalyseurs de l’amélioration des programmes.
Le cours d’une durée de 14 mois qui est décrit dans ce guide offre au corps professoral une occasion structurée de participer à une communauté d’apprentissage sur l’évaluation de programmes, qui vise à mener des recherches sur les pratiques éducatives, à y réfléchir, et à les évaluer afin d’améliorer les résultats de la population étudiante (DuFour et Eaker, 1998; Hord, 1997; Stoll et al., 2006).
Nous espérons qu’avec cette approche de l’évaluation de programmes, d’autres pourront soutenir la création de processus d’assurance de la qualité qui sont collaboratifs, collégiaux et (osons le dire) amusants!
Dickeson, R. (2009). Prioritizing academic programs and services: Reallocating resources to achieve strategic balance. (2e édition). John Wiley & Sons.
DuFour, R., et Eaker, R. (1998). Professional learning communities at work: Best practices for enhancing student achievement. National Educational Service.
Degree Quality Assessment Board (DQAB). (à l’étude). Degree program review: Criteria and guidelines. Ministry of Advanced Education, Skills and Training, British Columbia.
Hord, S. (1997). Professional learning communities: Communities of continuous inquiry and improvement. Southwest Educational Developmental Laboratory.
McGowan, V. F. (2019). Not too small to be strategic: The state of academic program review guidelines and instrumentation in public institutions. Administrative Issues Journal, 9(1), 53-67. DOI: 10.5929/9.1.1 (en anglais seulement)
Stoll, L., Bolam, R., McMahon, A., Wallace, M., et Thomas, S. (2006). Professional learning communities: A review of the literature. Journal of Educational Change, 7, 221-258.
2
Le Guide d’évaluation des programmes décrit le processus de mise en œuvre d’un cours sur l’évaluation de programmes qui fournit aux spécialistes de l’assurance de la qualité une méthode pour mener plusieurs évaluations de programmes en même temps. Ce cours crée un environnement permettant à la communauté de perfectionnement professionnel de faire des recherches, de réfléchir, d’explorer et d’apprendre (Hoare et al., à l’étude). Ce guide s’adresse principalement aux membres du corps professoral, du personnel et de l’administration qui participent à l’évaluation des programmes.
Dans notre établissement, le cours sur l’évaluation de programmesest offert par le Bureau de l’assurance de la qualité et coordonné par une personne spécialiste de l’assurance de la qualité. Toutes les sections du cours sont disponiblessur Moodle, le système de gestion de l’apprentissage de l’université.
Description du cours sur l’évaluation de programmes
Dans le cadre de ce cours d’une durée de 14 mois, les membres du corps professoral procéderont à un examen complet de leur programme ou de leur département. Ce cours en équipe est conçu pour évaluer la performance du programme par rapport à la réussite de la population étudiante, au contenu du programme, à la viabilité et aux répercussions du programme, ainsi qu’à la contribution à la mission et à la vision de l’université. La performance du programme est mesurée à la fois par une autoévaluation et par une évaluation externe par des pairs. À la suite de sondages et d’analyses fondées sur des données probantes, les résultats sont consignés dans un rapport exhaustif menant à un plan d’action et à des objectifs visant à améliorer le programme au cours des cinq à sept années suivantes. Le cours sur l’évaluation de programmes est axé sur l’amélioration continue de la qualité. Bref, l’objectif est de faire en sorte que les bons programmes deviennent encore meilleurs!
Program Review Course Learning Outcomes
À l’issue de ce cours, les membres du corps professoral seront en mesure de :
Le cours se compose de huit modules, dont plusieurs se déroulent simultanément, comme le montre le tableau ci-dessous.
| Module | Période |
|---|---|
| 1. Séance d’orientation | Mai |
| 2. Objectifs d’apprentissage et cartographie du curriculum | Mai à août |
| 3. Activité d’analyse FOAR | Juin à août |
| 4. Sondages | Juin à octobre |
| 5. Autoévaluation | Mai à décembre |
| 6. Évaluation externe | Août à mars |
| 7. Plan d’action | Mars à mai |
| 8. Rapport aux organes de gouvernance | Mai à juin |
Le calendrier des modules fait preuve d’une grande souplesse afin de permettre aux équipes d’évaluation des programmes de choisir le rythme qui répond le mieux à leurs besoins. Par exemple, nous estimons que la rédaction du rapport d’autoévaluation prendra trois à quatre mois. Cependant, nous avons alloué sept mois aux équipes d’évaluation des programmes pour terminer le module 5, car nous savons que le corps professoral a de nombreuses priorités concurrentes, que les efforts de collaboration peuvent prendre plus de temps que les efforts individuels, et qu’il est utile d’offrir des occasions et du temps pour une réflexion critique et une analyse dialogique.
La notion de communauté et la conviction qu’une culture d’apprentissage est mieux réalisée par « un événement collectif plutôt que solitaire » (Rosenholtz, 1989) est au cœur du cours sur l’évaluation de programmes. Cependant, les recherches suggèrent que les évaluations de programmes pourraient ne pas répondre aux besoins institutionnels en raison de processus autoritaires et non collégiaux (Bowker, 2016; Turner et al., 2018). Selon une étude récente menée auprès de corps professoraux de sociologie dans des universités nord-américaines, (Scheuer Senter et al., 2021), plus d’un tiers des rapports d’autoévaluation des programmes sont rédigés par une seule personne.
Pour combler cette lacune, le cours propose des processus qui visent à atteindre une vision commune et une prise de décision collaborative. Les départements qui participent au cours mettent en place une équipe d’évaluation des programmes composée de trois à cinq membres du corps professoral, dont la présidence de leur programme. L’objectif principal de cette approche basée sur le travail d’équipe est de renforcer le leadership, la pratique scientifique et l’efficacité des membres de l’équipe d’évaluation des programmes.
Les recherches suggèrent également que les communautés de perfectionnement professionnel efficaces s’étendent au-delà du corps professoral pour inclure le personnel et l’administration, créant ainsi une communauté à l’échelle de l’université (Stoll et al., 2006). Par conséquent, le cours sur l’évaluation de programmes est conçu pour rassembler une cohorte interdisciplinaire d’environ six à huit départements qui sont soutenus par des spécialistes de l’assurance de la qualité et des formateur.trice.s en pédagogie.
La cohorte interdisciplinaire offre un apprentissage essentiel entre pairs et a le potentiel de mettre en lumière différentes synergies interdisciplinaires. Environ six à huit équipes d’évaluation de programmes, représentant des disciplines distinctes (par exemple, l’histoire, la biologie, l’éducation, les soins infirmiers, etc.) sont inscrites au cours. Les liens entre les départements sont favorisés grâce à un modèle de leadership distribué (Harris, 2014) qui encourage les membres du corps professoral, du personnel et de l’administration à collaborer pour atteindre un objectif commun.
Cette cohorte interdisciplinaire d’équipes d’évaluation des programmes fait participer activement toutes les personnes membres lors de la séance d’orientation, des séances d’information et des ateliers. L’avantage d’une telle approche réside dans l’apprentissage partagé qui résulte de la collaboration et de la recherche. Par exemple, les membres du corps professoral qui ont déjà de l’expérience en évaluation de programmes, quelle que soit leur discipline, peuvent faire part de leurs connaissances aux autres membres de la cohorte. De plus, lorsqu’une question est posée par une personne membre du corps professoral au cours d’une séance, les autres membres de la cohorte peuvent entendre la réponse, et lorsque des occasions ou des défis communs se présentent, la cohorte peut plaider collectivement en faveur d’un soutien institutionnel.
Le rôle principal des spécialistes de l’assurance de la qualité et des formateur.trice.s en pédagogie dans le cours sur l’évaluation de programmes est de faciliter, de guider et de promouvoir la participation, la réflexion et la recherche en collaboration. Le fait de « faciliter le dialogue et la réflexion à tous les niveaux sur ce que l’image collective de l’apprentissage de la population étudiante pourrait signifier minimisera la fragmentation des efforts d’évaluation » (Kuh et al., 2015, p. 210). Grâce à des dialogues simplifiés, le corps professoral a des occasions structurées de réfléchir à la signification des données d’évaluation à l’échelle départemental, collégial et universitaire.
Bowker, L. (2016). Language and quality assurance: A case study highlighting the effects of power, resistance, and countertactics in academic program reviews. Translation and Power: Countertactics, 29(2), 177-193. https://doi.org/10.7202/1051018ar (en anglais seulement)
Harris, A. (2014). Distributed leadership matters: Perspectives, practicalities, and potential. Corwin Press.
Hoare, A., Dishke Hondzel, C., Wagner, S., et Church, S. (à l’étude). A program review course for facilitating academic program review.
Hoare, A., Wagner, S., et Dishke Hondzel, C. (à l’étude). Academic program review learning community.
Kuh, G. D., Ikenberry, S. O., Jankowski, N. A., Cain, T. R., Ewell, P. T., Hutchings, P., et Kinzie, J. (2015). Using evidence of student learning to improve higher education. Jossey-Bass.
Rosenholtz, S. J. (1989). Teachers’ workplace: The social organization of schools. Longman.
Stoll, L., Bolam, R., McMahon, A., Thomas, S., Wallace, M., Greenwood, A., et Hawkey, K. (2006). Professional learning communities: Source materials for school leaders and other leaders of professional learning. Innovation Unit, DfES, NCSL, and GTC.
Scheuer Senter, M., Ciabattari, T. et Amaya, N. V. (2020). Sociology departments and program review: Chair perspectives on process and outcomes. Teaching Sociology, 49(1), 1-16. https://doi.org/10.1177/0092055X20970268 (en anglais seulement)
Turner, J., Christensen, A., Kackar-Cam, H., et Fulmer, S. M. (2018). The development of professional learning communities and their teacher leaders: An activity systems analysis. Journal of the Learning Sciences, 27(1), 49-88. https://doi.org/10.1080/10508406.2017.1381962 (en anglais seulement)
3
Les campus de l’Université Thompson Rivers sont situés sur les terres ancestrales des Tk’emlúps te Secwépemc (campus de Kamloops) et des T’exelc (campus de Williams Lake) au sein de Secwépemc’ulucw, le territoire ancestral et non cédé des Secwépemc. Notre région s’étend également sur les territoires des peuples St’át’imc, Nlaka’pamux, Nuxalk, Tŝilhqot’in, Dakelh et Syilx.
Écoutez la reconnaissance du territoire ici.
En tant qu’auteures, nous sommes profondément reconnaissantes envers les peuples Secwépemc, sur les terres desquels nous avons la possibilité de vivre, de travailler et d’apprendre. Au nom des colons et alliés, nous nous engageons à collaborer en réponse aux appels à l’action de la Commission de vérité et réconciliation du Canada. Nous pensons que ce travail peut contribuer de manière significative à la qualité de l’éducation afin que toute la population étudiante, en particulier les membres des communautés autochtones, et leurs connaissances soient valorisées dans chaque environnement d’apprentissage.
En utilisant le processus d’évaluation cyclique des programmes, nous aspirons à fournir un leadership et des occasions pour que les programmes et les départements prennent des mesures significatives concernant les appels à l’action suivants :
62. Nous demandons aux gouvernements fédéral, provinciaux et territoriaux, en consultation et en collaboration avec les survivants, les peuples autochtones et les éducateurs, de :
et
63. Nous demandons au Conseil des ministres de l’éducation (Canada) de maintenir un engagement annuel à l’égard des questions relatives à l’éducation des Autochtones, notamment en ce qui touche :
Pour en savoir plus, consultez le rapport final de la Commission de vérité et réconciliation.
4
Le Guide d’évaluation des programmes s’appuie sur notre expérience à l’Université Thompson Rivers, une université d’enseignement et de recherche à libre accès située en Colombie-Britannique. Les modules et les calendriers décrits dans ce guide ont été conçus en fonction du contexte local. Nous vous encourageons à utiliser et à adapter nos modules afin de développer le processus qui correspond le mieux aux besoins de votre établissement.
Le Guide d’évaluation des programmes s’adresse principalement aux spécialistes de l’assurance de la qualité et aux formateur.trice.s en pédagogie. Il est divisé en huit chapitres, qui correspondent aux huit modules du cours sur l’évaluation de programmes, et comporte un neuvième chapitre, qui décrit les étapes de la rédaction d’un bilan de mi-parcours. De plus, un dixième chapitre détaille les méthodes permettant de créer des liens plus étroits entre l’évaluation de programmes et la planification institutionnelle.
Chaque module comprend :
Partagez et adaptez!
Nous espérons que ce matériel vous sera utile dans votre pratique. Vous pouvez partager et adapter le matériel (CC BY-NC-SA 4.0). Toutefois, nous vous demandons d’inclure la mention (attribution) suivante :
Hoare, A., Dishke Hondzel, C., et Wagner, S. (2022). Guide d’évaluation des programmes : Une approche sous forme de cours sur l’évaluation des programmes. https://programreviewhandbook.pressbooks.tru.ca
I
1
En mars, la personne responsable de l’assurance de la qualité communique avec les doyen.ne.s et les directions de programme pour leur rappeler les programmes de leur faculté ou de leur établissement qui doivent faire l’objet d’une évaluation externe. Toutes ces personnes sont également invitées à suivre un cours d’évaluation des programmes d’une durée de 14 mois.
Chaque département constitue ensuite une équipe d’évaluation des programmes composée de trois à cinq membres du corps professoral, qui sont les premiers responsables de l’évaluation. Une fois les équipes constituées, la personne responsable de l’assurance de la qualité inscrit toutes ces personnes au cours d’évaluation des programmes qui est mis en place dans le système de gestion de l’apprentissage de l’université (Moodle, Blackboard, etc.), où elles ont accès à des ressources telles que des modèles, des calendriers, des dates de soumission recommandées, des séances d’information et des ateliers.
En mai, la cohorte d’équipes d’évaluation des programmes participe à une séance d’orientation interactive d’une demi-journée, animée par des représentant.e.s du bureau de l’assurance de la qualité et du centre d’excellence en enseignement et en apprentissage. Cette séance d’orientation est conçue pour être pratique, collaborative et éducative afin de favoriser la réussite des évaluations. De plus, les personnes qui y participent ont la possibilité de poser des questions et de raconter leurs expériences antérieures en matière d’évaluation de programmes. On invite également les ancien.ne.s étudiant.e.s qui ont suivi le cours à faire part de leurs expériences.
Instructions pour les équipes chargées de l’évaluation des programmes
Période : Avril à mai
Dates de soumission recommandées : Avril et mai
En préparation à la séance d’orientation, veuillez prendre le temps de faire ce qui suit :
| Heure | Activité |
|---|---|
| 9 h à 9 h 20 | Mot de bienvenue et introduction |
| 9 h 20 à 9 h 35 | Aperçu du sondage et de l’approche de l’évaluation des programmes fondée sur la recherche |
| 9 h 35 à 9 h 45 | Objectif de l’évaluation des programmes, notamment les exigences réglementaires internes et externes |
| 9 h 45 à 10 h | Aperçu du modèle conceptuel et des principes de l’évaluation des programmes |
| 10 h à 10 h 30 | Activité sur la charte d’équipe |
| 10 h 30 à 10 h 45 | Pause |
| 10 h 45 à 11 h | Aperçu des modules et de la logistique de l’évaluation des programmes |
| 11 h à 11 h 10 | Aperçu de la conception des curriculums et de la planification appréciative |
| 11 h 10 à 12 h | Conférence : L’autochtonisation |
| 12 h à 12 h 35 | Dîner |
| 12 h 35 à 13 h | Conférence : Panel d’ancien.ne.s étudiant.e.s de cohortes d’évaluation de programmes |
| 13 h à 13 h 30 | Conférence : La planification intégrée et l’efficacité, y compris les données et les sondages sur les inscriptions et les résultats des étudiant.e.s |
| 13 h 30 à 13 h 50 | Activité : Calendrier d’évaluation des programmes à remplir (PDF) |
| 13 h 50 à 14 h | Mot de la fin et prochaines étapes |
Remarque : Pour en savoir plus sur notre expérience des séances d’orientation, veuillez communiquer avec nous (nos coordonnées figurent dans la section « Auteures »).
Présentateur.trice.s
Bureau de l’assurance de la qualité :
Centre d’excellence en enseignement et en apprentissage :
Corps professoral
Objectifs d’apprentissage
À l’issue de cette séance d’orientation, les membres du corps professoral seront en mesure de :
2
Un élément important de l’évaluation des programmes est l’examen et la révision, par les universités, des objectifs d’apprentissage des programmes (OAP), c’est-à-dire les énoncés qui décrivent les attitudes, les connaissances et les compétences que doivent acquérir les personnes diplômées de ces programmes. Au fil du temps, les OAP peuvent changer, et le programme peut s’éloigner de ce pourquoi il avait été conçu à l’origine. Au fur et à mesure que des membres du corps professoral partent à la retraite et que de nouveaux arrivent, la culture des programmes pourrait devoir être redéfinie pour correspondre à l’évolution de l’expertise au sein des départements. De nouvelles tendances et de nouvelles compétences émergent également au fil du temps dans les disciplines et les domaines professionnels, parallèlement aux changements dans les exigences d’accréditation des programmes. Un examen minutieux des OAP et de la cartographie du curriculum existants peut donc conduire à des améliorations et à une plus grande cohérence dans les curriculums.
La cartographie du curriculum offre une approche visuelle pour comprendre ces programmes, y compris la manière dont les cours contribuent à l’apprentissage des étudiant.e.s. Elle clarifie les attentes des programmes et des cours, ainsi que les liens entre les cours, les OAP et les objectifs d’apprentissage institutionnels (pour les programmes de baccalauréat seulement). De plus, la cartographie du curriculum facilite la conception des travaux à réaliser et des évaluations.
Instructions pour les équipes chargées de l’évaluation des programmes
Période : Du 15 mai au 31 août
Date de soumission recommandée : 31 août
Le centre d’excellence en enseignement et en apprentissage est un partenaire clé du module 2. Idéalement, tous les membres du corps professoral devraient participer à l’élaboration ou à la révision des objectifs d’apprentissage et de la cartographie du curriculum. L’ensemble du processus peut être accompli en six heures environ, réparties sur trois ou quatre réunions. Cependant, il devrait être étalé dans le temps pour permettre une réflexion sur le travail à accomplir et les éléments à prendre en compte.
| Sujet | Durée |
Description |
|---|---|---|
| Introduction aux OAP | 10 minutes | Le centre d’excellence en enseignement et en apprentissage présente une introduction aux OAP au début de la réunion de département. |
| Sondage sur les OAP | 25 minutes | Le centre d’excellence en enseignement et en apprentissage mène un sondage sur les OAP pour obtenir l’avis de tout le département. Les résultats du sondage sont recueillis (généralement dans un délai d’une à deux semaines) et le contenu pour le premier atelier sur les OAP avec le département est préparé. |
| Tri des OAP | 1 heure | En petits groupes, les membres du département trient, révisent et consolident les OAP en faisant une ébauche de huit à dix objectifs. |
| Modification des OAP | 1 heure | Les membres du corps professoral révisent les OAP, si nécessaire. |
| Gouvernance et approbation | 1 heure | Les OAP sont soumis pour approbation à la réunion du département, puis au conseil du corps professoral. |
| Introduction à la cartographie du curriculum | 15 minutes | Le centre d’excellence en enseignement et en apprentissage présente une introduction à la cartographie du curriculum au début de la réunion de département. |
| Cartographie des cours | 1 heure | Une fois que le département est parvenu à un consensus sur les OAP, il procède à la cartographie du curriculum. Les membres du corps professoral examinent les cours du programme, et doivent évaluer ceux-ci en s’appuyant sur les questions suivantes : 1) Quels sont les OAP qui sont visés dans ce cours? 2) Est-ce que le cours aborde, renforce ou développe des compétences en lien avec les OAP? 3) Quelles sont les techniques d’évaluation utilisées pour déterminer si les OAP sont atteints? |
| Interprétation de carte du curriculum | 1 heure | Cette séance est l’occasion pour le corps professoral d’examiner les points forts et la structure d’un programme. La carte fournit une représentation visuelle des OAP, ce qui permet de cerner les lacunes ou les redondances dans le programme. Les modèles d’évaluation deviennent alors évidents et ouvrent la voie à des discussions sur les meilleures pratiques d’évaluation, la cohérence entre les sections d’un même cours et la variété à travers le programme. |
Le centre d’excellence en enseignement et en apprentissage propose de nombreuses ressources, dont un guide sur la rédaction et l’évaluation des objectifs d’apprentissage. Ces ressources sur les objectifs d’apprentissage sont disponibles en ligne.
3
L’acronyme FOAR signifie Forces, Occasions, Aspirations et Résultats. Il s’agit d’une approche stratégique qui se concentre sur les points forts et qui cherche à comprendre une organisation et son environnement en incluant l’opinion des parties prenantes concernées, comme des membres du corps professoral ou du personnel, des étudiant.e.s ou des partenaires communautaires (Cole et Stavros, 2019).
L’objectif de l’analyse FOAR est de permettre au corps professoral de réfléchir aux forces et aux améliorations possibles du programme en utilisant une structure qui est adaptable et réactive, et qui produit des résultats mesurables.
| Analyse FOAR | Description |
|---|---|
| Forces | Les points forts, les atouts, les ressources, le potentiel et les réussites du programme. |
| Occasions | Les forces environnementales et externes qui ont une incidence sur le programme et sur les possibilités de croissance. |
| Aspirations | Une expression de ce qui est important pour le programme. C’est l’occasion de discuter de la vision de l’avenir. Ce segment s’appuie sur les forces actuelles et saisit le sentiment d’élan des parties prenantes (et ce qu’elles souhaitent) pour l’avenir. |
| Résultats | Des résultats précis, mesurables et tangibles qui démontreront que les objectifs et les aspirations du programme ont été atteints. |
Pour en savoir plus sur l’analyse FOAR et son lien avec l’analyse FFPM (analyse des forces, des faiblesses, des possibilités et des menaces), une méthode plus courante, l’article « SOARing Towards Positive Transformation and Change » (Stavros et Cole, 2013) peut être utile.
Instructions pour les équipes chargées de l’évaluation des programmes
Période : Du 15 mai au 31 octobre
Date de soumission recommandée : 31 octobre
La personne qui anime l’activité d’analyse FOAR doit rencontrer l’équipe chargée de l’évaluation des programmes avant d’entamer l’activité. Au cours de cette rencontre, les dates et heures de l’activité seront confirmées, ainsi que la liste des personnes participantes, et les objectifs et la vision du département. Il faudra aussi déterminer si les documents de la précédente évaluation programme seront accessibles ou non.
À ce stade, la personne qui anime cherchera également à comprendre la dynamique et la personnalité des membres du corps professoral. Il est donc utile de parler ouvertement des réussites, des conflits et de l’historique du département. Bien que cette rencontre soit de courte durée, les renseignements qui y seront communiqués peuvent grandement préparer le corps professoral à contribuer au travail de manière efficace, et peuvent aider la personne qui anime l’activité à anticiper les problèmes avant qu’ils ne surviennent.
Les conversations au sujet de l’analyse FOAR sont axées sur ce que le département fait déjà de bien, sur les programmes ou les services qui pourraient être améliorés, et sur les prochaines étapes à suivre pour faire des suggestions en matière d’évaluation de programmes. En utilisant une approche systémique et en incluant tout le monde, nous prenons en considération les nombreuses relations et interactions qui existent entre les personnes, les programmes, les fonctions et l’environnement au sens large.
| Durée | Activité |
|---|---|
| 10 minutes | Accueil, reconnaissance du territoire et mot d’ouverture |
| 10 minutes | Aperçu du cycle de planification et des objectifs de l’activité |
| 30 minutes | Forces : Sur quelles forces pouvons-nous miser? |
| 30 minutes | Occasions : Quelles sont nos meilleures occasions futures? |
| 10 minutes | Pause |
| 30 minutes | Aspirations : Qu’est-ce qui nous tient profondément à cœur? |
| 30 minutes | Résultats : De quelle manière saurons-nous que nous avons réussi? |
| 20 à 30 minutes | Récapitulation, conclusion des thèmes et compte rendu |
Remarque : En 2021, nous avons proposé des options en présentiel, virtuelles et hybrides pour l’activité d’analyse FOAR. Si l’activité est réalisée dans un environnement hybride ou virtuel, nous vous conseillons vivement de faire appel à des personnes qui coanimeront et d’utiliser des outils collaboratifs (par exemple, Google Docs, document partagé dans Teams, etc.).
Resources for Quality Assurance Practitioners and Educational Developers
Au cours de l’activité d’analyse FOAR, les équipes d’évaluation des programmes, d’autres membres du corps professoral, les doyen.ne.s et parfois des membres de la population étudiante répondent à une série de questions relatives aux forces, aux occasions, aux aspirations et aux résultats du programme.
Nous avons utilisé avec succès la méthode Think-Pair-Share (Penser-Échanger-Partager) (Lyman, 1981) et la méthode 1-2-4-All (1-2-4-Tous) (Lipmanowicz et McCandless, 2014) pour trouver des idées de manière collaborative et nous assurer que les voix des personnes les plus discrètes sont entendues.
Lorsque nous travaillons en présentiel, nous demandons aux personnes participantes d’écrire leurs idées sur des notes autocollantes, que nous classons ensuite par thèmes, en groupe. En ligne, en fonction de la taille du groupe et de ses connaissances en technologie, les salles de réunion et les documents partagés se sont avérés très efficaces. Une personne à la coanimation peut aussi grandement faciliter ce processus, en particulier dans les grands départements.
Après l’activité d’analyse FOAR, la personne qui anime doit préparer un rapport résumant les conversations.
Cockell, J., et McArthur-Blair, J. (2012). Appreciative inquiry in higher education: A transformative force. Jossey-Bass.
Cole, M.L., et Stavros, J.M. (2019). SOAR: A Framework to Build Positive Psychological Capacity in Strategic Thinking, Planning, and Leading. Dans : Van Zyl, L., et Rothmann Sr. S. (eds). Theoretical Approaches to Multi-Cultural Positive Psychological Interventions. Springer, Cham. https://doi.org/10.1007/978-3-030-20583-6_23 (en anglais seulement)
Lipmanowicz, H., et McCandless, K. (2014). The Surprising Power of Liberating Structures: Simple Rules to Unleash A Culture of Innovation. Seattle : Liberating Structures Press.
Lyman, F. (1981). The responsive classroom discussion: The inclusion of all students. Mainstreaming Digest. University of Maryland, College Park (Maryland).
Mir, R. A., Mir, A., et Upadhyaya, P. (2003). Toward a postcolonial reading of organizational control. A. Prasad (Ed.), Postcolonial theory and organizational analysis: A critical engagement (p. 47-73). Palgrave Macmillan.
Srivastva, S., et Cooperrider, D. (1990). Appreciative management and leadership: The power of positive thought and action in organizations. Jossey-Bass.
Stavros, J.M., Cooperrider, DL, et Kelley, D.L. (2003). Strategic inquiry appreciative intent: Inspiration to SOAR, a new framework for strategic planning. AI Practitioner. 10-17 novembre.
Stavros, J.M., et Hinrichs, G. (2009). The thin book of SOAR: Building strengths- based strategy. Thin Book Publishing Co.
4
Dans le cadre de l’évaluation des programmes, on s’attend à ce que les différents groupes de parties prenantes soient consultés, notamment la population étudiante, le corps professoral, les ancien.ne.s étudiant.e.s et les employeurs (le cas échéant). Pour chacun de ces groupes, il existe des modèles de sondage qui servent de point de départ. Les équipes chargées de l’évaluation des programmes peuvent ajouter des questions aux sondages pour répondre aux besoins précis de leurs programmes.
La personne responsable de la gouvernance des curriculums, au sein du bureau de l’assurance de la qualité, élabore et distribue les sondages d’évaluation des programmes en consultation avec les équipes d’évaluation des programmes. SurveyMonkey est la plateforme de sondage utilisée par notre université, mais il existe plusieurs autres plateformes conviviales qui permettent de créer des sondages en ligne.
Instructions pour les équipes chargées de l’évaluation des programmes
Période : Du 15 mai au 15 octobre
Date de soumission recommandée : 15 octobre
Remarque : Selon le département, il peut être utile de sonder d’autres parties prenantes (p. ex., des membres de la collectivité, de l’industrie, de la communauté autochtone ou de départements internes) ou d’utiliser d’autres méthodes de collecte de données (p. ex., groupes de discussion, entrevues, cartographies culturelles/de parcours). Le bureau de l’assurance de la qualité et le centre d’excellence en enseignement et en apprentissage peuvent aider les départements à mettre au point des outils de collecte de données personnalisés.
Il existe plusieurs stratégies et combinaisons de stratégies possibles pour la diffusion des sondages. La meilleure pour chaque programme est déterminée par l’équipe d’évaluation des programmes, en consultation avec le bureau de l’assurance de la qualité, par exemple :
Les sondages restent accessibles pendant quatre semaines. Avec l’approbation de l’équipe d’évaluation des programmes, cette période peut être prolongée, ou des rappels peuvent être faits afin d’encourager la participation.
Environ trois semaines après la clôture des sondages, la personne responsable de la gouvernance des curriculums transmet les résultats à l’équipe d’évaluation des programmes dans un rapport sommaire. Les résultats sont rendus anonymes afin de garantir la confidentialité des personnes qui ont participé au sondage. Les rapports sont transmis aux responsables de l’évaluation externe (module 6) et les résultats servent à l’élaboration d’un plan d’action (module 7).
Nous pensons qu’il est important que le corps professoral soit le premier responsable de l’analyse et de l’interprétation des résultats des sondages, car les personnes impliquées et engagées dans les opérations quotidiennes du programme sont les mieux placées pour « s’assurer que la richesse, la subtilité et la nuance ne perdent pas tout leur sens » (Wehipeihana, 2019, p. 372).
Wehipeihana, N. (2019). Increasing cultural competence in support of Indigenous-led evaluation: A necessary step toward Indigenous-led evaluation. Canadian Journal of Program Evaluation, 34(2), 368-384. https://doi.org/10.3138/cjpe.68444 (en anglais seulement)
5
La réalisation d’un rapport d’autoévaluation est au cœur de l’évaluation des programmes.
L’évaluation des programmes est une enquête fondée sur des données probantes, et le rapport d’autoévaluation est un outil qui permet d’entamer des discussions et de remettre en question les hypothèses sur les performances des programmes. Les sujets abordés dans le rapport d’autoévaluation comprennent souvent le contexte du programme, le curriculum et l’évaluation des apprentissages, la réussite étudiante, la gouvernance et les ressources, la planification, et la viabilité.
Nous encourageons les équipes d’évaluation des programmes à produire un rapport d’autoévaluation honnête, objectif et exhaustif. Il s’agit d’une analyse complète du programme par les membres du programme. Le rapport d’autoévaluation doit refléter la participation et la consultation du corps professoral, du personnel et de la population étudiante.
Instructions pour les équipes chargées de l’évaluation des programmes
Période : Du 15 mai au 1er décembre
Date d’échéance : 1er décembre
Remarque : Au début de chaque cohorte, au printemps, le bureau de l’assurance de la qualité soumet au bureau de recherche institutionnelle une demande de données sur les inscriptions et les résultats de la population étudiante dans les différents programmes. Cela permet d’assurer que le bureau de recherche institutionnelle dispose de suffisamment de temps pour collecter les données et fournir des rapports personnalisés pour chaque programme.
Atelier d’autoévaluation facultatif, « sur demande »
Le bureau de l’assurance de la qualité, en collaboration avec le centre d’excellence en enseignement et en apprentissage, offre un atelier d’autoévaluation de trois heures, sur demande. L’atelier permet au corps professoral du programme de prendre le temps nécessaire pour réfléchir aux questions du rapport d’autoévaluation et trouver des réponses. Un aperçu de l’atelier et de l’ordre du jour est disponible dans le fichier PDF suivant : Atelier d’autoévaluation sur demande (PDF).
Lors de la rédaction du rapport d’autoévaluation, il convient d’expliquer les choses telles qu’elles sont et d’indiquer si des projets sont prévus dans l’avenir. Le but de l’évaluation d’un programme est d’explorer les possibilités d’amélioration. Le rapport d’autoévaluation n’est donc pas un effort de relations publiques, mais permet plutôt de trouver des moyens d’améliorer le programme.
Prévoyez de trois à quatre mois pour rédiger le rapport. En général, les réponses à chaque question doivent se limiter à quelques paragraphes.
L’honnêteté et la clarté sont les principales caractéristiques d’une bonne autoévaluation. Si les lacunes ne sont pas indiquées ou qu’elles sont passées sous silence, les problèmes ne pourront pas être traités dans le plan d’action (module 7). De plus, il est préférable de ne pas ajouter d’éléments qui n’ont pas de sens ou de valeur ajoutée. Par exemple, un énoncé de mission ne devrait pas être formulé simplement pour qu’il y en ait un dans le rapport. Il est préférable de répondre simplement et honnêtement qu’« il n’y a pas d’énoncé de mission ». Cette honnêteté permet à l’équipe du programme, ainsi qu’aux responsables de l’évaluation externe, de discuter de la question de manière productive.
Le vice-rectorat associé aux études ainsi que la personne responsable de l’assurance de la qualité examinent la version préliminaire du rapport d’autoévaluation et proposent des précisions au moins six semaines avant la visite d’évaluation externe sur place. Le rapport d’autoévaluation est ensuite transmis aux responsables de l’évaluation externe quatre semaines avant cette visite.
6
Les idées et les conseils des responsables de l’évaluation externe jouent un rôle fondamental dans la planification de l’évaluation des programmes. Dans notre établissement, la politique de l’université précise que « la participation de consultant.e.s externes indépendant.e.s est également un élément essentiel du processus d’évaluation et d’amélioration de la qualité de l’université ».
L’évaluation externe implique la consultation d’expert.e.s externes qui donnent leur avis sur les points forts des programmes et les possibilités d’amélioration. Cela ajoute de la validité et de la valeur au processus d’évaluation. Le rôle des responsables de l’évaluation externe (en tant qu’expert.e.s individuel.le.s, et collectivement en tant qu’équipe) est de commenter les points forts et les problèmes du programme en ce qui a trait à la demande du marché, au curriculum, à la pédagogie, à la structure, aux services étudiants et à l’utilisation des ressources.
Instructions pour les équipes chargées de l’évaluation des programmes – Désignation des responsables de l’évaluation externe
Période : Du 1er août au 30 septembre
Date de soumission recommandée : 30 septembre
L’équipe d’évaluation des programmes désigne des candidatures à l’évaluation externe en s’appuyant sur les critères suivants :
| Critères | Description |
|---|---|
| Les personnes responsables de l’évaluation externe doivent être respectées et compétentes dans les domaines de spécialisation qui sont importants pour le programme évalué. | |
| Expérience administrative | L’expérience administrative est un atout, de même qu’une expérience préalable dans l’évaluation de programmes universitaires. Les responsables de l’évaluation externe doivent être des universitaires d’expérience qui comprennent le fonctionnement des universités et l’enseignement; qui sont capables d’évaluer de manière réaliste le programme, les plans de perfectionnement, et les activités professionnelles du corps professoral; et qui peuvent évaluer les points forts et les occasions du programme par rapport à des programmes similaires dans d’autres établissements comparables. |
| Élaboration de curriculums | Les responsables de l’évaluation externe doivent également avoir de l’expérience en matière de formation pédagogique et d’élaboration de curriculums dans le domaine concerné. Dans le cas de l’évaluation d’un programme d’études supérieures, les responsables de l’évaluation externe doivent avoir une expérience considérable de l’enseignement supérieur. |
| Diversité | L’université s’est engagée à favoriser la diversité et à réexaminer ses pratiques sous un nouvel angle. En plus de s’assurer que les personnes responsables de l’évaluation externe répondent aux critères indiqués ci-dessus, il serait important qu’elles reflètent une certaine diversité en ce qui concerne l’identité de genre, l’orientation sexuelle, l’identité raciale ou ethnique, l’ascendance autochtone et les handicaps. |
| Conflit d’intérêts | Tout conflit d’intérêts perçu ou réel doit être évité. Il est préférable d’éviter les ancien.ne.s mentor.e.s ou les camarades proches du corps professoral actuel de l’Université Thompson Rivers, d’ancien.ne.s membres du personnel ou de personnes ayant postulé ou susceptibles de postuler à un poste à l’université. Les responsables de l’évaluation externe ne doivent avoir aucun lien de parenté, de partenariat, de supervision ou autre avec les personnes impliquées dans le programme évalué. Il y a conflit d’intérêts lorsque la personne proposée pour fournir une expertise-conseil a collaboré avec une personne membre du programme au cours des sept dernières années, a un lien administratif ou familial avec une personne membre du programme évalué, a été supervisée par un membre du programme évalué, ou l’a supervisé (dans le cadre d’études supérieures ou postdoctorales), au cours des sept dernières années, est un.e ancien.ne membre du programme évalué, a un lien d’amitié avec une personne membre du programme évalué, ou a été récemment (au cours des cinq dernières années) professeure invitée dans le programme évalué. |
Pour les programmes ne menant pas à un diplôme, un minimum de deux responsables de l’évaluation externe est requis. Pour les programmes de diplôme universitaire, un minimum de trois responsables de l’évaluation externe est requis. Selon la nature de l’évaluation du programme et des questions soulevées, les doyen.ne.s peuvent demander plus de responsables de l’évaluation que le minimum requis. En général, les responsables de l’évaluation externe sont des universitaires d’expérience provenant d’autres établissements. Pour les programmes qui mettent l’accent sur l’expérience, l’une des personnes membres de l’équipe d’évaluation peut avoir une expertise de l’industrie pour fournir des conseils et un aperçu de l’application pratique du programme.
Une fois la liste des candidatures approuvées établie, la personne responsable de la gouvernance des curriculums communique avec les personnes responsables de l’évaluation externe en fonction du nombre requis. Ces personnes sont invitées, par courriel, à collaborer avec l’université pour évaluer les programmes. Les documents suivants leur sont envoyés :
Instructions pour les équipes chargées de l’évaluation des programmes – Visite sur place de l’équipe d’évaluation externe
Période : Du 1er septembre au 28 février
Date de soumission recommandée : 28 février
Ressources :
La partie la plus imprévisible du processus est l’organisation de la visite sur place, qui consiste à déterminer des dates de visite qui conviennent à toutes les personnes participant à l’évaluation du programme, y compris les membres de la haute direction, les doyen.ne.s, la présidence du programme, le corps professoral, la population étudiante, et les diplômé.e.s du programme, ainsi que les responsables de l’évaluation externe. Les visites sur place doivent donc être organisées au moins trois mois à l’avance par la personne responsable de la gouvernance des curriculums, de concert avec l’équipe chargée de l’évaluation des programmes.
La visite s’étend généralement sur deux jours. Sur place, les responsables de l’évaluation externe rencontrent la population étudiante, les diplômé.e.s, le corps professoral, l’administration, et d’autres parties prenantes, le cas échéant. La visite doit être bien planifiée à l’avance afin d’en tirer le maximum d’avantages. Sur place, les responsables de l’évaluation externe peuvent discuter de leurs conclusions, préparer leur entretien de clôture avec le doyen.ne, et commencer à rédiger leur rapport.
Les personnes responsables de l’évaluation externe fourniront un rapport détaillant les points positifs et les recommandations visant l’amélioration du programme. Lors de la deuxième journée de leur visite, elles auront le temps de travailler ensemble sur leur rapport.
Le rapport est soumis à la personne responsable de l’assurance de la qualité environ trois semaines après la visite. Il est également transmis au vice-rectorat principal (ou à la personne le représentant), au doyen.ne, et aux responsables de l’évaluation des programmes, qui peuvent alors l’examiner pour s’assurer qu’il ne comporte pas d’omissions ou d’erreurs factuelles. Le rapport d’évaluation externe contribue à l’élaboration du plan d’action (module 7).
7
Le plan d’action indique ce qui sera fait pour répondre aux conclusions de l’évaluation, et de quelle façon ce sera fait. Il convient de noter que l’on a tendance à s’attaquer immédiatement à la plupart des points du plan d’action, ce qui a pour effet de surcharger le programme. L’approche recommandée consiste à mettre en place quelques projets faciles à gérer au cours des années suivantes pour s’assurer d’une amélioration constante, mesurée et durable.
Instructions pour les équipes chargées de l’évaluation des programmes
Période : Du 1er mars au 15 mai
Date de soumission recommandée : 15 mai
Cet atelier de 90 minutes vise à créer un espace où le corps professoral, la présidence de programme et les doyen.ne.s discutent des conclusions de l’évaluation des programmes et établissent les objectifs pour améliorer ceux-ci.
| Heure | Activité |
|---|---|
| 8 h 45 à 9 h | Collation (café, thé, pâtisseries, muffins, salade de fruits) |
| 9 h à 9 h 10 | Accueil, présentations et objectif du plan d’action |
| 9 h 10 à 9 h 15 | Aperçu de la subvention pour l’innovation pédagogique* |
| 9 h 15 à 9 h 50 | Séance de travail guidée pour cibler les grands thèmes qui ressortent des données |
| 9 h 50 à 10 h 10 | Séance de travail guidée pour classer les thèmes en fonction 1) des objectifs internes qui peuvent être contrôlés, et 2) des objectifs externes qui sont plus difficiles à modifier |
| 10 h 10 à 10 h 30 | Discussion en grand groupe pour explorer la feuille de travail sur les cadres de mise en œuvre des objectifs (PDF) (si le temps le permet) |
Les documents suivants sont fournis au corps professoral, à la présidence et aux doyen.ne.s au moins une semaine avant l’atelier :
* Le centre d’excellence en enseignement et en apprentissage propose une subvention pour l’innovation pédagogique. Les propositions sont attendues de la part des professeur.e.s universitaires, des professeur.e.s en attente d’une permanence et des professeur.e.s permanent.e.s qui souhaitent améliorer et développer l’expérience en classe en adoptant ou en expérimentant des approches pédagogiques qui stimulent, soutiennent et encouragent les étudiant.e.s.
L’équipe d’animation de l’atelier
Bureau de l’assurance de la qualité
Centre d’excellence en enseignement et en apprentissage
Objectifs d’apprentissage
Au cours de l’atelier, les personnes participantes devront :
8
Conformément à la politique de notre université, les résultats des évaluations cycliques doivent être transmis au comité du sénat universitaire chargé de la planification et des priorités universitaires. Ce rapport fournit un résumé de l’évaluation cyclique, cible les points forts du programme et détaille les objectifs visant l’amélioration du programme. Un rapport rédigé par la cohorte est également transmis. Celui-ci est décrit plus en détail dans la section intitulée « Planification institutionnelle ».
Le rapport des membres du programme et le rapport de la cohorte sont mis à la disposition du public sur le site Web interne de l’université.
La mise en œuvre des objectifs du programme fait l’objet d’un suivi interne, et le doyen.ne doit fournir un bilan de mi-parcours au Comité au cours de la cinquième année du cycle de sept ans. Ce processus est détaillé dans la section « Rapport d’avancement ».
Instructions pour les équipes chargées de l’évaluation des programmes
Période : Du 15 au 30 mai
Date de soumission recommandée : 30 mai
Vous trouverez ci-dessous les étapes de la rédaction, de l’approbation et de la présentation du rapport final :
| Responsabilité | Tâche |
|---|---|
| Approbation du doyen.ne | Le doyen.ne reçoit le rapport et procède à son examen, souvent en concertation avec l’équipe chargée de l’évaluation des programmes. Cette personne doit soutenir et financer tout changement apporté au programme à la suite du plan d’action. Elle peut demander des modifications et des précisions du plan d’action et du rapport final. Une fois approuvé, le rapport est renvoyé à l’équipe d’évaluation des programmes, qui le téléverse dans la boîte de dépôt du cours sur l’évaluation des programmes, sur Moodle. |
| Examen par la personne responsable de l’assurance de la qualité | La personne responsable de l’assurance de la qualité reçoit le rapport sur Moodle et le passe en revue pour s’assurer que toutes les composantes sont respectées. Une fois l’examen terminé, le plan d’action et le rapport final sont envoyés au vice-rectorat principal (ou à la personne le représentant). |
| Approbation du vice-rectorat principal (ou de la personne le représentant) | Le vice-rectorat reçoit le rapport et examine la manière dont les conclusions de l’évaluation du programme s’inscrivent dans les priorités universitaires et stratégiques de l’Université Thompson Rivers. Des modifications et des précisions peuvent être demandées. Si le rapport suscite des inquiétudes ou des questions, le vice-rectorat en fait part au doyen.ne ainsi qu’aux personnes représentant le programme pour que des modifications ou des précisions soient apportées au rapport. Le rapport est ensuite envoyé à la personne responsable de l’assurance de la qualité. |
| Examen par le Comité de la planification et des priorités universitaires | La personne responsable de l’assurance de la qualité soumet le rapport final au Comité. Le doyen.ne ainsi que les personnes concernées de l’équipe d’évaluation des programmes assistent à une réunion du comité pour présenter le rapport et répondre aux questions. De plus, la personne responsable de l’assurance de la qualité est présente pour répondre à toute question concernant les processus et procédures d’évaluation des programmes. |
| Examen par le sénat universitaire | Après la réunion du Comité, le rapport final est transmis au sénat universitaire. Le vice-rectorat présente le rapport à ce dernier à titre d’information seulement. |
| Publication publique | La personne responsable de l’assurance de la qualité publie le rapport final sur un site Web interne de l’université. |
II
9
Un défi auquel nous faisons souvent face dans l’enseignement supérieur est qu’une fois le rapport terminé, le corps professoral et l’administration reprennent souvent leur travail de routine sans repenser aux résultats (Kim, 2018). Pour remédier à cette situation, la politique de notre université stipule qu’un bilan de mi-parcours doit être fourni au comité du sénat universitaire chargé de la planification et des priorités universitaires à mi-parcours du cycle d’évaluation des programmes de sept ans.
Ce bilan détaille la manière dont le programme a atteint ses objectifs en matière d’amélioration. Le plan d’action du module 7 sert également de base au bilan de mi-parcours effectué quatre ans après la fin du cours sur l’évaluation des programmes. Le corps professoral réfléchit alors aux progrès réalisés les années précédentes; notamment, il indique si les objectifs sont en cours de réalisation ou s’ils ont été atteints, modifiés ou retirés. Le plan d’action sert également à dresser la liste des mesures prises pour résoudre les problèmes ou surmonter les obstacles qui ont pu surgir depuis la rédaction initiale des objectifs.
Instructions pour les doyen.ne.s et les équipes chargées de l’évaluation des programmes
Période : Du 1er mai au 1er octobre
Date d’échéance : 1er octobre
Le 1er mai, la personne responsable de l’assurance de la qualité informe les doyen.ne.s qu’un bilan de mi-parcours doit être présenté au Comité de la planification et des priorités universitaires en octobre. Ils disposent ainsi de cinq mois pour remplir le modèle de bilan de mi-parcours, qui est une version modifiée du modèle de plan d’action du module 7.
Vous trouverez ci-dessous les étapes de la rédaction, de l’approbation et de la présentation du bilan de mi-parcours :
| Responsabilité | Tâche |
|---|---|
| Équipe d’évaluation des programmes | L’équipe d’évaluation des programmes rédige le rapport à l’aide du modèle fourni et explique en détail comment le programme a atteint ses objectifs en matière d’amélioration à mi-parcours du cycle d’évaluation des programmes d’une durée de sept ans. |
| Doyen.ne | Le doyen.ne examine le bilan de mi-parcours. Une fois approuvé, le rapport est transmis à la personne responsable de l’assurance de la qualité avant le 1er octobre. |
| Responsable de l’assurance de la qualité | La personne responsable de l’assurance de la qualité reçoit le bilan de mi-parcours et vérifie qu’il est complet. Une fois l’examen terminé, le bilan de mi-parcours est transmis au doyen.ne (ou à sa personne représentante). |
| Vice-rectorat principal (ou personne le représentant) | Le vice-rectorat principal (ou la personne le représentant) reçoit le bilan de mi-parcours et examine les progrès réalisés. S’il a des inquiétudes ou des questions, il en fait part au doyen.ne afin d’obtenir des précisions. Une fois approuvé, le bilan de mi-parcours est transmis à la personne responsable de l’assurance de la qualité. |
| Responsable de l’assurance de la qualité | La personne responsable de l’assurance de la qualité soumet le bilan de mi-parcours au Comité. |
| Doyen.ne | Le doyen.ne participe à une réunion du Comité pour répondre aux questions. |
Kim, G. (2018). An exploratory case study of a quality assurance process at an Ontario university. University of Western Ontario, Electronic Thesis and Dissertation Repository. 5857. https://ir.lib.uwo.ca/etd/5857 (en anglais seulement)
III
10
Nous pensons que la communication des résultats de l’évaluation des programmes à la communauté universitaire démontre l’engagement public de l’établissement à améliorer ces résultats grâce à des décisions transparentes et fondées sur des données probantes (Hoare et al., à l’étude).
Bien que les évaluations de programmes soient utiles pour les départements, nous constatons qu’elles peuvent également avoir des retombées importantes sur le plan institutionnel. Toutefois, pour obtenir des preuves suffisantes en vue d’un changement institutionnel, il faut « accumuler les évaluations » (Conrad et Wilson, 1985, p. 77).
Par conséquent, pour soutenir la planification institutionnelle, le Bureau de l’assurance de la qualité rédige un rapport de cohorte – un rapport global résumant les thèmes qui ont été retenus par les départements ayant participé au cours sur l’évaluation des programmes –, qui reflète un point de vue à la fois interne et externe. Le rapport de cohorte est présenté au Comité de la planification et des priorités universitaires et au sénat universitaire afin de façonner la planification stratégique chaque fois qu’un cours sur l’évaluation des programmes est donné.
Nous estimons également qu’il est utile de mener une méta-analyse ou une méta-synthèse qualitative et quantitative des rapports de cohorte tous les cinq à sept ans. À ce moment-là, les établissements peuvent être en mesure d’extraire des données de plus de 40 évaluations de programmes, ce qui offre d’importantes possibilités de mettre en lumière des modèles et des tendances au sein de l’établissement.
Données internes utilisées pour la planification institutionnelle
Données externes utilisées pour la planification institutionnelle
Nous pensons que le rapport de cohorte fournit une analyse exhaustive et des recommandations pour la planification universitaire qui dépassent les frontières disciplinaires, et qu’il peut offrir une solution à l’appel de Coombs (2017) en faveur de liens directs entre les évaluations de programmes et la planification stratégique institutionnelle.
L’un des avantages du partage des résultats globaux est la possibilité de cibler les besoins en matière de programmes d’apprentissage et de perfectionnement du corps professoral offerts par le centre d’excellence en enseignement et en apprentissage. De plus, les résultats peuvent façonner les améliorations apportées à l’aide universitaire et aux services d’encadrement des étudiant.e.s, et mettre en lumière les obstacles systémiques à la réussite de ces derniers.
Conrad, C. F., et Wilson, R. F. (1985). Academic program review. Institutional approaches, expectations, and controversies. Association for the Study of Higher Education. https://eric.ed.gov/?id=ED264806
Coombs, V. (7 février 2017). Institutions should link program reviews to strategic plans. Inside Higher Education. https://www.insidehighered.com/blogs/call-action-marketing-and-communications-higher-education/institutions-should-link-program (en anglais seulement)
Hoare, A., Dishke Hondzel, C., Wagner, S., et Church, S. (à l’étude). A program review course for facilitating academic program review.
1
Nous vous encourageons à utiliser ce guide pour fournir une structure et des ressources aux équipes chargées de l’évaluation des programmes. Si vous décidez d’utiliser l’une ou l’autre des ressources de ce guide, même si vous l’adaptez à la culture particulière de votre campus, nous aimerions que vous nous fassiez part de vos commentaires.
Ce guide est utilisé à l’Université Thompson Rivers dans le cadre d’une communauté d’apprentissage sur l’évaluation des programmes. Les ressources sont intégrées dans un système de gestion de l’apprentissage (Moodle) afin que le corps professoral puisse suivre ses progrès, télécharger des documents sur demande, et recevoir des messages directs et des communications de la part de la personne responsable de l’assurance de la qualité. Bien que cette approche ne soit que brièvement décrite ici, elle a constitué un changement fondamental dans nos processus et nous a permis de créer une cohorte soudée d’équipes d’évaluation des programmes ainsi qu’un réseau de soutien pour le corps professoral. En effet, actuellement, ce domaine de la littérature n’a pas encore fait l’objet de recherches approfondies.
Pour conclure, il convient de répéter que nous croyons fermement que l’évaluation des programmes, lorsqu’elle est bien effectuée, peut être un processus transformateur et axé sur la croissance qui améliore les départements et mène à de meilleurs résultats pour les étudiant.e.s. Comme l’a déjà dit Maya Angelou : « J’ai fait alors ce que je savais faire. Maintenant que je sais mieux, je fais mieux ».
Nous vous remercions d’avoir pris le temps de consulter ce guide d’évaluation des programmes.
2
Le cours sur l’évaluation des programmes comprend des ressources, des activités et des modèles pour faciliter la réalisation des huit modules. Vous pouvez les consulter ci-dessous.
| Contenu du cours | Ressource |
|---|---|
| Cours sur Moodle | |
| Module 1 : Séance d’orientation | |
| Module 2 : Cartographie du curriculum |
|
| Module 3 : Activité d’analyse FOAR | |
| Module 4 : Sondages | |
| Module 5 : Autoévaluation | |
| Module 6 : Évaluation externe |
|
| Module 7 : Plan d’action | |
| Module 8 : Rapports | |
| Bilan de mi-parcours |
Partagez et adaptez!
Nous espérons que ce matériel vous sera utile dans votre pratique. Vous pouvez partager et adapter le matériel (CC BY-NC-SA 4.0). Toutefois, nous vous demandons d’inclure la mention (attribution) suivante :
Hoare, A., Dishke Hondzel, C. et Wagner, S. (2022). Guide d’évaluation des programmes : Une approche sous forme de cours sur de l’évaluation des programmes.https://programreviewhandbook.pressbooks.tru.ca/
3
Nous souhaitons toujours entrer en contact avec d’autres spécialistes de l’assurance de la qualité et formateur.trice.s en pédagogie, et nous aimerions développer un réseau en Colombie-Britannique et partout au Canada. Si vous voulez en savoir plus sur notre travail ou collaborer avec nous, n’hésitez pas à communiquer avec nous!
Alana Hoare est l’agente de liaison pour l’assurance de la qualité et l’accréditation de l’Université Thompson Rivers au sein du bureau d’assurance de la qualité. Elle est titulaire d’un doctorat en éducation de l’Université Western, d’un baccalauréat et d’une maîtrise en éducation, ainsi que d’un certificat postbaccalauréat en enseignement de l’anglais langue additionnelle (Université Thompson Rivers). Les projets de recherche d’Alana ont porté sur la mesure de performance postsecondaire adaptée à la culture, l’utilisation de méthodologies d’évaluation qualitative pour la réussite des étudiant.e.s, la perception de l’accréditation par les universitaires et les membres de l’administration, et la préparation universitaire des étudiant.e.s en anglais langue additionnelle. En tant que praticienne de l’assurance de la qualité, Alana dirige et gère l’accréditation institutionnelle auprès de la Northwest Commission on Colleges and Universities, l’enseignement général et l’évaluation stratégique de l’apprentissage institutionnel, la planification et l’évaluation de l’accomplissement de la mission, ainsi que l’évaluation cyclique des programmes. Vous pouvez communiquer avec Alana à l’adresse suivante : ahoare@tru.ca.
Catharine Dishke Hondzel a été nommée directrice du centre d’excellence en enseignement et en apprentissage de l’Université Thompson Rivers en 2017. Elle est titulaire d’un doctorat en psychologie de l’éducation (Université Western) et d’une maîtrise en psychologie sociale appliquée (Windsor). Son travail comme formatrice en pédagogie est axé sur le développement appréciatif du corps professoral, la recherche de premier cycle, l’apprentissage par l’expérience et l’étude de l’enseignement et de l’apprentissage. Elle a également enseigné la psychologie sociale et de l’enseignement, notamment la personnalité, la santé, l’éducation des adultes et les méthodes de recherche. Les projets de recherche de Catharine ont porté sur le rôle de l’enseignement et de l’environnement dans la promotion de la créativité; la rétention, l’accomplissement et le bien-être des étudiant.e.s universitaires et de métiers; et la perception qu’ont le corps professoral et la population étudiante des cultures d’enseignement dans les universités à fort coefficient de recherche. Vous pouvez communiquer avec Catharine à l’adresse suivante : cdishke@tru.ca.
ShannonShannon Wagner a récemment joint l’équipe de l’Université Thompson Rivers en tant que vice-présidente associée des études. Elle arrive de l’Université du nord de la Colombie-Britannique, où elle était auparavant doyenne de la Faculté des sciences humaines et de la santé, et doyenne par intérim du Collège des arts, des sciences sociales et des sciences de la santé. Shannon s’est fermement engagée à promouvoir l’excellence dans l’enseignement, la recherche et les services universitaires. Elle a participé à des initiatives majeures telles que la vision et la restructuration de l’enseignement institutionnel et a dirigé des activités de planification, de renouvellement et d’assurance de la qualité des programmes. L’enseignement de Shannon s’est concentré sur la santé au travail, l’évaluation psychologique, les statistiques, l’épidémiologie et la promotion de la santé. Ses recherches portent sur l’assurance de la qualité, les interventions organisationnelles, la santé mentale au travail et la diversité des aptitudes en milieu de travail. Elle est également psychologue clinicienne agréée et se consacre principalement à l’évaluation psychologique en milieu de travail. Vous pouvez communiquer avec Shannon à l’adresse suivante : swagner@tru.ca.
4
Nous remercions sincèrement les personnes suivantes pour leurs commentaires au sujet de ce guide.
Anne Sommerfeld, directrice intérimaire, Centre for Teaching and Learning, Université du nord de la Colombie-Britannique
Aurelea Mahood, directrice des initiatives universitaires et de la planification, Université Capilano
Kenneth Ristau, coordonnateur/gestionnaire de l’assurance de la qualité, Université MacEwan
5
Bowker, L. (2016). Language and quality assurance: A case study highlighting the effects of power, resistance, and countertactics in academic program reviews. Translation and Power: Countertactics, 29(2), 177-193. https://doi.org/10.7202/1051018ar (en anglais seulement)
Cockell, J., et McArthur-Blair, J. (2012). Appreciative inquiry in higher education: A transformative force. Jossey-Bass.
Conrad, C. F., et Wilson, R. F. (1985). Academic program review. Institutional approaches, expectations, and controversies. Association for the Study of Higher Education. https://eric.ed.gov/?id=ED264806
Coombs, V. (7 février 2017). Institutions should link program reviews to strategic plans. Inside Higher Education. https://www.insidehighered.com/blogs/call-action-marketing-and-communications-higher-education/institutions-should-link-program (en anglais seulement)
Dickeson, R. (2009). Prioritizing academic programs and services: Reallocating resources to achieve strategic balance. (2e édition). John Wiley & Sons.
DuFour, R., et Eaker, R. (1998). Professional learning communities at work: Best practices for enhancing student achievement. National Educational Service.
Harris, A. (2014). Distributed leadership matters: Perspectives, practicalities, and potential. Corwin Press.
Hoare, A., Dishke Hondzel, C., Wagner, S., et Church, S. (à l’étude). A program review course for facilitating academic program review.
Hoare, A., Wagner, S., et Dishke Hondzel, C. (à l’étude). Academic program review learning community.
Hord, S. (1997). Professional learning communities: Communities of continuous inquiry and improvement. Southwest Educational Developmental Laboratory.
Kim, G. (2018). An exploratory case study of a quality assurance process at an Ontario university. University of Western Ontario, Electronic Thesis and Dissertation Repository. 5857. https://ir.lib.uwo.ca/etd/5857 (en anglais seulement)
Kuh, G. D., Ikenberry, S. O., Jankowski, N. A., Cain, T. R., Ewell, P. T., Hutchings, P., et Kinzie, J. (2015). Using evidence of student learning to improve higher education. Jossey-Bass.
Lyman, F. (1981). The responsive classroom discussion: The inclusion of all students. Mainstreaming Digest. University of Maryland, College Park (Maryland).
McGowan, V. F. (2019). Not too small to be strategic: The state of academic program review guidelines and instrumentation in public institutions. Administrative Issues Journal, 9(1), 53-67. DOI: 10.5929/9.1.1
Mir, R. A., Mir, A., et Upadhyaya, P. (2003). Toward a postcolonial reading of organizational control. A. Prasad (Ed.), Postcolonial theory and organizational analysis: A critical engagement (p. 47-73). Palgrave Macmillan.
Rosenholtz, S. J. (1989). Teachers’ workplace: The social organization of schools. Longman.
Scheuer Senter, M., Ciabattari, T., et Amaya, N. V. (2020). Sociology departments and program review: Chair perspectives on process and outcomes. Teaching Sociology, 49(1), 1-16. https://doi.org/10.1177/0092055X20970268 (en anglais seulement)
Srivastva, S., et Cooperrider, D. (1990). Appreciative management and leadership: The power of positive thought and action in organizations. Jossey-Bass.
Stavros, J., et Cole, M. L. (2013). SOARing towards positive transformation and change. The ABAC ODI Visions.Action.Outcome, 1(1), 10-34. (en anglais seulement)
Stavros, J.M., Cooperrider, DL, et Kelley, D.L. (2003). Strategic inquiry appreciative intent: Inspiration to SOAR, a new framework for strategic planning. AI Practitioner. 10-17 novembre.
Stavros, J.M., et Hinrichs, G. (2009). The thin book of SOAR: Building strengths- based strategy. Thin Book Publishing Co.
Stoll, L., Bolam, R., McMahon, A., Wallace, M., et Thomas, S. (2006). Professional learning communities: A review of the literature. Journal of Educational Change, 7, 221-258. (en anglais seulement)
Turner, J., Christensen, A., Kackar-Cam, H., et Fulmer, S. M. (2018). The development of professional learning communities and their teacher leaders: An activity systems analysis. Journal of the Learning Sciences, 27(1), 49-88. https://doi.org/10.1080/10508406.2017.1381962 (en anglais seulement)
Wehipeihana, N. (2019). Increasing cultural competence in support of Indigenous-led evaluation: A necessary step toward Indigenous-led evaluation. Canadian Journal of Program Evaluation, 34(2), 368-384. https://doi.org/10.3138/cjpe.68444 (en anglais seulement)
6
Le tableau ci-dessous présente les modifications apportées au Guide d’évaluation des programmes depuis sa publication initiale le 15 janvier 2022.
| Version | Date | Description du changement |
| 1.1 | 2022-04-11 | Modification de l’ordre du jour de la séance d’orientation |