Blog

De interpretatie van studentenevaluaties (deel 2)

Posted by Helma Vlas in the category Artikel

In een eerdere blog kwam de volgende vraag al eens naar voren: hoeveel waarde moeten we hechten aan  studentevaluaties? Met name wat betreft het punt: kunnen studenten goed inschatten of ze veel geleerd hebben van een docent en het geboden onderwijs? De conclusie op basis van een tweetal onderzoeken was dat we bij het beoordelen van docenten in ieder geval voorzichtig dienen te zijn met het gebruik en de interpretatie van studentevaluaties en rendementcijfers.

In een artikeltje op de mooie LDE-Studiesuccessite (zie een eerdere blog over deze site) werd een ander onderzoek aangehaald over dit thema. In 2017 is de officiële publicatie van deze nieuwe meta-analyse uitgekomen. De vraag die centraal stond was of studenten meer leren van de docenten die hoger scoren bij de studentevaluaties.
De belangrijkste conclusie op basis van meta-analyses was dat er eigenlijk geen relatie te vinden is tussen de resultaten van de student evaluaties en de studieresultaten die de studenten behalen. En, zoals de onderzoekers aangeven, misschien is het ook wel onrealistisch om dit te verwachten omdat er veel factoren van invloed zijn op de behaalde studieresultaten. Factoren zoals: voorkennis, intelligentie, motivatie en interesse. Zeer gemotiveerde, geïnteresseerde studenten zullen cursus X van professor Y anders ervaren en zich tijdens het onderwijsproces ook anders, bijvoorbeeld actiever, opstellen, dan studenten die geen interesse hebben voor het behandelde onderwerp en minder gemotiveerd zijn. Het uiteindelijke leereffect zal vervolgens ook verschillen.

Kunnen we nog wel wat met studentevaluaties? Moeten we dan maar niet meer evalueren? Dat lijkt me ook weer niet. Je kunt met de evaluaties verschillende (andere) zaken meten, bijvoorbeeld tevredenheid over het geboden onderwijs, of de voor het eerst geïntroduceerde nieuwe werkvormen als plezierig werden ervaren, of de behandelde thema’s interessant gevonden werden, of het gebruikte boek makkelijk/moeilijk leesbaar werd gevonden enz. Al zal ook bij deze punten gelden dat meerdere factoren, zoals o.a. de voorkennis, de antwoorden van de studenten zullen beïnvloeden. Belangrijk daarom om vooraf goed te overwegen met welk doel we evalueren, welke vragen relevant zijn, hoe ze gesteld moeten worden en vooral wat er uit de antwoorden vervolgens afgeleid kan worden. En belangrijk om voorzichtig te zijn met het leggen van relaties: weten dat een gebruikt boek door het merendeel van de studenten moeilijk of makkelijk werd gevonden, zegt bijvoorbeeld nog niets over hoe leerzaam het was. Maar het geeft mogelijk wel een indicatie voor  de te berekenen studiebelasting.

Slotsom en in aansluiting bij de eerdere onderzoeken: het lijkt in ieder geval raadzaam om bij de beoordeling van de kwaliteit van een docenten niet de evaluatieresultaten als ultieme en enige bron te hanteren.

Bronnen:
Meta-analysis of faculty’s teaching effectiveness: Student evaluation of teaching ratings and student learning are not related
Bob Uttl, Carmela A. White, Daniela Wong Gonzalez. In: Studies in Educational Evaluation, Volume 54, September 2017, Pages 22-42.

Item op de LDE-Studiesucces site: No relationship between student evaluation of teaching ratings and student learning.
* NB. Hier wordt verwezen naar een eerdere, nog niet officiële, versies van bovenstaande artikel.

Comments

  1. Karen Slotman

    Ik ben benieuwd hoe ze 'student learning' gedefinieerd hebben. Studenten zullen bij positieve resultaten op de evaluatievragen inderdaad niet per definitie hogere cijfers halen voor het betreffende vak en andersom ook niet. Soms zijn studenten ontevreden over het vak terwijl ze juist hele goede/hoge cijfers halen, of zijn studenten ontevreden omdat ze goede cijfers halen en zelf het gevoel hebben weinig geleerd te hebben. De waarde van evaluaties is vooral om te kijken hoe studenten tegen bepaalde onderdelen van een vak aankijken ervan uitgaande dat tevredenheid of ontevredenheid wel iets doet met de interesse voor het vak en daarmee wel het leren kan beïnvloeden. Het is goed om hierop in te spelen als docent.

  2. Helma Vlas

    Het werkt beide kanten op denk ik en in wisselwerking: (al aanwezige) interesse bepaalt (mede) de tevredenheid over het vak en onderwijs dat de studenten leuk/goed hebben gevonden (waar ze tevreden over zijn) kan de interesse ook opwekken of aanwakkeren. De onderzoekers waarschuwen er denk ik vooral voor om niet automatisch meer tevredenheid gelijk te stellen aan meer leereffect. In de zin van: de studenten zijn tevreden over het vak, dus is het goed onderwijs en een goede docent. Dan is het de vraag wat je als 'goed onderwijs' definieert.

    Ik denk dat evaluaties ook zeker hun waarde hebben. Indicaties kunnen geven waar probleempunten kunnen liggen bijvoorbeeld. Maar het opstellen van de vragen en interpreteren van de uitkomsten dient met veel zorg te gebeuren.

Leave a reply

Leave a Reply

Your email address will not be published. Required fields are marked *