Betrouwbare online examens voorbereiden voor grote groepen

Tijdens de coronacrisis heeft de Examencommissie van de Faculteit der Letteren docenten afgeraden om online multiple choice examens aan te bieden, vanwege de toegenomen mogelijkheid om te frauderen. Voor grote groepen zijn essay- of mondelinge examens echter niet haalbaar. Ik heb daarom een online examen gemaakt met daarin meerkeuzevragen en vragen met een kort antwoord. Deze vragen zijn willekeurig geselecteerd, zodat elke student een andere, maar gelijkwaardige vragenset krijgt. Ik heb ook enkele aanvullende maatregelen genomen.

Overzicht van instellingen

Dit zijn instellingen binnen Nestor die ik nuttig vond om online examens uit te voeren als alternatief voor multiple choice op locatie. Tot nu toe heb ik deze instelling gebruikt voor het examen en de herkansing van de cursus Statistiek II in het academisch jaar 2019/20 (106 ingeschreven studenten). Deze opzet is samen met de Examencommissie van de Faculteit der Letteren en CLIQ bepaald. Deze instellingen werden gekozen als alternatief voor online surveillance, dat te duur werd bevonden en niet overtuigend heeft gewerkt in toetsen die op de faculteit zijn afgenomen.

Vraagtype. Een combinatie van meerkeuzevragen (in mijn geval 29 vragen, 58% van het cijfer) en vragen met een kort antwoord (6 vragen, 42% van het cijfer). De vragen kunnen worden aangemaakt in een tekstverwerker zoals LibreOffice Writer of Microsoft Word, en vervolgens als pool geüpload worden met behulp van Respondus. Twee aanvullende opmerkingen:

• Aangezien studenten tijdens het examen toegang hebben tot het studiemateriaal, moeten de vragen op een hoger niveau staan in de taxonomie van Bloom dan bij een examen op locatie.

• In de analyse bleken de open vragen het best te scoren op discriminantie.

Tweeledige vragensets. Voor elke vraag zijn er twee versies. Elke student krijgt er willekeurig een. Elke vraag in het examen is een vragenset die naar twee vragen uit de pool verwijst waarvan er één wordt getoond (onderstaande figuur laat een voorbeeld zien).

Vraagvolgorde. De vragen worden in willekeurige volgorde aangeboden.

Niet terugstappen. Studenten kunnen niet terugstappen, d.w.z. na het beantwoorden van een vraag kunnen ze er niet meer op terugkomen. Dit betekent dat ze hun antwoorden niet meer kunnen veranderen, mochten ze contact hebben gehad met een medestudent.

Tijd is beperkt. Aan de ene kant moet de tijd kort genoeg zijn, zodat de studenten niet de tijd hebben om vroeg klaar te zijn en elkaar te helpen. Aan de andere kant moet het lang genoeg zijn zodat studenten voldoende tijd hebben en geen onnodige stress ervaren.

Student pledge. Studenten moeten een verklaring ondertekenen voordat ze aan het examen beginnen.

Follow-up. Na het examen wordt een deel van de studenten gebeld. Tijdens dit vervolggesprek kan de surveillant verifiëren of de student zijn of haar eigen werk heeft ingeleverd.

In het kort

Mogelijke toepassingen. Online examens als alternatief voor multiple choice op locatie, voor cursussen die te veel studenten hebben om andere typen examens (bijv. mondeling) af te kunnen nemen.

Voordelen. Het is een uitvoerbaar online alternatief voor multiple choice examens op locatie. In de cursus waarin ik dit heb gebruikt, was de verdeling van het eindcijfer zeer vergelijkbaar met die van het voorgaande jaar (toen het examen op locatie was):

Nadelen. Voor docenten:

• Vragen die voor het examen worden gebruikt, kunnen niet worden hergebruikt omdat studenten ze eenvoudig kunnen opslaan (bijv. als screenshot) en delen.
• Deze methode kan één wijze van fraude niet voorkomen: een leerling geeft zijn/haar inloggegevens van Nestor aan iemand anders om het examen af te leggen.
• De informatie in de toetsanalyse verstrekt door Nestor, is niet correct vanwege het gebruik van vragensets. De kans op toevalsfouten moet dus handmatig worden berekend. Daarnaast lijkt het voor de kansberekening zinvol om rekening te houden met het aantal onbeantwoorde vragen (dat een student niet heeft kunnen beantwoorden) vanwege de strikte tijdslimiet, wat voor elke student een andere berekening betekent.
• Het duurt aanzienlijk langer om te beoordelen dan een meerkeuze-examen op locatie.

Voor studenten: Verhoogde stress, door (i) het niet kunnen heroverwegen van hun antwoorden (niet terugstappen) en (ii) de strikte tijdslimiet. De tijdslimiet zou nadelig kunnen zijn voor studenten die trager zijn in het maken van examens.

Kosten. Geen. Inbegrepen in Nestor en UWP.

Leercurve. Het eerste examen nam aanzienlijk veel tijd in beslag en er moest worden gecommuniceerd met de examenondersteuning, de Examencommissie van de faculteit en CLIQ. Het tweede examen waarvoor ik dit heb geprobeerd was vrij eenvoudig op te zetten.

Aanvullende informatie

Meer weten over digitaal toetsen via Nestor? Het workflow document beschrijft de verschillende fases in digitaal toetsen.

Educational Support & Innovation (ESI) heeft een losstaande tool gebouwd voor examens met willekeurige essayvragen.

Zie ook verdere informatie over het opzetten van online schriftelijke tentamens en het gebruiken van Respondus.