CITO-Onderzoek Toetssystemen in de herhaling

Vandaag precies een jaar geleden schreef ik over het onderzoek naar toetssystemen door Cito. Dat onderzoek is geactualiseerd en nu ook beschikbaar in een 2004-versie. Wat het onderdeel “Import/export van items en toetsen” betreft ook nu weer de nodige opmerkingen.
Een probleem bij het beoordelen van de samenvattende tabel op pagina 11 is dat, zoals zo vaak overigens bij tests, ik niet kan bepalen hoe een score tot stand gekomen is. Omdat ik in een aantal gevallen weet dat de score onjuist is, trekt dat voor mij de hele tabel en daarmee het hele rapport in twijfel.
Ik heb een aantal van de verschillen tussen vorig jaar en dit jaar op een rij gezet:

Vraagtypen
Questionmark Perception (QMP) versie 3.4.3 krijgt dit jaar een ++ in plaats van de + van vorig jaar. Ik kon niet achterhalen welke nieuwe vraagtypes er bij zijn gekomen.
WebCT promoveerde van een ‘beperkt’ vorig jaar naar een + (goed) dit jaar. Teletop deed dit van ‘minimaal/ontbreekt’ vorig jaar naar + dit jaar, Examiner 2.1 ging (zonder dat er een nieuwe versie uit kwam) van minimaal (-) naar ‘beperkt’. Ook hier geen toelichting.

Multimedia
De multimediamogelijkheden van de pakketten bleven ongewijzigd, met uitzondering van WebCT (van – naar +) en Examiner 2.1 die van een + naar een ‘beperkt’ ging.

Flexibiliteit toets samenstellen
Dit is over het algemeen verbeterd ten opzichte van vorig jaar, met uitzondering van Teletop, die bleef op een – staan. De overige drie pakketten (Blackboard, Natschool, WebCT) gingen van – naar +. Hot Potatoes (vorig jaar een -) is dit jaar niet meer in de set meegenomen.

Distributiemogelijkheden
In het overzicht waarin wordt aangegeven op welke manier een toets uitgeleverd kan worden (Standalone / LAN / Internet) stond vorig jaar bij een drietal pakketten (WebCT, Natschool, Teletop) een – bij LAN (heette toen ‘netwerk’) terwijl ze wel een + hadden bij distributie via internet. Dat is dit jaar ook daar een + geworden.

Toets- en Item Analyse
Natschool daalde hier van een ‘redelijk’ vorig jaar naar een – dit jaar. WebCT steeg van ‘redelijk’ naar + (goed), Testvision steeg van + (goed) naar ++ (uitgebreid).

Rapportage
Wintoets en Testvision hebben hun rapportagemogelijkheden sinds vorig jaar blijkbaar op orde gebracht en zij stegen van ‘redelijk’ naar goed (+). Dat is dezelfde score die de anderen ook hadden.

HTML invoer
Stond dit jaar niet meer in de tabel.

QTI
Ook vorig jaar keek het Cito naar de mate waarin de verschillende systemen met QTI overweg kunnen. Blackboard heeft zijn +/+ beoordeling mogen behouden, ondanks het feit dat Blackboard nog steeds geen rechtstreekse QTI-import en/of -export mogelijkheden heeft. WebCT heeft een + voor het kunnen importeren van QTI moeten inleveren en krijgt nog maar een -/+ (in plaats van de +/+ van vorig jaar) en Natschool krijgt nu ook een +/+

Overigens staat op het moment een versie van 19 maart 2004 online, en dat is niet dezelfde versie als ik vorig jaar besproken heb. Daar stond bij Natschool namelijk nog een -/+. Ook Testvision is sinds de eerste versie van -/- gestegen naar twee keer ‘beperkt’ voor QTI.

ASCII
Ook wat betreft de mogelijkheid om ASCII-bestanden te importeren of exporteren is er blijkbaar e.e.a. gewijzigd. Natschool gaat van een +/+ (goed kunnen importeren en exporteren) naar een -/- (ontbreken van import en export) dit jaar. Wat hebben ze daar in Rotterdam gedaan?
Meer wijzigingen: Teletop gaat van -/- naar ‘redelijk’/+, QMP van +/+ naar +/-, Wintoets van +/+ naar ‘redelijk’/+.

SCORM
Nieuw dit jaar is een kolom met betrekking tot de mogelijkheid om ‘volgens de SCORM standaard’ te kunnen importeren of exporteren. (zie ook dit bericht). Helaas voor Blackboard is het feit dat ze wél SCORM kunnen afspelen (importeren) onopgemerkt gebleven en ik moet nog maar eens snel naar Rotterdam bellen, want die SCORM-exportmogelijkheden van Natschool wil ik wel eens zien.
Overigens geldt dat ook voor WebCT en Teletop, als zij inderdaad SCORM kunnen exporteren, wil ik dat heel graag zien.

Eisen aan omgeving
Een viertal nieuwe kolommen hebben betrekking op de infrastructuur (gebruik/client; hardware en besturing) en organisatie (gebruik; beheer). De scores hier (laag / middel / hoog) kan ik echter niet plaatsen. Met name ook omdat daar niet zo’n generieke uitspraken over te doen zijn. Blackboard en Natschool krijgen hier bijvoorbeeld exact dezelfde scores, terwijl het beheer van Blackboard bij kleine aantallen gebruikers of toetsen zeker eenvoudiger zal zijn dan bij Natschool, terwijl bij grotere aantallen gebruikers dat weer naar de andere kant kan door slaan.

Conclusie
De conclusie van Cito is dat “de verschillen tussen de meeste systemen kleiner worden: er zijn steeds meer complete toetsservicesystemen met uitgebreide mogelijkheden voor multimediaal toetsen”. Dat zal waarschijnlijk zo zijn. Maar gebruik van de resultaten van dit onderzoek bij een aankoopbeslissing van een van die systemen is ten zeerste af te raden.