Bij het lezen van de onderzoek “Vergelijking Toetssystemen; Een vergelijkend onderzoek naar elektronische toetssystemen en toetscomponenten van elektronische leeromgevingen” van enige tijd geleden heb ik mij beperkt tot het onderdeel 4, technische criteria. Daarbij wordt aan de hand van een tweetal hoofdcriteria o.a. gekeken naar de mate van ondersteuning van de IMS Question and Test Interoperability (IMS QTI) specificatie. Mijn interesse voor juist dit onderdeel komt voort uit het feit dat ikzelf voor de Digitale Universiteit afgelopen jaar een Quickscan QTI voor een aantal van de ook door CTIO bekeken applicaties heb uitgevoerd en vanuit mijn rol binnen de SURF SiX expertisegroep waar ik toetsen voor mijn rekening neem. De reden voor dit bericht er over is dat er simpelweg een aantal stevige onjuistheden in de samenvatting en conclusies over de QTI ondersteuning van de systemen zit.
Bij het lezen van het hoofdrapport werd mijn aandacht getrokken door deze alinea op pagina 13:
Technische criteria, QTI import/export
Alleen Blackboard, WebCT en QMP voldoen ook aan de internationale QTI standaard voor uitwisseling van gegevens. N@Tschool! biedt alleen een QTI import mogelijkheid.
Tijdens de uitgevoerde Quickscan was namelijk gebleken dat geen van de applicaties de QTI specificatie volledig ondersteund, dat Blackboard en WebCT een externe applicatie (Respondus) nodig hadden om QTI bestanden te kunnen importeren en exporteren en dat N@tschool! zowel import als export mogelijkheden voor QTI had. Overigens ook wat N@tschool! betreft niet helemaal zonder problemen.
De samenvattende tabel met scores per applicatie, het onderdeel overigens dat op een aantal websites als enige inhoudelijke informatie is opgenomen, gaf een score weer die consistent was met bovenstaande uitspraken voor het onderdeel QTI. Blackboard, WebCT en QMP krijgen +/+ voor de QTI import/export. Natschool krijgt een -/+, naar ik aanneem vanwege het ontbreken van exportmogelijkheden.
De tabellen in de bijlagen geven echter een ander beeld:
* Blackboard
* WebCT
* QMP
* Natschool
Hoewel ik nog de nodige vragen en opmerkingen zou kunnen plaatsen bij deze tabellen, logisch want het was hét enige onderdeel van de functionaliteit waar ik mijzelf op geconcentreerd heb tijdens de quickscan, tonen de tabellen in de bijlagen veel meer een beeld dat ik herken van de eigen resultaten. Uit de N@tschool! tabel blijkt dat overigens de (inderdaad aanwezige) exportmogelijkheden ook getest zijn. Op basis van deze detailtabellen, en versterkt door wat ik weet van de quickscan die er overigens al was toen dit onderzoek opgesteld werd, zou ik geen onderscheid kunnen maken in de score voor de vier applicaties, maar zeker ook geen van de applicaties een +/+ op dit gebied toekennen. Een -/+ met een kritische opmerking over de haken en ogen zou veel meer op zijn plaats zijn. En dat maakt meteen duidelijk waarom ik dit nou zo jammer vind. Er moet nog best veel werk verzet worden om het uitwisselen van toestmaterialen op het niveau te krijgen waarop het probleemloos bruikbaar is. Het helpt niet als de informatie die daarover verstrekt wordt door de mensen die er verstand van zouden moeten hebben, niet klopt. Niet als er meer kan dan wordt beweerd, maar zeker ook niet als er minder mogelijk is dan ‘onderzoek’ aantoond.