jun 072013
 

extend_limits Soms lees je een bericht en krijg je een enorme “deja-vu / flashback”. Ik had er vandaag zo eentje toen ik het bericht bij Extend Limits las over het automatisch nakijken van huiswerk. Je hebt het dan namelijk zo ongeveer over de Heilige Graal binnen het onderwijs. Zou het niet mooi zijn als docenten/leerkrachten niet meer iedere keer die proefwerken en tentamens hoeven na te kijken, maar dat dat meteen, snel, foutloos en goedkoop door de computer zou gebeuren?
Fijn voor de docent en voor de student.

Natuurlijk kan dat in beperkte mate al. Meerkeuze vragen, gesloten vragen met korte antwoorden etc. kunnen al lang automatisch nagekeken worden. Maar wat nou bij meer complexe open vragen. Hoe stel je vast of de student het juiste antwoord gegeven heeft.
De flashback was afkomstig van de discussies die we hierover indertijd bij de QTI-projectgroep hadden over een attribuut bij een vraag waarmee aangegeven kon worden of een vraag automatisch (door de computer) te beoordelen was. Was dat bij een open vraag altijd “False”? Daar was zeker niet iedereen het mee eens!

Bij MOOC’s, Massive Open Online Courses, waarbij je met duizenden, tienduizenden of zelfs meer dan honderdduizend deelnemers/studenten te maken hebt is met de hand nakijken niet haalbaar. De aandacht voor dit soort courses zal dus een stevige boost zijn voor het onderzoek op dit gebied.
Het artikel waar Extend Limits naar verwijst gaat in op het automatisch beoordelen van programmeer-opdrachten. Dat is natuurlijk wel nog een slag gestructureerder dan echt open antwoorden. Maar het is al weer een stuk complexer dan meerkeuzevragen. Een stap de goede richting in dus. En het laat zien hoe MOOC’s, doordat ze specifieke problemen oproepen, bij kunnen dragen aan ook de innovatie van het reguliere onderwijs.

Deel dit bericht:
mrt 182013
 

QTI_in_het_nederlandse_hoger_onderwijs In opdracht van het SURF-programma Toetsing en Toetsgestuurd Leren heb ik een whitepaper geschreven over het gebruik van QTI in het Nederlandse hoger onderwijs. Het whitepaper geeft onder meer antwoord op de volgende vragen:

        • Wat is de praktische betekenis van de QTI-afspraak voor het Nederlandse hoger onderwijs?
        • Welke versie van QTI is relevant om te hanteren?
        • Wat is de praktische betekenis als een leverancier aangeeft dat zijn product ‘QTI-compliant’ is?
        • Welke beperkingen brengt het gebruik van de QTI-afspraak met zich mee?
        • In hoeverre wordt de QTI-afspraak internationaal daadwerkelijk gebruikt binnen het hoger onderwijs en welke versie is het meest gangbaar?
        • Op welke manier kan getest worden of een product daadwerkelijk QTI-compliant is?

Geen onderwerpen waar iedereen dagelijks van wakker zal liggen, maar als dat wél zo is, dan zou ik zeker  het whitepaper (PDF, 919kB) lezen! 🙂

p.s. de IMS QTI specificatie (versie 2.1) is hier te downloaden.

Deel dit bericht:

Bruikbaarheid van QTI

 Gepubliceerd door om 08:22  QTI
dec 092006
 

Ik mopper altijd op ongenuanceerde uitspraken over standaarden, maar zelden ben ik er zelf zo de aanleiding voor geweest als bij het bericht op de website van de Digitale Universiteit met als kop:

“Bruikbaarheid van QTI in afgelopen drie jaar niet verbeterd”

(bron)

Aanleiding daarvoor is het verschijnen van een nieuwe versie van de QTI Quickscan die ik voor het eerst in 2003 uitvoerde voor de Digitale Universiteit en nu bijgewerkt heb voor de stand van zaken in 2006. Probleem voor mij was dat de Digitale Universiteit niet wilde weten of QTI beter geworden was in die drie jaar. Ze wilden weten of de directe bruikbaarheid ervan in de systemen die in gebruik zijn binnen de Digitale Universiteit beter geworden is. En de conclusie op die laatste vraag is inderdaad nee.
Maar de titel had net zo goed kunnen zijn:

“Uitwisselbaarheid van toetsmaterialen in afgelopen drie jaar niet verbeterd”

Want dat is eigenlijk de conclusie en die is zeker zo ernstig.
Afgelopen donderdag ging de afsluitende discussie tijdens EduExchange o.a. over de vraag of het erg was als één leverancier een (de-facto) standaard maakte in plaats van dat we dat samen deden. De meningen daarover verschillen (ongeveer fifty-fifty volgens de reacties op stelling 13) maar de vraag bevat een belangrijke veronderstelling. Namelijk dat één leverancier zo’n standaard kan afdwingen. En dat is bij tekstdocumenten of presentaties dan misschien wel het geval, bij toetsmaterialen is dat zeker niet zo. Daar is geen leverancier dominant genoeg om dat te doen. En dan krijg je een patstelling.
Dus als die leveranciers niet dominant genoeg zijn, dan zullen wij als onderwijsinstellingen het moeten regelen. Want anders moeten we hopen dat, net als bij de banken, we op een gegeven moment van hogerhand opgelegd krijgen dat we het moeten laten regelen. En dat lijkt me ook niet handig.
Hoe we dat realiseren interesseert me niets. Ik heb donderdag ook een aantal keer gehoord dat we moeten gaan voor “goed genoeg”. Nou, hebben we iets dat “goed genoeg” is en waarmee al die leveranciers er voor kunnen zorgen dat we onze toetsmaterialen van hun systeem A naar jouw systeem B kunnen krijgen? Nee? Dan moeten we dat (laten) maken. Ja? Waarom zorgen we er dan niet voor dat die leveranciers voor koppeling zorgen die goed genoeg is. Waarom stoppen we steeds bij de conclusie dat het nu nog niet zo ver is?

Deel dit bericht:

Fronter

 Gepubliceerd door om 06:40  QTI
nov 292006
 
“Vanaf versie 71 welke in januari 2007 wordt verwacht, zal Fronter volledig zijn bijgewerkt op het gebied van de internationale standaarden. Enkele uitgelicht:
* SCORM 2004, Fronter zal SCORM 2004 verder gaan ondersteunen door middel van een nieuwe SCORM speler. Deze Icodeon speler ondersteunt het grootste deel van de SCORM 2004 aanbevelingen.
* iCal import, hiermee wordt een veel gevraagde ondersteuning geboden voor agenda import.
* e-portfolio, Met de eerste stap in deze nieuwe standaard zal het exporteren van het portfolio volgens de standaard mogelijk worden.
* Metadata volgens IEEE, hiermee zal ook het Nederlandse content zoekprofiel nog verder worden ondersteund.
* IMS-QTI zowel de bestaande versie 1.2 als de nieuwe versie 2.1, daarmee is Fronter een van de eerste ELO’s in Nederland welke versie 2.1 ondersteund en daarmee integratie met bekende toetsprogramma’s verder vergroot.”

(bron)

Productaankondigingen van leveranciers die betrekking hebben op het ondersteunen van leertechnologie-afspraken neem ik altijd met meer zout dan dat bij een gemiddelde maaltijd gezond voor me zou zijn. Er zit namelijk vaak nogal wat ruimte tussen de marketing en de praktijk. Toch is zo’n aankondiging genoeg reden om nieuwsgierig te worden. Want uiteraard zou ik met name de QTI import/export wel eens aan de tand willen voelen. En, zover ik weet is Fronter hiermee sowieso de eerste ELO in Nederland die ondersteuning voor QTI 2.1 aankondigt. Nu maar hopen dat dit een “als het eerste schaap over de dam is” vervolg krijgt. En er zal natuurlijk ruimte geboden moeten worden voor de leveranciers om die uitwisselbaarheid met anderen te testen, zoals voor contentpackaging en e-portfolio al gebeurt.
Getipt door ICT-in-onderwijs Nieuws.

Deel dit bericht:
 Reacties uitgeschakeld voor Fronter  Tags:

QTI adaptive item voorbeeld

 Gepubliceerd door om 01:37  QTI
jul 272004
 

Terwijl ik eigenlijk op tijd moest gaan slapen omdat ik morgen (straks) er weer vroeg uit moet, heb ik zitten werken aan een document dat uitlegt hoe het adaptieve itemvoorbeeld (adaptive.xml) werkt dat onderdeel uitmaakt van de voorbeelden bij de IMS QTI versie 2.0 specificatie. Het was naar aanleiding van een vraag die gesteld werd via de IMS-QTI nieuwslijst en omdat het zeker iets was wat (anders) woensdag tijdens de CETIS bijeenkomst ter sprake zal komen heb ik een walkthrough gemaakt van het betreffende Monty Hall voorbeeld. Het is te downloaden als PDF document via deze link.

Deel dit bericht:
 Reacties uitgeschakeld voor QTI adaptive item voorbeeld  Tags:

Inventarisatie veelgestelde QTI vragen

 Gepubliceerd door om 07:01  QTI
dec 112003
 

De CETIS Assessment SIG wil een lijst met veelgestelde vragen over de IMS Question and Test Interoperability specificatie (IMS QTI) samenstellen. Het moet een lijst worden die gericht is op beginnende QTI gebruikers en mensen op zoek naar achtergrond informatie bij de specificatie. Typische vragen zijn bijvoorbeeld ‘Kan ik vragen in een toets in willekeurige volgorde laten weergeven’ of ‘Kan ik bepalen of een student na afloop de resultaten van een toets te zien mag krijgen?’

Voor het samenstellen van de lijst zijn de volgende vragen aan de leden van CETIS Assessment Special Interest Group gesteld :
* Welke vragen willen jullie graag zijn in de lijst met veelgestelde vragen (FAQ) ?
* Welke vragen stellen andere mensen aan jou als ze je informatie vragen over IMS QTI?
* Welke onderdelen vind je dat zeker aan bod moeten komen in de FAQ?

Jij kunt ook meewerken aan deze veelgestelde vragen lijst, die SURF SiX daarna ook in het Nederlands beschikbaar wil stellen. Daarvoor kun je input leveren en de bovenstaande vragen beantwoorden. Antwoorden in het Engels kunnen rechtstreeks naar Rowin Cross van de CETIS Assessment SIG. Heb je problemen met het in het Engels formuleren van de vragen, stuur ze mij dan in het Nederlands. Dan zorg ik dat ze in het Engels bij Rowin komen.

Deel dit bericht:
 Reacties uitgeschakeld voor Inventarisatie veelgestelde QTI vragen  Tags:

Vertaling Quickscan QTI

 Gepubliceerd door om 07:00  QTI
aug 142003
 

Er is nu ook een vertaling in het Engels beschikbaar van de Quickscan QTI die ik voor de zomer uitgevoerd heb. Zie: Quickscan QTI. De Nederlandstalige versie is te downloaden van website van De Digitale Universiteit

Deel dit bericht:
 Reacties uitgeschakeld voor Vertaling Quickscan QTI  Tags:

Rapportage Quickscan QTI beschikbaar!

 Gepubliceerd door om 07:00  QTI
jul 112003
 

De afgelopen maand heb ik een quickscan QTI uitgevoerd voor de Digitale Universiteit. De rapportage en de bijbehorende testset met QTI bestanden zijn vanaf nu beschikbaar voor download van de DU website:
http://www.digiuni.nl/publicaties/ of rechtstreeks
:
* de rapportage (1908 Kb) en
* de testbestanden (1128 Kb).

Zoals je in de conclusies kunt lezen is het mogelijk een basale gemeenschappelijke set van QTI functionaliteiten te onderscheiden die door alle onderzochte applicaties ondersteund wordt. Zodra meer dan die basale set noodzakelijk is zijn er steeds een of meer applicaties die niet meer in staat zijn de bestanden succesvol te importeren. Een belangrijke aanbeveling is om het aanbod van QTI bestanden te vergroten door bijvoorbeeld de nu reeds binnen de DU aanwezige toetsbanken op die manier te ontsluiten.
Daarnaast wordt aangegeven dat het van belang is om actief met de leveranciers te communiceren om de bestaande ondersteuning uit te breiden.

Uit de reacties tijdens het uitvoeren van de quickscan bleek dat er een duidelijke belangstelling is voor het uitwisselen van vragen met behulp van QTI. De mate waarin deze quickscan een vervolg krijgt (bijvoorbeeld in de vorm van een onderzoek naar de exportmogelijkheden) zal mede afhangen van de vragen uit de instellingen.

[update] Links aangepast aangezien de DU website niet meer bestaat. Deze en andere QTI gerelateerde documenten zoals de 2006 versie van de quickscan kun je hier vinden.

Deel dit bericht:
 Reacties uitgeschakeld voor Rapportage Quickscan QTI beschikbaar!  Tags: