sep 212017
 

EVALUATION FRAMEWORK FOR LABij learning analytics gaat het om het meten, verzamelen, analyseren en rapporteren van en over data van leerlingen en hun context, met als doel het begrijpen en optimaliseren van het leren en de omgeving waarin dit plaatsvindt. De terugkoppeling van deze analyses kan leiden tot effectiever handelen door de leraar, leerling of bijvoorbeeld de ontwikkelaar van lesmateriaal (Woning, 2012).

Het is nog een vakgebied dat sterk in ontwikkeling is. De discussie over wat je moet meten, hoe je moet meten, welke conclusies je wel of niet mag trekken op basis van data (“een student is geen getal”), je kunt er eindeloze discussies over voeren.

De vraag naar een evaluatieraamwerk voor learning analytics tools was er niet meteen eentje die ik daarbij als veelgestelde vraag voorbij heb zien komen. Toch is Maren Scheffel er al een tijdje mee bezig want morgen promoveert ze bij de Open Universiteit op dit onderwerp.

Het raamwerk, gericht op studenten en docenten staat online bij LACE. De resulterende “vragenlijst/scorekaart” ziet er eenvoudig en bruikbaar uit. Het is een compacte lijst vragen en geeft je alleen een score op deelgebieden. Het verteld je (uiteraard) nog niet hoe je dan een tool zou moeten aanpassen om een betere score te krijgen.

Ik heb het proefschrift zelf ook nog niet gelezen, ik kan dus ook nog geen inschatting maken over hoe betrouwbaar de score is die de scorekaart oplevert, hoe direct de relatie tussen ingevulde scores en daadwerkelijk gedrag is etc. Wordt nog vervolgd.

Deel dit bericht:
nov 032016
 

the-quantified-studentOK, ik zal het meteen toegeven. Als je een spreker op het programma hebt staan met als omschrijving “Quantified Self goeroe van Nederland en daarbuiten” dan scoor je bij mij geen pluspunten. Maar dat is niet de reden dat ik op 8 december a.s. niet aanwezig ben in Deventer bij de Quantified Student 2016 conferentie. Het past simpelweg niet in mijn agenda.

En ik maak hier wél melding van de conferentie omdat het programma ook laat zien welke aspecten een rol spelen bij de Quantified Student, in goed Nederlands de gekwantificeerde student of de becijferde student, een student uitgedrukt in cijfers:

Er wordt stil gestaan bij de link naar studiesucces, learning analytics, big data, de systemen die die cijfers moeten opleveren. Er is iemand die gaat vertellen dat de technologische ontwikkeling heel snel gaat en we over 10 jaar niet beter weten. Er komen experimenten en praktische toepassingen in het onderwijs aan bod en de link naar “hoe zet je de technologie optimaal in voor een beter leven” komt langs.

(N.B. dit is even mijn vertaling van het beknopte programma op de site en de bio’s van de sprekers, kan dus deels onjuist zijn, ik ben niet betrokken bij de organisatie!)

Het enige dat dan wellicht nog ontbreekt is iemand die stil staat bij de privacy-aspecten van het geheel (maar wellicht doet een van de sprekers dat ook wel). Dus daarmee lijkt het me wel een conferentie waar je in een middag bijgepraat kunt worden op dit onderwerp. Ga je er naar toe, dan hoor ik graag of dat zo was! 🙂

Deelname voor medewerkers van bij SURF aangesloten instellingen is overigens gratis, anderen betalen €69,-

Deel dit bericht:
jul 012016
 

SURF-Infographic-Learning-Analytics-Architectuur-met-stappen_lowresIk weet niet exact waar Learning Analytics zich inmiddels bevind op de meest recente hype cycle grafieken van Gartner (en ik heb het voor deze blogpost niet nagezocht omdat het me niet écht uitmaakte), maar afgaande op wat ik zo om me heen hoor is de eerste “hype” er wel een beetje vanaf. Geluiden als “we moeten studenten niet tot getallen reduceren” of “de docent weet het veel beter dan een computer” doen vermoeden dat we wat dat betreft de “peak of inflated expectations” inmiddels ruimschoots voorbij zijn.

Zoals in zo’n geval nodig is om ooit bij een productieve toepassing uit te komen, wordt er intussen wel gewoon doorgewerkt aan het helder krijgen van vragen als “wat moeten we er nu eigenlijk mee? en hoe?” en de bijbehorende onderliggende systemen, infrastructuren en afspraken. Om het overzicht daarop een beetje te houden, in deze blogpost een aantal verwijzingen naar werk waar (o.a.) SURF / SURFnet bij betrokken is.

Directe aanleiding voor de blogpost was de post van Jocelyn Manderveld getiteld “Experiment voor hands-on ervaring met learning analytics” op SurfSpace. Wat me daarin aansprak was het simpele lijstje van vragen die je je als docent/leraar/ondersteuner nu waarschijnlijk ook wel stelt als je je afvraagt hoe je studenten het doen of hoe er gebruik gemaakt wordt van het onderwijsmateriaal dat je beschikbaar stelt:

  • Heeft de student de opdracht(en) ingeleverd en wanneer?
  • Op welk moment voert de student de leeractiviteiten uit?
  • Volgt de student de eigen voortgang?
  • Hoe vaak doet de student een tussentijdse toets binnen een vak?
  • Welk materiaal wordt vaak gebruikt?

En juist dat gegeven, dus dat het geen vragen zijn die je alleen hebt als je met learning analytics aan de slag gaat, maken ze wat mij betreft krachtig. Want dan zou je kunnen (moeten!) gaan nadenken over vragen als: hoe geef ik antwoord op die vragen?
In het rapport waar Jocelyn naar link (PDF) getiteld “Learning analytics in het onderwijs: een onderwijskundig perspectief” staan nog meer van zulke vragen, zoals “Als studenten samen aan een groepsopdracht werken: Wie heeft welk aandeel gehad in de opdracht?” of “Wat zijn de belangrijkste onderwerpen waarover studenten discussiëren?” of “Heeft de student de instructie voor de leeractiviteit gelezen?”. Natuurlijk ben je er dan nog niet, want aansluitend moet je nadenken over welke interventie je op welk moment als docent dan wilt plegen.

Het rapport geeft overigens voornamelijk vragen, nog geen antwoorden. Zover is ook SURF net niet. Wel willen ze via een experiment laten zien wat mogelijk is. Een experiment dat ongetwijfeld nog de nodige uitdagingen met zich mee zal gaan brengen. En dan heb ik het niet eens over de in dit rapport (PDF) genoemde uitdagingen op ethisch vlak.

Kortom, nog steeds heel wat te doen. Maar omdat wij, als alles een beetje meezit, over niet al te lange tijd ook aan de slag gaan met dit soort vragen, en dan in de context van het mbo, blijf ik het werk dat op dit gebied gedaan wordt in ieder geval volgen. Het heeft immers geen nut hetzelfde wiel nog een keer uit te vinden.

Deel dit bericht:

OWD2015: Preconference Learning Analytics

 Gepubliceerd door om 23:26  SURF
nov 092015
 
Causaliteit versus Correlatie

Causaliteit versus Correlatie

Het is inmiddels 23:00 uur geweest, dus dit verslag van de preconference over Learning Analytics tijdens Dé Onderwijsdagen 2015 is wat compacter.

Hele korte conclusie ook op basis van de gesprekken tijdens het diner: nuttige samenvatting en overzicht van stand van zaken, eigenlijk teleurstellend dat we nog maar zó weinig bereikt hebben.

OK, dat tweede deel klinkt wellicht erg negatief, daarom eerst even wat highlights uit de middag. De eerste sessie werd verzorgd door Hendrik Drachsler. Zijn presentatie staat hier online:

En inderdaad, dat is niet niks, er gebeurt veel onderzoek. Het verhaal van Niall Sclater, die in ging op de activiteiten van JISC in het Verenigd Koninkrijk, sloot daar eigenlijk naadloos bij aan. Voor meer daarover zie deze website en o.a. de code of practice.

Lees verder….

Deel dit bericht:
nov 092015
 

SURF_la

Als ik kan kiezen tussen het lezen van een boek of het bekijken van de film naar aanleiding ervan, dan kies ik altijd voor de film. Vandaag was het potentieel nog erger: ik had het rapport over Learning Analytics en de Wet Bescherming Persoonsgegevens al gelezen in de trein op weg naar de preconference van Dé Onderwijsdagen 2015 in Rotterdam. Maar gelukkig was de film, lees: de presentatie van Arnoud Engelfriet over het onderwerp van het rapport ondanks dat ik de afloop van het verhaal al kende, qua uitvoering veel leuker.

Aan de toch wat complexe en beperkende situatie waar we ons rond learning analytics voor gesteld zien, als je werkt volgens de vereisten van de Wet Bescherming Persoonsgegevens, kan ook Arnoud niets veranderen. Hij kan het gelukkig wel op een manier uitleggen zodat het voor ons allemaal duidelijk was én we er niet helemaal chagrijnig van werden. Waarom chagrijnig? Nou, omdat ik best snap waarom dit soort wetten er zijn. Om ons tegen (commerciële) bedrijven te beschermen die dingen met onze informatie willen doen die vaker niet in ons belang zijn dan dat ze dat wel zijn.

Huiskamervraag: is een postcode een persoonsgegeven?

Huiskamervraag: is een postcode een persoonsgegeven?

Maar bij Learning Analytics en onderwijsinstellingen zou je er vanuit moeten kunnen gaan dat het wél in belang van die student is. En de wet en met name de strikte regels lijken initiatieven op dat gebied nu vroegtijdig de nek om te draaien of onmogelijk te maken.

Een belangrijke opmerking tijdens de sessie was wat mij betreft dat het wellicht zinvol (en mogelijk ook heel goed haalbaar) is als we als onderwijsinstellingen gezamenlijk formuleren welke informatie we van studenten moeten vastleggen als noodzakelijk onderdeel van onze bedrijfsuitvoering. Dan zouden we ons leven een stuk eenvoudiger moeten kunnen maken.

Het rapport is in ieder geval hier te downloaden.

Deel dit bericht:
jun 302014
 

Geen tijd voor een uitgebreide blogpost, wel een paar interessante links vandaag:

Deel dit bericht:
jan 272014
 


Mocht je nog twijfelen over de Mediasite Community – 2014 European Forum bijeenkomst volgende week maandag in Amsterdam, dan kan ik je wellicht met een sneak preview van mijn poster voor tijdens de Mediasite Show & Share Poster Sessions over de streep trekken (zei hij heel bescheiden…).

Je ziet hem hierboven. De toelichting geef ik volgende week maandag in Amsterdam, en komt ook in uitgebreidere vorm nog wel ergens op (elektronisch) papier. Korte samenvatting: ik ben voor onze Mediasite pilots met de R software bezig geweest om de data die tegenwoordig netjes met een export (dus niet meer zoals ik het tijdens mijn promotieonderzoek deed via een dump van de database) uit Mediasite te krijgen is, te koppelen aan externe data, bijvoorbeeld cijferinformatie of logbestanden met het gebruik van andere systemen. Daarnaast kun je door die export beter filteren, maar ook juist weer data combineren. Het is nog werk in uitvoering, maar dat is met onderzoek wel vaker zo. 🙂

Deel dit bericht:
nov 042013
 

Volgens de maatstaven zoals die gisteren werden besproken, is bovenstaande film meer dan veel te lang. En ik moet toegeven dat ik hem ook niet tot het einde bekeken heb. Want na een minuut of 50 begint het stellen van vragen en dan is de audio bij een aantal van de vragen te slecht om het goed te kunnen volgen.

Ik vond dat er een aantal interessante zaken in de presentatie naar voren komen. Zo vind ik het grappig dat de spreekster tot de conclusie lijkt te komen dat “de meeste” deelnemers aan hun MOOC’s uit de VS komen. Die groep is toch echt maar 29% van het totaal. Het is wel de grootste groep, nummer 2, India levert maar 9% van de deelnemers. Maar de conclusie lijkt me vooral: 70% van de MOOC deelnemers komt niet uit de VS en er is een hele grote spreiding in de deelnemers.
Een andere conclusie die getrokken wordt is dat MOOC’s vooral mensen lijken aan te spreken die al een opleiding gehad hebben, 70% heeft minimaal een bachelor-opleiding, 60% heeft op dit moment een volledige baan. Maar ook: 62% van alle aanmelders doet nooit iets binnen de MOOC. Bij grote aantallen aanmeldingen blijft er natuurlijk nog steeds een aardig aantal over, maar je moet die niet zomaar meenemen in je analyses. Gebeurt hier ook niet. En ook bij de mensen die wel minimaal één video bekijken, is er onderscheid te maken, bijvoorbeeld in mensen die de huiswerkopdrachten (op tijd maken), mensen die wel de video’s kijken, maar niet de huiswerkopdrachten, mensen die de video’s kijken maar op een ander moment dan wanneer ze het op tijd voor de huiswerkopdrachten zouden doen, en mensen die uitvallen.
Zo’n onderscheid is handig als je analyses van de vragenlijsten uit gaat voeren, al gooit Stephanie wat mij betreft de uitkomsten wat te gemakkelijk op een hoop als het gaat om de interpretatie ervan. Want als je op bijna alle kengetallen even goed scoort voor de mensen die wel de MOOC afronden als voor de mensen de uitvallen, dan kun je concluderen dat ze het met elkaar eens zijn, óf je kunt concluderen dat je de onderscheidende factoren nog niet ontdekt hebt. En een lage score voor de fora kan heel veel betekenen: dat ze slecht gebruikt worden (is de uitleg van Stephanie), dat ze qua software van slechte kwaliteit zijn, …. etc.
Idem voor de lage scores als het gaat om in groepen werken. Is dat erg? Zegt dat wat over de MOOC als geheel? Is dat iets waar je naar zou willen/moeten streven?

Kortom, ook na 50 minuten nog heel wat vragen. Betekent ook zeker niet dat je ze niet moet stellen, maar wees voorzichtig als je citaten uit zo’n presentatie als deze of verwijzingen naar “bewijs” zomaar voor waar aan neemt.

Deel dit bericht:
okt 082013
 

tincan Op SURFspace vraagt John May zich af of Tin Can, de uitbreiding op SCORM die gericht is op het verzamelen van data over het leerproces van studenten (dat klinkt natuurlijk wel heel erg mooi) een enabler kan zijn voor Learning Analytics.

Zijn conclusie, heel kort door de bocht, is dat het nog wel even zal duren voordat we daar in Nederland mee aan de slag gaan, en hij voorzien nog wel een interessante trip naar een of meerdere buitenlandse conferenties om hierover op de hoogte te blijven. 😉
Het is namelijk maar de vraag of en hoe snel Tin Can in Nederland geïmplementeerd wordt. In het geval van SCORM duurde dat ook even én was het zo dat er ook partijen waren die onderwijskundige problemen hadden met de opzet van het referentiemodel (<> standaard).
De tweede uitdaging die John signaleert is de interpretatie van de data die gelogd wordt door Tin Can. Dat lijkt niet vanzelfsprekend. Kan ik me iets bij voorstellen, maar dat is het ook als je wél een heel gestructureerde datastructuur hebt. Want daar ligt namelijk de uitdaging (valkuil / drempel) bij Learning Analytics: hoe maken we chocolade uit de data die we hebben?

En wat betreft snelheid van implementeren denk ik dat we in Nederland heel verstandig beginnen met het kijken naar welke data we al hebben en welke lessen we daar al uit kunnen trekken als het gaat om het beter begrijpen van het leerproces van de student. Investeren in het vergroten van de “bak met data” is dan stap twee, maar dan wil je ook al een beetje weten welk soort data je dan extra nodig hebt. Dat Tin Can daar bij kan helpen is dan meegenomen, maar ik denk inderdaad dat we voor de implementatie daarvan volgend jaar nog naar Educause toe moeten of zo.

Deel dit bericht:
apr 102013
 

Kindle DX Het artikel in The New York Times getiteld “Teacher Knows if You’ve Done the E-Reading” is ongetwijfeld geschreven met als doel om in ieder geval een beetje een ongemakkelijk gevoel bij de lezer achter te laten. Maar het is dan ook een heel gevoelig punt. Bij de Texas A&M universiteit voeren ze namelijk een test uit waarbij het leesgedrag van studenten in elektronische boeken door de docenten gemonitord kan worden. Er wordt bijgehouden wanneer en hoe vaak een student het boek opent, welke pagina’s bekeken worden en of en hoeveel aantekeningen de student in het boek maakt. Die data wordt dan terug gekoppeld naar de docent en komt ook ter beschikking van de uitgever.
Achterliggend idee is dat de docent student op hun studiegedrag kan aanspreken.

Interessant onderwerp omdat het namelijk heel erg overeen komt met de discussie die je op dit gebied ook hebt rond opnames van colleges. En met dezelfde problemen. Ook hier wordt zondermeer uitgegaan van de veronderstelling dat meer lezen, eerder lezen, vaker lezen, meer aantekeningen maken, tekenen zijn van actiever, zo je wilt, dieper leren. Terwijl ik dan toch iets meer geïnteresseerd zou zijn in de vervolgactiviteiten op dat lezen. Dus als de studenten daadwerkelijk actief met de kennis/informatie in dat boek aan de slag gaan.
Vreemd vind ik ook uitspraken als:

After two months of using the system, Mr. Guardia is coming to some conclusions of his own. His students generally are scoring well on quizzes and assignments. In the old days, that might have reassured him. But their engagement indexes are low.

De studenten doen het goed bij de opdrachten en de toetsen, maar hun engagement index is laag. Ze lezen de boeken dus te weinig. De conclusie:

“Maybe the course is too easy and I need to challenge them a bit more,” Mr. Guardia said. “Or maybe the textbooks are not as good as I thought.”

Met andere woorden: het zou kunnen dat het vak te gemakkelijk is omdat de studenten het boek niet veel hoeven te gebruiken om toch goed te scoren, of het boek is toch niet zo goed als ik dacht?
Een derde optie is dat de “engagement index” wellicht toch niet zo’n goede meeteenheid is voor studiesucces als de uitgevers hopen.

En een voor de hand liggende vraag is uiteraard waarom de studenten geen toegang krijgen tot de data? Laat hen zien hoe anderen studeren en hoe zij het zelf doen ten opzichte van die anderen. Niet als middel om ze te beoordelen maar om ze te helpen hun leerproces in te richten. Dat is dus even los van de vraag of de betreffende data daar wel bruikbaar voor is. Maar zoiets als “aantekeningen die andere studenten hier maakten” (zoiets biedt Amazon voor hun boeken al) of “passages van het boek die het vaakst gelezen zijn” zou mogelijk toch behulpzaam kunnen zijn en veel minder eng dan een “engagement index”.

Deel dit bericht: