nov 112018
 

Net als Wilfred Rubens was ik bij de sessie van Deltion College en het Erasmus MC vorige week woensdag bij de SURF Onderwijsdagen 2018. Je kunt zijn verslag hier lezen.

Zoals ik al zei, ik kon me wel vinden in het label “pionier” vanwege de bijbehorende omschrijving. Ik wordt graag praktisch en leer deels door dingen gewoon uit te proberen.

Dus toen ik de voorbeelden van JaapJan Vroom gezien had met het Learning Analytics dashboard in Xerte wilde ik daar zelf ook mee aan de slag.

Nou is dat (deels) gemakkelijker gezegd dan gedaan. Met Xerte aan de slag, dat is niet zo moeilijk. Je kunt XAMPP downloaden  en daarna Xerte Online Toolkits (registratie nodig) en dan kun je redelijk snel aan de slag op je eigen laptop. Wil je gebruik kunnen maken van LTI dan moet je ook nog Tsugi installeren.
Met LTI kun je de module direct koppelen aan een leeromgeving. Daarvoor heb ik Moodle geïnstalleerd, ook dat gaat binnen XAMPP heel gemakkelijk vanaf het dashboard via Bitnami.

De grootste uitdaging was/is het installeren van een Learning Record Store (LRS), een centrale database voor de data waar het me eigenlijk om ging. Ik kwam uit bij Learning Locker, een open source LRS. Maar die installeer je niet zomaar even op XAMPP. De eenvoudigste optie (ha ha, alles is relatief) volgens de makers is op Amazon Web Services. Daar had ik nog geen account, het is er mogelijk om een gratis account aan te maken, maar omdat ze daar wel mijn credit card info nodig hadden voor het geval ik over het toegestane gebruik van het gratis account heen zou gaan. Nooit een prettig idee, ik heb liever dat ze dan zeggen “ho, je mag even niet”, het was immers een test. Maar goed, ik kreeg het aan de praat. Ik praat in verleden tijd omdat dat gisterenavond was en vandaag wilde Learning Locker me niet meer laten inloggen. Toen ik via SSH de upgrade wilde laten uitvoeren die het systeem aangaf werd het er niet beter op.

Dus…het werkt nog niet echt en het weekend is voorbij. Het via LTI toevoegen van een module die ik in Xerte gemaakt had aan Moodle werkte. Maar ook gisterenavond zag ik geen data in Learning Locker aankomen. Helaas. Pionieren betekent niet altijd dat het gemakkelijk gaat. Gelukkig spreek ik JaapJan Vroom over niet al te lange tijd nog wel weer. En die heeft wél een werkende setup (niet met Moodle maar met Natschool) . Dus wordt vervolgd, want ondanks alle beperkingen / uitdagingen die de AVG opwerpt voor learning analytics gaan ook wij hiermee door.

[update 13-11-2018]

Met dank aan Inge voor de tip. Ik heb Scorm cloud even kort getest en het lukte me redelijk eenvoudig om data die kant op te krijgen. Wordt nog vervolgd in een apart bericht als ik meer tijd gehad heb om het te testen.

 

Deel dit bericht:
sep 212017
 

EVALUATION FRAMEWORK FOR LABij learning analytics gaat het om het meten, verzamelen, analyseren en rapporteren van en over data van leerlingen en hun context, met als doel het begrijpen en optimaliseren van het leren en de omgeving waarin dit plaatsvindt. De terugkoppeling van deze analyses kan leiden tot effectiever handelen door de leraar, leerling of bijvoorbeeld de ontwikkelaar van lesmateriaal (Woning, 2012).

Het is nog een vakgebied dat sterk in ontwikkeling is. De discussie over wat je moet meten, hoe je moet meten, welke conclusies je wel of niet mag trekken op basis van data (“een student is geen getal”), je kunt er eindeloze discussies over voeren.

De vraag naar een evaluatieraamwerk voor learning analytics tools was er niet meteen eentje die ik daarbij als veelgestelde vraag voorbij heb zien komen. Toch is Maren Scheffel er al een tijdje mee bezig want morgen promoveert ze bij de Open Universiteit op dit onderwerp.

Het raamwerk, gericht op studenten en docenten staat online bij LACE. De resulterende “vragenlijst/scorekaart” ziet er eenvoudig en bruikbaar uit. Het is een compacte lijst vragen en geeft je alleen een score op deelgebieden. Het verteld je (uiteraard) nog niet hoe je dan een tool zou moeten aanpassen om een betere score te krijgen.

Ik heb het proefschrift zelf ook nog niet gelezen, ik kan dus ook nog geen inschatting maken over hoe betrouwbaar de score is die de scorekaart oplevert, hoe direct de relatie tussen ingevulde scores en daadwerkelijk gedrag is etc. Wordt nog vervolgd.

Deel dit bericht:
nov 032016
 

the-quantified-studentOK, ik zal het meteen toegeven. Als je een spreker op het programma hebt staan met als omschrijving “Quantified Self goeroe van Nederland en daarbuiten” dan scoor je bij mij geen pluspunten. Maar dat is niet de reden dat ik op 8 december a.s. niet aanwezig ben in Deventer bij de Quantified Student 2016 conferentie. Het past simpelweg niet in mijn agenda.

En ik maak hier wél melding van de conferentie omdat het programma ook laat zien welke aspecten een rol spelen bij de Quantified Student, in goed Nederlands de gekwantificeerde student of de becijferde student, een student uitgedrukt in cijfers:

Er wordt stil gestaan bij de link naar studiesucces, learning analytics, big data, de systemen die die cijfers moeten opleveren. Er is iemand die gaat vertellen dat de technologische ontwikkeling heel snel gaat en we over 10 jaar niet beter weten. Er komen experimenten en praktische toepassingen in het onderwijs aan bod en de link naar “hoe zet je de technologie optimaal in voor een beter leven” komt langs.

(N.B. dit is even mijn vertaling van het beknopte programma op de site en de bio’s van de sprekers, kan dus deels onjuist zijn, ik ben niet betrokken bij de organisatie!)

Het enige dat dan wellicht nog ontbreekt is iemand die stil staat bij de privacy-aspecten van het geheel (maar wellicht doet een van de sprekers dat ook wel). Dus daarmee lijkt het me wel een conferentie waar je in een middag bijgepraat kunt worden op dit onderwerp. Ga je er naar toe, dan hoor ik graag of dat zo was! 🙂

Deelname voor medewerkers van bij SURF aangesloten instellingen is overigens gratis, anderen betalen €69,-

Deel dit bericht:
jul 012016
 

SURF-Infographic-Learning-Analytics-Architectuur-met-stappen_lowresIk weet niet exact waar Learning Analytics zich inmiddels bevind op de meest recente hype cycle grafieken van Gartner (en ik heb het voor deze blogpost niet nagezocht omdat het me niet écht uitmaakte), maar afgaande op wat ik zo om me heen hoor is de eerste “hype” er wel een beetje vanaf. Geluiden als “we moeten studenten niet tot getallen reduceren” of “de docent weet het veel beter dan een computer” doen vermoeden dat we wat dat betreft de “peak of inflated expectations” inmiddels ruimschoots voorbij zijn.

Zoals in zo’n geval nodig is om ooit bij een productieve toepassing uit te komen, wordt er intussen wel gewoon doorgewerkt aan het helder krijgen van vragen als “wat moeten we er nu eigenlijk mee? en hoe?” en de bijbehorende onderliggende systemen, infrastructuren en afspraken. Om het overzicht daarop een beetje te houden, in deze blogpost een aantal verwijzingen naar werk waar (o.a.) SURF / SURFnet bij betrokken is.

Directe aanleiding voor de blogpost was de post van Jocelyn Manderveld getiteld “Experiment voor hands-on ervaring met learning analytics” op SurfSpace. Wat me daarin aansprak was het simpele lijstje van vragen die je je als docent/leraar/ondersteuner nu waarschijnlijk ook wel stelt als je je afvraagt hoe je studenten het doen of hoe er gebruik gemaakt wordt van het onderwijsmateriaal dat je beschikbaar stelt:

  • Heeft de student de opdracht(en) ingeleverd en wanneer?
  • Op welk moment voert de student de leeractiviteiten uit?
  • Volgt de student de eigen voortgang?
  • Hoe vaak doet de student een tussentijdse toets binnen een vak?
  • Welk materiaal wordt vaak gebruikt?

En juist dat gegeven, dus dat het geen vragen zijn die je alleen hebt als je met learning analytics aan de slag gaat, maken ze wat mij betreft krachtig. Want dan zou je kunnen (moeten!) gaan nadenken over vragen als: hoe geef ik antwoord op die vragen?
In het rapport waar Jocelyn naar link (PDF) getiteld “Learning analytics in het onderwijs: een onderwijskundig perspectief” staan nog meer van zulke vragen, zoals “Als studenten samen aan een groepsopdracht werken: Wie heeft welk aandeel gehad in de opdracht?” of “Wat zijn de belangrijkste onderwerpen waarover studenten discussiëren?” of “Heeft de student de instructie voor de leeractiviteit gelezen?”. Natuurlijk ben je er dan nog niet, want aansluitend moet je nadenken over welke interventie je op welk moment als docent dan wilt plegen.

Het rapport geeft overigens voornamelijk vragen, nog geen antwoorden. Zover is ook SURF net niet. Wel willen ze via een experiment laten zien wat mogelijk is. Een experiment dat ongetwijfeld nog de nodige uitdagingen met zich mee zal gaan brengen. En dan heb ik het niet eens over de in dit rapport (PDF) genoemde uitdagingen op ethisch vlak.

Kortom, nog steeds heel wat te doen. Maar omdat wij, als alles een beetje meezit, over niet al te lange tijd ook aan de slag gaan met dit soort vragen, en dan in de context van het mbo, blijf ik het werk dat op dit gebied gedaan wordt in ieder geval volgen. Het heeft immers geen nut hetzelfde wiel nog een keer uit te vinden.

Deel dit bericht:

OWD2015: Preconference Learning Analytics

 Gepubliceerd door om 23:26  SURF
nov 092015
 
Causaliteit versus Correlatie

Causaliteit versus Correlatie

Het is inmiddels 23:00 uur geweest, dus dit verslag van de preconference over Learning Analytics tijdens Dé Onderwijsdagen 2015 is wat compacter.

Hele korte conclusie ook op basis van de gesprekken tijdens het diner: nuttige samenvatting en overzicht van stand van zaken, eigenlijk teleurstellend dat we nog maar zó weinig bereikt hebben.

OK, dat tweede deel klinkt wellicht erg negatief, daarom eerst even wat highlights uit de middag. De eerste sessie werd verzorgd door Hendrik Drachsler. Zijn presentatie staat hier online:

En inderdaad, dat is niet niks, er gebeurt veel onderzoek. Het verhaal van Niall Sclater, die in ging op de activiteiten van JISC in het Verenigd Koninkrijk, sloot daar eigenlijk naadloos bij aan. Voor meer daarover zie deze website en o.a. de code of practice.

Lees verder….

Deel dit bericht:
nov 092015
 

SURF_la

Als ik kan kiezen tussen het lezen van een boek of het bekijken van de film naar aanleiding ervan, dan kies ik altijd voor de film. Vandaag was het potentieel nog erger: ik had het rapport over Learning Analytics en de Wet Bescherming Persoonsgegevens al gelezen in de trein op weg naar de preconference van Dé Onderwijsdagen 2015 in Rotterdam. Maar gelukkig was de film, lees: de presentatie van Arnoud Engelfriet over het onderwerp van het rapport ondanks dat ik de afloop van het verhaal al kende, qua uitvoering veel leuker.

Aan de toch wat complexe en beperkende situatie waar we ons rond learning analytics voor gesteld zien, als je werkt volgens de vereisten van de Wet Bescherming Persoonsgegevens, kan ook Arnoud niets veranderen. Hij kan het gelukkig wel op een manier uitleggen zodat het voor ons allemaal duidelijk was én we er niet helemaal chagrijnig van werden. Waarom chagrijnig? Nou, omdat ik best snap waarom dit soort wetten er zijn. Om ons tegen (commerciële) bedrijven te beschermen die dingen met onze informatie willen doen die vaker niet in ons belang zijn dan dat ze dat wel zijn.

Huiskamervraag: is een postcode een persoonsgegeven?

Huiskamervraag: is een postcode een persoonsgegeven?

Maar bij Learning Analytics en onderwijsinstellingen zou je er vanuit moeten kunnen gaan dat het wél in belang van die student is. En de wet en met name de strikte regels lijken initiatieven op dat gebied nu vroegtijdig de nek om te draaien of onmogelijk te maken.

Een belangrijke opmerking tijdens de sessie was wat mij betreft dat het wellicht zinvol (en mogelijk ook heel goed haalbaar) is als we als onderwijsinstellingen gezamenlijk formuleren welke informatie we van studenten moeten vastleggen als noodzakelijk onderdeel van onze bedrijfsuitvoering. Dan zouden we ons leven een stuk eenvoudiger moeten kunnen maken.

Het rapport is in ieder geval hier te downloaden.

Deel dit bericht:
jun 302014
 

Geen tijd voor een uitgebreide blogpost, wel een paar interessante links vandaag:

Deel dit bericht:
jan 272014
 


Mocht je nog twijfelen over de Mediasite Community – 2014 European Forum bijeenkomst volgende week maandag in Amsterdam, dan kan ik je wellicht met een sneak preview van mijn poster voor tijdens de Mediasite Show & Share Poster Sessions over de streep trekken (zei hij heel bescheiden…).

Je ziet hem hierboven. De toelichting geef ik volgende week maandag in Amsterdam, en komt ook in uitgebreidere vorm nog wel ergens op (elektronisch) papier. Korte samenvatting: ik ben voor onze Mediasite pilots met de R software bezig geweest om de data die tegenwoordig netjes met een export (dus niet meer zoals ik het tijdens mijn promotieonderzoek deed via een dump van de database) uit Mediasite te krijgen is, te koppelen aan externe data, bijvoorbeeld cijferinformatie of logbestanden met het gebruik van andere systemen. Daarnaast kun je door die export beter filteren, maar ook juist weer data combineren. Het is nog werk in uitvoering, maar dat is met onderzoek wel vaker zo. 🙂

Deel dit bericht:
nov 042013
 

Volgens de maatstaven zoals die gisteren werden besproken, is bovenstaande film meer dan veel te lang. En ik moet toegeven dat ik hem ook niet tot het einde bekeken heb. Want na een minuut of 50 begint het stellen van vragen en dan is de audio bij een aantal van de vragen te slecht om het goed te kunnen volgen.

Ik vond dat er een aantal interessante zaken in de presentatie naar voren komen. Zo vind ik het grappig dat de spreekster tot de conclusie lijkt te komen dat “de meeste” deelnemers aan hun MOOC’s uit de VS komen. Die groep is toch echt maar 29% van het totaal. Het is wel de grootste groep, nummer 2, India levert maar 9% van de deelnemers. Maar de conclusie lijkt me vooral: 70% van de MOOC deelnemers komt niet uit de VS en er is een hele grote spreiding in de deelnemers.
Een andere conclusie die getrokken wordt is dat MOOC’s vooral mensen lijken aan te spreken die al een opleiding gehad hebben, 70% heeft minimaal een bachelor-opleiding, 60% heeft op dit moment een volledige baan. Maar ook: 62% van alle aanmelders doet nooit iets binnen de MOOC. Bij grote aantallen aanmeldingen blijft er natuurlijk nog steeds een aardig aantal over, maar je moet die niet zomaar meenemen in je analyses. Gebeurt hier ook niet. En ook bij de mensen die wel minimaal één video bekijken, is er onderscheid te maken, bijvoorbeeld in mensen die de huiswerkopdrachten (op tijd maken), mensen die wel de video’s kijken, maar niet de huiswerkopdrachten, mensen die de video’s kijken maar op een ander moment dan wanneer ze het op tijd voor de huiswerkopdrachten zouden doen, en mensen die uitvallen.
Zo’n onderscheid is handig als je analyses van de vragenlijsten uit gaat voeren, al gooit Stephanie wat mij betreft de uitkomsten wat te gemakkelijk op een hoop als het gaat om de interpretatie ervan. Want als je op bijna alle kengetallen even goed scoort voor de mensen die wel de MOOC afronden als voor de mensen de uitvallen, dan kun je concluderen dat ze het met elkaar eens zijn, óf je kunt concluderen dat je de onderscheidende factoren nog niet ontdekt hebt. En een lage score voor de fora kan heel veel betekenen: dat ze slecht gebruikt worden (is de uitleg van Stephanie), dat ze qua software van slechte kwaliteit zijn, …. etc.
Idem voor de lage scores als het gaat om in groepen werken. Is dat erg? Zegt dat wat over de MOOC als geheel? Is dat iets waar je naar zou willen/moeten streven?

Kortom, ook na 50 minuten nog heel wat vragen. Betekent ook zeker niet dat je ze niet moet stellen, maar wees voorzichtig als je citaten uit zo’n presentatie als deze of verwijzingen naar “bewijs” zomaar voor waar aan neemt.

Deel dit bericht:
okt 082013
 

tincan Op SURFspace vraagt John May zich af of Tin Can, de uitbreiding op SCORM die gericht is op het verzamelen van data over het leerproces van studenten (dat klinkt natuurlijk wel heel erg mooi) een enabler kan zijn voor Learning Analytics.

Zijn conclusie, heel kort door de bocht, is dat het nog wel even zal duren voordat we daar in Nederland mee aan de slag gaan, en hij voorzien nog wel een interessante trip naar een of meerdere buitenlandse conferenties om hierover op de hoogte te blijven. 😉
Het is namelijk maar de vraag of en hoe snel Tin Can in Nederland geïmplementeerd wordt. In het geval van SCORM duurde dat ook even én was het zo dat er ook partijen waren die onderwijskundige problemen hadden met de opzet van het referentiemodel (<> standaard).
De tweede uitdaging die John signaleert is de interpretatie van de data die gelogd wordt door Tin Can. Dat lijkt niet vanzelfsprekend. Kan ik me iets bij voorstellen, maar dat is het ook als je wél een heel gestructureerde datastructuur hebt. Want daar ligt namelijk de uitdaging (valkuil / drempel) bij Learning Analytics: hoe maken we chocolade uit de data die we hebben?

En wat betreft snelheid van implementeren denk ik dat we in Nederland heel verstandig beginnen met het kijken naar welke data we al hebben en welke lessen we daar al uit kunnen trekken als het gaat om het beter begrijpen van het leerproces van de student. Investeren in het vergroten van de “bak met data” is dan stap twee, maar dan wil je ook al een beetje weten welk soort data je dan extra nodig hebt. Dat Tin Can daar bij kan helpen is dan meegenomen, maar ik denk inderdaad dat we voor de implementatie daarvan volgend jaar nog naar Educause toe moeten of zo.

Deel dit bericht: