De sessie gaat over het belang van toegang tot grote hoeveelheden data, de voorspellende waarde daarvan, het gebruik daarvan binnen het onderwijs en de noodzaak om deze data realtime te kunnen gebruiken. Uiteraard is niet iedereen blij met het gebruik daarvan.
Siemens geeft de volgende definitie van Learning analytics: Learning analytics is the measurement, collection, analysis and reporting of data about learners and their contexts, for purposes of understanding and optimizing learning and the environments in which it occurs.
Daarbij is het volgens hem belangrijk dat learning analytics gebruikt wordt ten behoeve het verbeteren van het onderwijs. Daarbij moet dan data gebruikt worden die verzameld wordt uit zo veel mogelijk beschikbare systemen en er moet niet volstaan worden met slechts data uit één systeem, er moet gebruik gemaakt worden van een breed netwerk van systemen waar data uit gehaald wordt.
Een ander belangrijk punt daarbij is het gebruik van Open Source en open initiatieven voor samenwerken, bijvoorbeeld via de Society for Learning Analytics Research (SoLAR) en de International Conference on Learning Analytics and Knowledge conferentie die van 29 april t/m 2 mei 2012 plaats zal vinden in Vancouver.
Vernon Smith sprak over zijn werk bij het Rio Salado College in Tempe, Arizona. Zij hebben 69.619 studenten waarvan er 43.093 op afstand studeren. Ze hebben 1 course die bijna wekelijks gestart kan worden (48 keer per jaar). Ze maken gebruik van een eigen leeromgeving getiteld RioLearn. Ze doen veel aan Learning Analytics op basis van die omgeving. Ze hebben veel data en gebruiken die om studenten te identificeren die “at risk” zijn (de kans lopen om uit te vallen).
Tip van Vernon: lees het artikel van John Campbell en Diana Oblinger uit 2007 over Academic Analytics (hier te downloaden als PDF)
Hun vraag: welke factoren voorspellen het uitvallen van een student zo goed mogelijk?
Het bleek dat o.a. de frequentie van inloggen op de in de homepage van de course, het frequentie van activiteiten op onderdelen van de course en de snelheid waarmee punten voor de course behaald werden indicatoren waren voor het al dan niet uitvallen van een student. Als je de eerste dag inlogde op het systeem bleek je een 20% hogere kans te hebben om de course te halen dan wanneer je dat niet deed. En dat waren nu dan geen uitspraken op basis van het gevoel van een docent, maar op basis van harde data.
Dit zorgde er voor dat ze met een snel toenemende zekerheid (tot 70% zekerheid!) de kans op uitvallen konden voorspellen. Daarbij bleek recent gedrag belangrijker te zijn voor het voorspellen dan gedrag van lang geleden. Dat is dus wel zo handig omdat je dan niet zo ver mogelijk terug hoeft te kijken.
Leeftijd, geslacht, ras bleken overigens geen goede voorspellende factoren.
Zijstap: een blijkbare must-see is Moneyball. Ik heb hem nog niet gezien.
Mooi was ook het RIO PACE systeem dat getoond werd (via screenshots)
Hierbij kregen zowel studenten als docenten via kleurcodes te zien of zij in de problemen dreigden te komen resp. of er studenten waren die in de problemen dreigden te komen. Die kleurcodes waren gebaseerd op het onderliggende learning analytics systeem dat redelijk betrouwbaar voorspellingen kon doen op basis van de beschikbare data.
Kortom, interessante sessie!
Ik ben ook bij een presentatie geweest met een aantal overeenkomsten. (sessie 5 zie link)
http://www.educause.edu/E2011/Program/SESS100
Zij screenen op: minder dan 3x per week inloggen en minder dan 3 uur per week online
groeten
Vraag me af wie er nu niet blij is met dit soort data die zicht geven op voortgang en met name risico’s. Ik ben een voorstander van LA mede na lezing van het proefschrift van Wilco Bonestroo Planning with Graphical Overviews: The Effects of Support Tools on Self-Regulated Learning.
Wilco keek in zijn onderzoek naar effecten van het gebruik van graphical overviews op het leerproces en de leerresultaten. Zijn onderzoeksgebied doet me een beetje denken aan het gebruik van graphical syllabi zoals je dat in de US wel tegenkomt in het onderwijs. Maar je kunt het ook vergelijken met mindmaps van kennisdomeinen.
Hij vroeg zich af wat de inlvoed van actief plannen (SRL) is op het leerproces en keek daarbij tevens naar het verschil tussen studenten die zelf actief plannen en studenten die zich lieten ‘leiden’ door slimme grafische representaties. Zijn onderzoek laat zien dat we in het algemeen het effect en daarmee het belang van het actief zelfstandig plannen door de student overschatten.
“After the whole learning process, participants thought that they learned more when they were actively involved in the planning process. However, this was not reflected in their results on the knowledge tests.”
Daarnaast maakt zijn onderzoek duidelijk dat het non-lineaire karakter van graphical overviews het leerproces complexer maakt en het resultaat dus mogelijk negatief beïnvloedt.
“… the non-linear characteristics of graphical overviews can make them complex to navigate and, in turn, this could negatively influence learning.”
Hij stelt daarom dat deze wijze van werken met grafische representaties het best zou werken bij goed goed gestructureerde problemen.
“The studies in this thesis show that the visualization of prerequisites guided navigational behaviour only when learners worked on well-structured problems.”
Dat vind ik persoonlijk dan weer jammer omdat realistisch onderwijs juist gebaat is bij ill-structured (messy) taken en problemen. Maar ja, je kunt niet alles hebben. Voor de verwerving van procedurele kennis is dit zeker te billijken.
Voor mij is het onderzoek van Wilco mede reden om belang te hechten aan LA (in de zin waarin Erik Duval dit concept definieert in het interview dat Wilfred Rubens met hem had) als middel om leerprocessen te faciliteren en het belang van plannen (in de zin van ‘leren leren’) niet te overschatten. Dit ondanks het feit dat Wilco constateert dat er direct aansluitend aan de planfase wel
(Zijn proefschrift is hier te vinden.)
[…] Educause 2011 – Transforming Learning Through Analytics » ICT & Onderwijs BLOG […]