Tijdens mijn promotieonderzoek heb ik ook gekeken naar het verschil tussen ‘selfreports’ van studenten over hun gebruik van opnames van colleges versus de data die daarover op de server beschikbaar waren [1]. En daarbij vonden we voorbeelden van een redelijk goede inschatting van het gebruik, met name als het ging om aantal keer gebruik, maar ook voorbeelden van heel slechte match tussen inschatting en gemeten gebruik, met name als het ging om omvang van gebruik (in hoeveelheid bekeken).
Reynol Junco deed onderzoek naar het gerapporteerd gebruik van Facebook door studenten in vergelijking tot het ‘gemeten’ gebruik van Facebook. En ook daar waren aanzienlijke verschillen te vinden tussen het aantal uur dat studenten aangaven Facebook te gebruiken en dat wat de software registreerde.
Het totale onderzoek is hier te vinden, of je er gratis toegang toe hebt zal een beetje afhankelijk zijn van de onderwijsinstelling waar je voor werkt of waar je studeert. Voor een uitgebreide samenvatting verwijs ik je graag naar dit bericht van Linda Duits, het lijkt me niet zinvol om dat helemaal hier te herhalen.
Ik vind het namelijk interessanter om het onderzoek te vergelijken met het onderzoek zoals ik dat gedaan heb. Er zitten een aantal aspecten aan die ik bij een vervolgonderzoek ook zou opnemen. Zo is er niet alleen gekeken naar Facebook, maar ook naar het gebruik van Twitter, e-mail en het zoeken naar informatie. Dat maakte een aantal interessante vergelijkingen mogelijk.
Zo kon er namelijk gekeken worden of ook bij Twitter, e-mail en het zoeken naar informatie een discrepantie zat tussen gerapporteerd en daadwerkelijk gebruik. En dat bleek zo te zijn. Opvallend ook was dat in alle vier de gevallen er blijkbaar wel een relatie zat tussen het gerapporteerde gebruik en het daadwerkelijk gebruik: bij self-reported en daadwerkelijk gebruik van Facebook was Pearson’s r = .587, p < .001, bij Twitter was Pearson’s r = .866, p < .001, bij email was Pearson’s r = .628, p < .001 en bij zoeken was Pearson’s r = .335, p < .05 bij de vergelijking tussen zelf gerapporteerd en daadwerkelijk gebruik. Zover ik kon zien wordt er niet stil gestaan bij deze relaties, terwijl de hoge r bij Twitter toch wel vragen oproept. Immers, het gemeten gemiddeld gebruik is maar 5,5% van het daadwerkelijk gemiddeld gebruik (als er sprake is van grote spreiding, zoals hier, dan zou de mediaan waarschijnlijk veelzeggender zijn dan het gemiddelde) terwijl dat bij Facebook 17,9% is met een weliswaar nog steeds mooie r van .587 maar toch beduidend lager.
Opvallend is ook dat de relaties tussen het gerapporteerd aantal logins op Facebook en de tijd die gemeten werd lager was: Pearson’s r = .368, p < .05.
Ook deze studie loopt, net als bij mij het geval was, tegen een aantal praktische beperkingen aan die ook nu nog vraagtekens over laten. Zo hebben niet alle studenten die aan de vragenlijst deelnamen de software geïnstalleerd die moest meten hoeveel hun daadwerkelijk gebruik van Facebook, twitter, mail en zoeken was. Ook wordt terecht aangegeven dat het mogelijk is dat de studenten zich mogelijk ander zijn gaan gedragen omdat ze wisten dat ze in de gaten gehouden werden. Wellicht hebben ze andere apparaten gebruikt (ik gebruik voor Twitter bijvoorbeeld zelf ook zeker zo vaak een iPhone of iPad) waardoor dat gebruik niet gemeten werd. En natuurlijk waren er ook wel kanttekeningen te plaatsen bij de veronderstelling dat de studenten die aan het onderzoek deelnamen echt helemaal representatief waren. In een aantal opzichten wel, maar omdat het onderzoek tijdens de zomerperiode werd uitgevoerd, kon dat mogelijk verschillen veroorzaken als was het niet helemaal duidelijk of dat juist meer of minder gebruik van Facebook zou opleveren.
Ik vind het jammer dat juist die kanttekeningen, van belang bij een goede rapportage over onderzoek, in de dagelijkse berichtgeving helemaal verloren gaan. De kop "Studenten gebruiken Facebook minder dan dat ze zeggen" is namelijk een stuk gemakkelijker dan al die nuanceringen.
De kanttekeningen maken het onderzoek voor mij ook niet slechter, het geeft juist aan dat de onderzoekers goed nagedacht hebben over de beperkingen, die er altijd zijn.
Belangrijke boodschap ook in dit onderzoek: je moet bij het opstellen van vragenlijsten heel bewust en precies vragen naar bepaald gebruik van ICT als je ook maar enige kans op een betrouwbaar antwoord wilt maken.
(getipt door Carla Desain)
[1] Gorissen, P., Van Bruggen, J. M. & Jochems, W. (2012). Analysing Students’ Use of Recorded Lectures through Methodological Triangulation. In: Uden, L., Rodríguez, E. S. C., De Paz Santana, J. F. & De La Prieta, F. (eds.) Workshop on Learning Technology for Education in Cloud (LTEC’12), 2012 Salamanca, Spain. Springer, 145-156