sep 112015
 

Connecting_data_for_researchOnderzoekers die hun onderzoek willen verrijken door open data te gebruiken of door eigen data beschikbaar te stellen, worden geconfronteerd met een groot aanbod van technieken en tools. Hoe vind je als onderzoeker in dat aanbod de juiste techniek of het beste gereedschap? Tijdens dit symposium staan good practices centraal.

SURF organiseert op 19 oktober 2015 bij de VU in Amsterdam een symposium voor onderzoekers. Centraal daarbij staat het gebruik en beschikbaar stellen van open data. Deelname is gratis (al kost het je geld als je te laat afmeld), aanmelden is noodzakelijk en kan via deze website. Daar kun je ook de complete agenda van de dag vinden.

Deel dit bericht:
 Reacties uitgeschakeld voor SURF Symposium: Connecting Data for Research  Tags: , ,
jul 192015
 

Niet_aan_de_maat Het WWC is een onderdeel van het Amerikaanse Ministerie van Onderwijs. Ze zijn een “clearing house”, d.w.z. dat ze onderzoek dat relevant kan zijn voor het onderwijs reviewen, resultaten combineren tot samenvattingen etc.

Ik kende het clearinghouse niet, en kwam er eigenlijk ook alleen omdat een van hun recente reviews in Feedly opdook. Het ging daarbij om het rapport “Interactive Online Learning on Campus: Testing MOOCs and Other Platforms in Hybrid Formats in the University System of Maryland” (als PDF hier te downloaden). En over dat rapport wordt een nogal hard oordeel geveld: het onderzoek voldoen niet aan de ontwerpstandaarden van de WWC groep en daarom worden de resultaten van het onderzoek niet eens in de review opgenomen. Dus, het is niet zo dat ze de resultaten opnemen en zeggen “pas op, het onderzoek voldoet niet aan de ontwerpstandaarden”, nee, ze nemen ze helemaal niet op in de review.

Op zich is dat natuurlijk wel een heel heldere en duidelijke manier van werken. Want dit was een review van een individuele studie. Als ze een samenvattend verhaal gaan maken, dan lopen ze ook niet per ongeluk zelf het risico dat ze de conclusies van deze studie daar in meenemen.
Je kunt stellen dat het een harde manier van werken is met de redenatie “omdat het niet aan de WWC standaarden voldoet betekent nog niet dat de conclusies onjuist zijn”. Maar dat hangt waarschijnlijk af van wat jij persoonlijk wenselijke resultaten vindt, dus resultaten die jouw opvattingen ondersteunen of niet.

Op zich vind ik het dus een goed idee. Nadelen zie ik ook wel. Het is een duur orgaan, zo verwacht ik, want het zorgvuldig reviewen kost de nodige tijd. Deze studie was van ergens in 2014 en is nu pas aan de beurt. Ander onderzoek op het gebied van MOOCs e.d. kan ik er nog niet vinden, in het algemeen is de set reviews die ict gerelateerd is nog heel beperkt.
Wellicht zou dan een (centraal beheerd) meer crowdsourced initiatief zinvoller zijn. Dus dat je mensen (niet anoniem) uitdaagt een mening te geven over een rapport / onderzoek. Van de andere kant. Ik schrijf niet per definitie positief over rapporten en/of onderzoeken (alleen als ik dat ook echt ben) en ik kan me niet voorstellen dat me dat altijd in dank wordt afgenomen. Dus zo’n centraal orgaan dat dat in plaats daarvan doet is soms ook wel weer handig. 😉

Deel dit bericht:
jun 282015
 

Omvang_proefschrift Op het weblog van Pedro De Bruyckere staat een mooi plaatje van PhD Comics met de relatie tussen de lengte van je proefschrift, de kans dat de commissie het proefschrift in zijn geheel gaat lezen en de geloofwaardigheid ervan. Nou wil ik bestrijden dat de geloofwaardigheid écht alleen maar toeneemt met de omvang. Mijn begeleider zei altijd dat een lang proefschrift een teken van onvolwassenheid van de promovendus was. Hij of zij had namelijk nog niet geleerd om hoofdzaken en bijzaken van elkaar te onderscheiden. Waar ik me wél heel wat bij kan voorstellen is dat de kans dat de commissie hem daadwerkelijk in zijn geheel leest toeneemt als het proefschrift korter is.

Nieuwsgierig werd ik door de vermelding van een soort optimum: 50.000 woorden.
Dat getal lijkt niet helemaal zomaar uit de lucht gegrepen te zijn, al kan ik in de blogposts van de studie die Marcus Beck erover uitvoerde, dat getal niet vinden. Mogelijk hebben ze het zelf uit de data gedestilleerd. Ik begrijp dat 50.000 woorden ook de omvang van een roman zoals die gehanteerd wordt bij de National Novel Writing Month , anderen hanteren normen die wat hoger liggen (zie ook deze) maar deze hanteert weer wat lagere aantallen (dank je voor de tip Marit!).
Hoe dan ook, ik was nieuwsgierig en heb mijn eigen proefschrift even in Word ingeladen. In de screenshot zie je de gegevens.

Totaal aantal woorden: 54.018 (inclusief voet- en eindnoten, dankwoord, samenvatting in Nederlands en Engels).

Best aardig in de buurt van die 50.000 woorden dus.

Nou weet ik van het onderzoek van Marcus Beck dat het aantal woorden per vakgebied erg kan verschillen. Maar toch de vraag: Hoe lang is die van jou?

p.s. Bij Wikipedia staan proefschriften gelukkig wel nog gewoon bij het kopje “non-fiction” 😉

Deel dit bericht:

Zijn onderzoekers STAPELgek?

 Gepubliceerd door om 22:41  Internet, Onderzoek
jun 202015
 

Volkskrant_StapelEen verontrustend bericht op de site van de Volkskrant vandaag: “De verzinsels van frauderende wetenschappers als Diederik Stapel en Dirk Smeesters zijn nog steeds onder ons. Haast de helft van de formeel allang teruggetrokken studies wordt nog steeds geciteerd door nietsvermoedende collega-onderzoekers.”

Ik kwam er via een verkorte versie van het bericht op Omroep Brabant en op basis daarvan denk je al snel “zijn die onderzoekers die dat doen helemaal gek geworden?”.

Maar als je het bericht bij de Volkskrant leest dan merk je dat het iets genuanceerder ligt.
Voor de duidelijkheid: er zaten/zitten dingen écht fout. Persberichten die nog online blijven staan en naar de studies verwijzen zijn onhandig als ze van de onderzoeksinstelling zelf zijn. De actie “check al onze nieuwsberichten ooit zowel centraal als decentraal opgesteld voor deze studie” zal niet in het interne protocol van het afhandelen van zulke zaken gestaan hebben. Kan ik me ook wel weer iets bij voorstellen. Onderzoeken die hadden moeten worden terug getrokken en dat uiteindelijk niet bleken te zijn, dat is meer dan slordig.

De andere verklaringen van de onderzoekers die wél nog naar Stapel verwijzen klinken eveneens plausibel als je een beetje weet hoe zaken soms gaan. Als een onderzoek terug getrokken wordt en niet meer via het oorspronkelijke journal te verkrijgen is en/of als bij dat journal expliciet een vermelding staat dat het onderzoek niet te vertrouwen bleek, dan ziet een andere onderzoeker dat alleen als hij/zij bij die site terecht komt en het dan daar ziet.

Het vinden van PDF’s van artikelen is vaak echter een uitdaging. Niet iedereen werkt voor een universiteit die een abonnement op alle journals heeft die jij als onderzoeker nodig hebt. Losse artikelen kopen kost vaak best veel geld $30 – $50 dollar per artikel is geen uitzondering, terwijl je vaak pas bij het lezen ervan er achter komt of het een zinvol artikel was. Dan is Google gebruiken om de PDF op te sporen of bij bevriende onderzoekers navragen of zij de PDF toevallig hebben een veel goedkopere manier. Maar dan zie je dus ook geen melding bij de uitgever / bij het oorspronkelijke journal. Ja, je bent als onderzoeker verantwoordelijk voor je bronnen, maar nee, geen enkele onderzoeker zal kunnen beweren dat hij/zij dat altijd voor alle gebruikte bronnen doet. Kun je het ze dan kwalijk nemen? (het gemakkelijke antwoord is natuurlijk ja, maar toch)

Wellicht dat Google Scholar een duidelijkere notificatie kan geven bij terug getrokken artikelen? Of een “report this article” optie of zo. In een aantal gevallen kun je de “retraction notice” wel al gewoon zien als je zoekt:

DiederikStapelDe arcering in het geel is van mij.

Via Google Scholar kun je overigens zelf ook redelijk eenvoudig achterhalen welke artikelen die in 2015 gepubliceerd zijn nog naar terug getrokken artikelen verwijzen.

Deel dit bericht:
jun 182015
 

ORD2015De keynote van Bas Haring was weer leuk, interessant en prikkelend. De sessie over Learning Analytics was weer een voorbeeld van waar de VOR en ICT niet altijd even aligned zijn. De sessie over weblectures op basis van onderzoek dat gedaan is/wordt bij de MLI van Inholland was interessant (maar bekend omdat ik twee van de drie thesissen die gepresenteerd waren al intensief gelezen had). Maar dé sessie van de dag was voor mij toch wel “Technologie in actie. Over de rol van materialiteit in onderwijs en leren“. Al was het maar omdat ik het woord “Materialiteit” niet kende. Wikipedia kent het wel, maar daar is het een term uit de accounting en auditing, en dat was het hier zeker niet. Het gaat hier om de materiële elementen van onze wereld en meer specifiek in dit geval de technologie die we inzetten in ons onderwijs.

Daarbij moet je technologie dan wel ruim zien, een boek, een krijtbord, tafeltjes en stoelen, het zijn allemaal materiële elementen.

Centrale boodschap: technologie is niet neutraal. Het leidt altijd tot een transformatie van de werkelijkheid. Bepaalde aspecten van die werkelijkheid worden versterkt of verzwakt. Je moet in het onderwijs bewust gebruik maken van de mogelijkheden van de technologie en niet zomaar uitsluitend substitutie toepassen.

Joke Voogt, Jo Tondeur (bijgestaan door Ellen De Bruyne), Virginie März en Mathias Decuypere gingen elk in op een deelaspect hiervan. Joke keek naar het theoretisch model erachter, ze ging bijvoorbeeld in op Ihde (1993) die een viertal relaties van technologie onderscheidt:

  1. Inlijvingsrelatie – bv bril, auto. Techniek is een verlengstuk voor de mens.
  2. Hermeneutische relatie – bv thermometer, simulatie op computer.  Technologie geeft een representatie van de werkelijkheid en de mens moet deze interpreteren.
  3. Alteriteitsrelatie – bv  thermostaat, de “rekentuin“. Mens interacteert met de werkelijkheid via technologie / de technologie als “quasi ander”.
  4. Achtergrondsrelatie – bv licht, elektriciteit. De onopgemerkte technologie, was maar meer technologie zo.

Zij pleit voor het openbreken van de black box die ICT in het onderwijs vaak nog is, zodat we bewuster nadenken over waarom we welke ICT op welke manier voor welk doel inzetten.

Jo Tondeur vertelde over een inventarisatie van het ontwerp van klaslokalen die ze in België hebben uitgevoerde en Ellen de Bruyne lichtte een aantal casussen toe. Het uitgebreide artikel dat ze hierover schreven is hier online te vinden.
Virginie März ging in op de Vlaamse variant op het Digitaal OverdrachtsDossier, daar de BaSO-fiche genaamd en het effect die dat dossier had op de verhoudingen en relaties tussen ouders en docenten, de wijze waarop docenten oordelen over leerlingen vastleggen etc.

Mathias Decuypere ging ook in op de inrichting van leslokalen, maar dan specifiek in relatie tot de positie van het (projectie-)scherm. Afhankelijk van de inrichting zijn bepaalde werkvormen wel of juist niet mogelijk (compatibel of niet).

Nu kun je zeggen “als je uit gaat van didactische vragen, dan kom je van daaruit vanzelf wel bij de functionele wensen van de technologie. In een ideale wereld kan ik me daar wat bij voorstellen. Maar ik vrees dat onze wereld niet zo ideaal is dat je daar vanuit kunt gaan. Wel denk ik dat je niet van elke docent kunt/mag verwachten dat hij/zij al de eigenschappen van technologie kent. Daar zal hij/zij ondersteuning bij nodig hebben.

Grappig was overigens wel dat Jo Tondeur aangaf dat ze de invloed van mobiele apparaten op het onderwijs nog niet hadden kunnen onderzoeken omdat daar ik Vlaanderen nauwelijks al gebruik van gemaakt werd. Zijn verwachting was dat het leidt tot flexibeler gebruik. Mijn vraag is dan waarom we soms zo ingewikkeld doen over Steve Jobs-scholen die ook mobiel gebruik van ICT toepassen.

Belangrijkste kritiekpunt bij de verhalen van vandaag is wat mij betreft dat ze nog heel ver weg zijn van de vraag “en wat doen we dan met die kennis? hoe maken we dan het onderwijs beter?”.  We doen onderzoek immers niet alleen om het onderzoek. Dat is hopelijk iets voor de ORD 2016 in Rotterdam.

p.s. Ruben Vanderlinde vervulde de referententrol op uitstekende wijze. Mooi als er ook positief kritische noten bij presentaties / onderzoek geplaatst worden.

p.p.s. de verschillende presentaties staan nog niet online, maar de sprekers waren beschikbaar voor vragen via de mail.

p.p.p.s. en zeg nou zelf: Materialiteit klinkt toch veel beter dan Technologie? 😉

Deel dit bericht:
jun 102015
 

ZoteroEigenlijk maakt het niet uit, of je nou docent, student, consultant of onderzoeker bent. Als je documenten samenstelt, dan maak je haast altijd gebruik van materialen van anderen. En dan hoor je gewoon aan bronvermelding te doen.

Nou is dat op een weblog vaak eenvoudig: je voegt een linkje in en klaar. Maar in rapporten of artikelen is dat niet zo heel handig. Daar is het gebruikelijk dat je op de plek in de tekst waar de verwijzing relevant is, een tekstuele verwijzing opneemt in de vorm van auteur + jaartal en dan onder aan het rapport/hoofdstuk/artikel via een uitgebreidere beschrijving van de bron de doorverwijzing opneemt. Dat kan volgens een aantal afspraken, een heel bekende daarbij is de APA.

De reden waarom dat lang niet altijd gebeurt is eigenlijk heel simpel. Het bij elkaar zoeken van de benodigde informatie daar voor en het correct opnemen van de beschrijving van de bron is best veel werk. Sinds mijn promotieonderzoek heb ik me één ding heel erg aangeleerd: als ik interessante bronnen tegen kom, dan stop ik die meteen in een referencemanager. Tijdens mijn promotietraject deed ik dat in Endnote, prima als je niet veel bronnen hoeft te delen. Daarna heb ik een tijdje Mendeley gebruikt, mooie online omgeving beetje prijzig als je met groepen werkt. Sinds een tijdje werk ik (weer) met Zotero, niet zo schitterende webinterface, maar gratis en krachtig. En met een goed werkende WordPress plugin.

Waarom een referencemanager? Nou, omdat je dan bij het vinden van de bronnen de informatie over die bronnen één keer goed vastlegt en daarna elke keer als je die bronnen nodig hebt daar weer gebruik van kunt maken. Dan kun je tijdens het typen in Word gewoon even zoeken naar de bron en die als verwijzing in laten voegen in het document. Met aan het einde van het document een nette lijst met de bronnen. Maar ja, dan moet je dat dus wel de eerste keer goed doen. En vaak is ook dat nog heel wat werk.
Lees verder….

Deel dit bericht:
jun 052015
 

Lectorale_Rede_Robert SchuwerHet was natuurlijk al een tijd bekend, maar ik zag net het officiële persbericht voorbij komen, dus hier ook maar even een verwijzing naar de lectorale rede volgende week vrijdag 12 juni, van Robert Schuwer, lector Open Educational Resources bij de Fontys Hogeschool ICT.

Voorafgaand aan de lectorale rede is er een symposium over open onderwijs. Voor het volledige programma zie deze pagina.

Meer over het lectoraat van Robert kun je hier vinden.

Deel dit bericht:
mei 192015
 

NRO

Onderzoekers onder leiding van prof. dr. Marco Kalz, hoogleraar Open Education aan de Open Universiteit, zullen vijf jaar lang onderzoek doen naar open en online hoger onderwijs. Het project moet leiden tot wetenschappelijk onderbouwde, praktische adviezen voor de onderwijspraktijk over het aanbieden van dit type onderwijs en over de strategische impact voor de organisatie. Het NRO en het ministerie van OCW stelden hiervoor in totaal € 1.350.000 beschikbaar.

Nadat eerder al bekend werd welke 8 projecten tijdens de eerste tranche van de stimuleringsregeling rond Open en Online Onderwijs van start mogen gaan, is nu ook bekend welk consortium de komende vijf jaar flankerend onderzoek gaat doen. De Open Universiteit en de Universiteit Utrecht zullen dit onder de titel SOONER (‘De Structuratie van Open Online Onderwijs in Nederland’) gaan uitvoeren.
Voor de hele aankondiging van de NRO, zie dit bericht.

Betekent dat we de OU en de Universiteit Utrecht de komende jaren nog vaker als spreker kunnen verwachten op conferenties zoals volgende week in Wageningen!

Deel dit bericht:
mrt 132015
 

LOGO WETENSCHAPSAGENDA RGB“Tal van hogescholen gaan de komende tijd aan de slag met het verzamelen van input voor de Nationale Wetenschapsagenda (NWA). In diverse bijeenkomsten, georganiseerd door de Vereniging Hogescholen, komen lectoren, bestuurders en partners uit de publieke- en private sector bij elkaar om onderzoeksvragen te formuleren die voor hogescholen belangrijk, relevant en richtinggevend zijn en die wat hen betreft een plaats moeten krijgen in de NWA. De nationale aftrap rond de NWA vond [donderdag] plaats in het TV-programma De Wereld Draait Door.”
Lees meer op deze pagina van de Vereniging Hogescholen.

Deel dit bericht:

Wat is er mis met p-waarden?

 Gepubliceerd door om 20:48  Onderzoek
jan 272015
 

p-waarden
Het plaatje is nog grappig (zeker als je bezig bent met onderzoek), dit bericht zegt het iets duidelijker “p-values Suck“, of iets uitgebreider:

p-values are visual noise taking up precious journal space that could be filled with useful stuff such as actual estimates, effect sizes, scatter plots, confidence or credible intervals, R-code, AICs and DICs, box plots, yes sometimes even white space would be an improvement. I’m not going to rant more about p-values here, they have already been accurately characterized by others (bron)

Deel dit bericht: