mei 262016
 


Ik weet het, de combinatie “hokjesman, onderzoekers en vijftig tinten grijs” kom je waarschijnlijk niet dagelijks tegen als titel van een blogpost. Dat vraagt om een toelichting.
Allereerst is het zo dat bovenstaande aflevering van De Hokjesman hoe dan ook de moeite waard is om te bekijken. Het geeft namelijk op de geheel eigen wijze van Michael Schaap een beeld van “de onderzoeker”. Waarbij het duidelijk is dat het indelen van mensen, beroepen, groepen individuen in hokjes er onherroepelijk toe lijdt dat sommige nuances verdwijnen.

Ik moest daar vandaag ook wel aan denken tijdens de keynote van Jelte Wicherts over “De zwakke plekken van de hedendaagse wetenschap (en hoe die te versterken)” waarin hij inging op fouten die bewust of onbewust door onderzoekers in onderzoeksresultaten (artikelen) worden opgenomen. Het voorbeeld van Diederik Stapel kwam uiteraard voorbij, maar Jelte maakte juist ook duidelijk dat er (inderdaad) geen zwart-wit onderscheid te maken was tussen goede onderzoekers en slechte onderzoekers, maar dat er sprake was van vijftig tinten grijs.

Het is jammer dat de presentatie van Jelte (nog) niet online staat, want ik denk dat het wijze lessen zijn voor élke onderzoeker. Over hoe je zo lang kunt zoeken naar een verklaring in je data dat je er haast automatisch eentje zult vinden. Of slecht gedocumenteerde data die niet door anderen te gebruiken is om jouw onderzoek te verifiëren. Of creatief naar beneden afronden van een p-waarde die 0.054 blijkt te zijn, extra proefpersonen erbij zoeken etc.
Jelte illustreerde zijn verhaal met behulp van anekdotes en voorbeelden en ging ook in op de “prikkels” die een onderzoeker vaak krijgt om te komen met grootse resultaten en hoe ook dat “fouten” in de hand kan werken.

Een van zijn oplossingen was het delen van de data zodat anderen gemakkelijk de resultaten kunnen verifiëren. Maar het is ook van belang onderzoek te publiceren als er géén significante verschillen gevonden worden. Ook dat is een conclusie! Kortom, voorkomen zullen we het wellicht (zelf) niet helemaal, maar we kunnen de kans op fraude wel verkleinen.

Deel dit bericht:
 Reacties uitgeschakeld voor De hokjesman, onderzoekers en vijftig tinten grijs  Tags: , , , ,
mei 252016
 


De OECD heeft vandaag een rapport gepubliceerd waarin ze een review publiceren van het onderwijsbeleid in Nederland. Mevrouw Montserrat Gomendio, adjunct directeur van het directoraat Education and Skills van de OECD was in Nederland en verzorgde een presentatie tijdens de Onderwijs Researchdagen in Rotterdam waarin ze een toelichting gaf bij het rapport. De presentatie is hierboven opgenomen.

Van_goed_naar_beterHet complete rapport kun je hier downloaden.
Ik heb het rapport nog niet gelezen, ik ga af op de presentatie. Daarbij werd benadrukt dat het Nederlands onderwijssysteem goed presteert maar dat er een aantal belangrijke aandachtspunten waren:

  • Zo werd opgeroepen om het kwaliteit van het onderwijs en de zorg voor de allerjongsten (0-2 jaar) te verbeteren (met o.a. de ontwikkeling van een “curriculum framework”). Nederlandse ouders maakten in tijd (omvang/aantal uren per week) beduidend minder gebruik hiervan dan andere landen.
  • Verbeter de initiële selectie van leerlingen; daarbij ziet de OECD veel in de citotoets als “onafhankelijke” toets.
  • Geef meer aandacht aan goede leerlingen en geef ze de mogelijkheid om te excelleren.
  • Verbeter de docentprofessionalisering
  • Verbeter de kwaliteit van de schoolleiders / leidinggevenden
  • Zorg er voor dat schoolbesturen heldere taken krijgen en daar ook op afgerekend kunnen worden.

Ik ben het niet met alle aanbevelingen evenzeer eens, maar ik moet het met mevrouw Gomendio eens zijn dat het op zich al goed is dat Nederland zo’n review heeft laten uitvoeren terwijl het onderwijs het over de breedte zeker niet slecht doet.

Deel dit bericht:
 Reacties uitgeschakeld voor OECD rapport: Reviews of National Policies for Education – Netherlands  Tags: , , , ,
mei 112016
 

Regelmatig trekken mensen aan de bel over filterbubbels. De term verwijst naar een vorm van isolatie dankzij algoritmes die nieuws voor je selecteren. Er blijkt echter geen empirisch bewijs voor te bestaan. Desondanks blijft het een aandachtspunt om in de gaten te houden, want uiteraard is er meer onderzoek nodig.

Lees verder: Weinig empirisch bewijs voor filterbubbels

Deel dit bericht:
 Reacties uitgeschakeld voor “Weinig empirisch bewijs voor filterbubbels”  Tags:

Wat is onderzoek (niet)?

 Gepubliceerd door om 07:56  Grappig, Onderzoek, Video
mei 102016
 

Het is een (lange) video die je gisteren waarschijnlijk al op verschillende plekken tegen bent gekomen, maar het is er eentje die ik hier in ieder geval ook een plekje wilde geven (al was het maar om het gemakkelijker terug te kunnen vinden).

Het is John Oliver die uitlegt wat “wetenschappelijk onderzoek” is, of eigenlijk, wat het vooral níet is. Voor onderzoekers is het een bekend verhaal, maar voor mensen die nu nog op zoek zijn naar “bewijs uit onderzoek” of die graag pakkende koppen citeren waarbij “onderzoek heeft aangetoond dat….”, die moeten zeker even kijken.

Deel dit bericht:

Gelezen: Tegels van Agora

 Gepubliceerd door om 22:15  Onderwijs
feb 032016
 

Tegels van AgoraIk was vanmiddag te gast in Roermond in het gebouw van Niekée waar ook Agora te vinden is. Agora (Grieks voor plein of marktplaats) is ontstaan uit de ideeën van vier directieleden binnen de Stichting Onderwijs Midden-Limburg (SOML) met betrekking tot het inrichten van persoonlijk leren. In de eerste lichting ging het om 34 leerlingen die varieerden van vmbo tot vwo advies, in 2015-2016 is de groep, met de nieuwe instroom gegroeid naar zo’n 60 leerlingen.

Het onderwijsconcept is ingrijpend anders dan je gewend zou zijn op een voortgezet onderwijsschool. Zo is er geen indeling in jaargroepen, zijn er geen vaste vakken en staat persoonlijk leren centraal.

Prof. dr. Jos Claessen van het Welten-instituut van de Open Universiteit volgde Agora tijdens dat eerste jaar op de voet. Hij was één dag per week in Roermond aanwezig, had toegang tot de verschillende overleggen en documentatie. Op basis daarvan heeft hij “Tegels van Agora” (pdf) geschreven waarin hij verslag doet van het proces dat geleidt heeft tot het tot stand komen van Agora, de evaluatie van het eerste jaar op onderdelen en de meningen van de leerlingen over Agora.

Lees verder….

Deel dit bericht:
dec 102015
 

ORD2016_logo

Op 25,26,27 mei 2016 vinden in Rotterdam de Onderwijs Research Dagen (ORD2016) plaats.  Op de ORD2016 wordt, zoals ieder jaar, onderzoek gepresenteerd binnen de volgende deelthema’s:

Als voorzitter van de divisie ICT wil ik (uiteraard?) je aandacht even speciaal vestigen op het deelthema ICT. We zoeken daar voorstellen over (bijvoorbeeld!)

  • Integratie van ICT en het leren van docenten: docentfactoren die integratie van ICT belemmeren of bevorderen; ICT in de initiële lerarenopleidingen en in de professionalisering van docenten; Effecten van dergelijke initiatieven;
  • De betekenis en effecten van ICT op lerenden. De effecten van ICT-gebruik op motivatie, cognitie, metacognitie en sociale cognitie.
  • Onderwijsorganisatorische aspecten van ICT. Voorwaarden voor de implementatie van ICT, de inzet van (op ICT-gebaseerde) informatiesystemen ter ondersteuning van het onderwijskundig leiderschap.
  • De betekenis van ICT voor het curriculum. De realisatie van ICT in het curriculum. Onderzoek naar 21st century skills en computational thinking, leren programmeren.
  • Innovatieve vormen van ICT en hun invloed op leren en onderwijzen. e-learning en mobile learning, internetgebaseerd samenwerkend leren, open onderwijs, leren via webinars, het gebruik van MOOC’s, Open Educational Resources etc.
  • ICT tools voor onderwijskundig ontwerpen. ICT-ondersteunde ontwerptools, auteurssystemen, gebruik van metadata, re-usability, inter-operability, etc.
  • ICT tools voor onderwijskundig onderzoek. Het gebruik van het web en e-mail voor dataverzameling, samenwerkingsmogelijkheden voor onderzoekers, het gebruik van gedeelde ruimten, privacy en databeveiliging, etc.

Maar bovenstaande lijst is zeker niet beperkend!

Ben jij onderzoeker, lector, docent-onderzoeker, promovendus, master-student en actief op een van bovenstaande gebieden, dien dan een voorstel in! Deadline voor het indienen is 23 januari 2016, let op, in tegenstelling tot veel andere conferenties wordt deze datum bij de ORD niet gewijzigd!

Alle detailinfo over sessieformaten, het inschrijfformulier voor de conferentie en het formulier voor het indienen van de voorstellen is te vinden op de website van de ORD2016: http://ord2016.nl/

Graag tot volgend jaar in Rotterdam!

Deel dit bericht:
 Reacties uitgeschakeld voor Call for proposals voor de Onderwijs Research Dagen 2016  Tags: , , ,
dec 082015
 

Kickstarter Als het goed is, dan weet iedereen die al eens iets via Kickstarter “gekocht” heeft het: het zijn producten in ontwikkeling en er zit altijd een risico aan dat een product niet geleverd wordt, vertraging oploopt of niet helemaal de beloften waar kan maken.
Wil je een volledig getest, gegarandeerd binnen een paar dagen geleverd product, dan moet je niet bij Kickstarter zijn.

Waarom doe je mee aan Kickstarter? Omdat je zo toegang kunt krijgen tot technologie / producten die uniek en nieuw zijn en/of omdat je zo een ontwikkelaar/bedrijf ondersteund dat van crowdfunding afhankelijk is om dat product daadwerkelijk op de markt te krijgen.

Prima, maar wat is dan de kans dat je niet dat krijgt waar je voor betaalt? Ethan Mollick deed er onderzoek naar (PDF is hier te downloaden), hij stuurde bijna 500.000 Kickstarter supporters een vragenlijst (ik kan me eigenlijk niet herinneren er eentje gehad te hebben, maar ik ben ook notoir slecht als invuller van vragenlijsten) en kreeg van ongeveer 10% (47.188 om precies te zijn) een reactie terug.

Om alvast het antwoord te verklappen: minder dan 10% van de projecten slaagt niet.

En niet slagen betekent hier dat het product niet geleverd wordt of dat het product niet aan de verwachtingen voldoet. Het onderzoek heeft drie definities van “niet slagen” vergeleken. De strengste is dat een project als niet geslaagd beschouwd wordt als er minimaal één reactie terug kwam die dat aangaf. Alleen dan kom je op 9,95% van de projecten. Als je ervan uitgaat dat minimaal de helft van de mensen die een project gesteund hebben dat aangeeft zakt het percentage naar 8,6% van alle projecten. En als je van mening bent dat iedereen die reageerde het zou moeten aangeven zakt het percentage nog verder, naar 5,6%.

Wat dat betreft zit ik dus precies op het gemiddelde. Van de 10 Kickstarter campagnes die ik tot nu toe ondersteund heb is er één volledig mislukt. Helaas voor mij was dat een relatief dure mislukking omdat de initiatiefnemers er met het geld vandoor zijn gegaan en ik dat dus ook niet terug gekregen heb. Maar goed, de kans daarop is dus minder dan 10%. Op zich te overzien als je bedenkt dat het innovatieprojecten zijn.

(getipt door bright.nl)

Deel dit bericht:
 Reacties uitgeschakeld voor Hoe riskant is het “backen” van een Kickstarter campagne?  Tags: , ,

Rapport: ict & me

 Gepubliceerd door om 09:15  Onderwijs, Onderzoek
okt 192015
 

ict_and_me_cover

De divisie Noord Ierland van het National Children’s Bureau (NCB) uit het Verenigd Koninkrijk heeft een rapport gepubliceerd getiteld “ict & me, a research study examining how young people’s use of ICT and the amount of screentime impacts on GCSE attainment” (PDF). Dit onderzoek richtte zich met name op het cohort jongeren dat in de meest achtergestelde gebieden van Noord Ierland woont. Met name vragen als “hoe is het gesteld met de toegang tot ict?” zijn voor die groepen extra relevant. Het onderzoek maakte gebruik van een combinatie van literatuurstudie, een vragenlijst die twee jaar achter elkaar afgenomen werd. De conclusies rond studieresultaten zijn gebaseerd op de resultaten van 611 jongeren die de vragenlijst zowel in het eerste als het tweede jaar van de studie ingevuld hebben. Er zijn focusgroep bijeenkomsten geweest met jongeren en met ouders. De docenten zijn geïnterviewd.

ict_me_werkwijze

De belangrijkste conclusies uit het rapport:

  • Toegang tot een computer/laptop thuis is ook voor deze groep jongeren geen probleem. Toch betekent dit dat zo’n 1.000 jongeren (5% van het totaal) thuis geen toegang heeft en zo een nadeel hebben ten opzichte van de rest.
    Opvallend: uit de focusgroep bijeenkomsten met jongeren kwam de beschikbaarheid van een printer thuis (het gebrek er aan) als knelpunt naar voren, de docenten herkenden dat echter niet.
    Als jongeren toegang tot een computer hebben, hebben ze ook thuis toegang tot internet.
  • Ouders en docenten zien sociale netwerken en gaming als de belangrijkste negatieve invloed op de studieresultaten van jongeren. Het onderzoek liet een negatief verband zien tussen gaming en studieresultaten maar niet tussen sociale netwerken en de studieresultaten.
  • Docenten gaven aan gaming te zien als een bron van problemen met betrekking tot het (op tijd) op school zijn en motivatie. Het onderzoek kon echter geen verband vinden tussen gaming en afwezigheid op school.
    Opvallend: bij jongeren zelf komt gaming niet voor in de top 5 van activiteiten die ze aangeven dagelijks te doen (pag. 9), het gegeven dat ouders en docenten daar anders over denken lijkt doorslaggevender te zijn voor de onderzoekers.
  • Ouders en docenten maken zich zorgen over de veiligheid van jongeren online. De jongeren zelf zien dat minder als een probleem. De onderzoekers geven aan dat dat deels te verklaren is doordat de jongeren, in tegenstelling tot wat de ouders verwachten én in tegenstelling tot die ouders zelf, goed op de hoogte leken van hoe ze voor hun online veiligheid moesten zorgen. Het hoge aantal ouders dat zich hier zorgen over maakte, wijkt af van andere studies op dit gebied waar dat percentage veel lager lag.
  • Voor wat betreft ict vaardigheden scoort het kunnen bewerken van digitale video en audio lager bij jongeren dan het gebruik van spreadsheets, zoekmachines en e-mail. In het algemeen hebben jongeren een positieve houding ten opzichte van het gebruik van ict zowel thuis als op school.

Lees verder….

Deel dit bericht:
sep 272015
 

science_of_learningThe Science of Learning is een (gratis te downloaden) document van de hand van de Deans for Impact Het document geeft een samenvatting van bevindingen uit onderzoek in de cognitieve wetenschappen over hoe studenten/leerlingen leren. Bij die resultaten staan steeds praktische implicaties daarvan voor zowel het leren als het doceren.  Het is gericht op (nieuwe) docenten, leraren in opleiding en lerarenopleiders.

In het document komen in totaal zes onderdelen aan bod:

  1. Hoe leren/begrijpen studenten nieuwe ideeën/concepten?
  2. Hoe leren studenten nieuwe informatie?
  3. Hoe lossen studenten problemen op?
  4. Hoe wordt een transfer tot stand gebracht tussen het leren en nieuwe situaties binnen en buiten de klas?
  5. Wat motiveert studenten om te leren?
  6. Wat zijn veel voorkomende misverstanden over het leren van studenten?

Elk onderdeel is opgebouwd uit een beschrijving van de bevindingen, met een verwijzing naar literatuur en daarnaast een beschrijving van de praktische implicaties van de bevindingen.
Het document is beknopt gehouden, dat betekent dat de literatuur meestal slechts uit één bron bestaat en dat niet iedereen meteen zal weten hoe de implicaties toe te passen in de eigen praktijk. Een mooie verdiepingsopdracht wellicht dus voor de lerarenopleiders.
Het laatste onderdeel, over de veel voorkomende misverstanden, had wat mij betreft ook in het document zelf verder uitgewerkt mogen worden. Nu staat er alleen dat docenten zulke misconcepties moeten kunnen herkennen, niet hóe ze die (of andere die er niet staan) herkennen of wat dat betekent voor hun onderwijs.

Je kunt het document hier downloaden.

(dit bericht verscheen ook op het iXperium weblog)

Deel dit bericht:
 Reacties uitgeschakeld voor Leestip: The Science of Learning  Tags: ,