Google AI Studio zou video’s moeten kunnen begrijpen. Nou is begrijpen een groot begrip, maar het zou in staat moeten zijn om ook de inhoud van video’s te analyseren zoals dat met tekst als mogelijk is. Binnen NOLAI loopt een co-creatieproject video-interactie-analyse-tool (VIAT) waarbij AI relevante metadata kan extraheren uit video-opnames van onderwijssituaties. Daar heeft deze blogpost nadrukkelijk helemaal niets mee te maken (!!) maar het idee voor de test kwam wel van dat project.
Ik kon online geen Nederlandstalige video’s van een klassensituatie vinden, maar wel een paar uit de VS. Dus die heb ik gebruikt. Eerst was mijn vraag/prompt nog heel rudimentair:
Analyse the video, identify examples of the different interactions:
#1 Explaining stuff to students,
#2 Interacting with students,
#3 Students are working on their own,
#4 Giving feedback to students,
#5 Classroom Management/Procedural Instructions,
#6 Teacher Observation/Monitoring,
add categories that you think are missing.
Then create a single HTML file (CSS and Javascript are allowed) where you embed the YouTube video (id=gDT5xFGBXUw), add the categories and examples and make the time codes clickable so that I can use the page to navigate.
Omdat dit niet zo heel praktisch te lezen was, de prompt wat aangepast:
To keep the page readable, use a two part navigation with on the left side the categories and when I select a category it will show the individual interactions.
Make sure you dubble check the use of the YouTube API and Javascript afterwards.
Natuurlijk kun je ook meer structuur meegeven en in het Nederlands prompten bij de Engelstalige videos:
Beoordeel de bijgevoegde video aan de hand van de 5 docentrollen (gastheer, presentator, didacticus, pedagoog, afsluiter). Geef niet alleen een beoordeling, maar kies per rol een aantal punten uit de video die de basis vormen voor een tip (kan beter) of top (heel goed). Maak altijd gebruik van concrete voorbeelden die via een tijdcode te koppelen zijn.
Maak vervolgens één HTML-bestand (CSS en Javascript zijn toegestaan) waarin je de YouTube-video insluit (id=gDT5xFGBXUw), voeg de rollen, tips en tops toe en maak de tijdcodes klikbaar, zodat ik de pagina kan gebruiken om te navigeren. Om de pagina leesbaar te houden, gebruik je een tweedelige navigatie met aan de linkerkant de vijf rollen. Wanneer ik een rol selecteer, worden de individuele tips en tops weergegeven.
Controleer daarna nogmaals of de YouTube API en Javascript goed werken.
Kijk ook naar het bijgevoegde Html-bestand voor een structuur die werkt.
Ik had hier een werkend voorbeeld bijgevoegd omdat het ook wel voorgekomen is dat de navigatie niet werkte. Het bestand met de 5 docentrollen komt van Utrecht (Lesobservatie-5-docentrollen).
Nu waren het alleen de tops en tips, ik wilde eigenlijk ook het beoordelingsformulier ingevuld hebben:
Voeg onder elke rol ook een ++ (goed), + (gemiddeld), – (matig) + eventuele toelichting toe voor elk van de vier tot acht criteria die in het document voor de rollen zijn opgenomen. Als het kan neem in de toelichting eveneens tijdcodes met links op.
Conclusie
Hier zijn vast de nodige kritische vragen bij te stellen. Sowieso heb ik de video’s niet in genoeg detail bekeken om te kunnen beoordelen hoe compleet of juist deze resultaten zijn. Uploaden van video’s van de docenten binnen het NOLAI project naar Google AI Studio is ook niet mogelijk (op dit moment/zonder de juiste toestemming/wellicht nooit). Maar als demonstratie van wat AI kan met een video van een half uur of langer…vind ik het persoonlijk heel erg indrukwekkend. Als je weet welke prompt goed werkt is het letterlijk een kwestie van een link plakken, een prompt plakken, de html code downloaden en openen in je browser. Het Gemini model is niet apart getraind, de pdf met beoordelingscriteria is het enige. Geen idee ook hoe consistent de kwaliteit van de output is. Zou ook iets voor een test zijn. Als proof of concept echter meer dan geslaagd.