Het tech-team van NOLAI heeft een (eerste) whitepaper uitgebracht over het lokaal draaien van taalmodellen (LLM’s). Het spul dat ChatGPT, Gemini en dergelijk daadwerkelijk laat doen wat het doet.
De whitepaper is te downloaden als pdf en er is een github ingericht met documentatie. Mooi. Ik schreef “eerste” omdat ik verwacht dat er nog wel meer whitepapers te schrijven zijn die relevant zijn op dit vlak. Want het team maakt melding van het gebruik binnen het Babel-beer project en dat schreeuwt dan natuurlijk om ook een inhoudelijke/in begrijpelijk technische taal geschreven verhaal.
En natuurlijk schreeuwt dit ook om ervaringscijfers over het verschil in kwaliteit. Want de modellen die ik op mijn RTX2060 met 8GB kan draaien presteren in hun antwoorden echt beduidend slechter dan wanneer ik de OpenAI API gebruik. En niet alleen bij gewone “chatopdrachten” via de Open WebUI interface, maar ook bv als ik ze gebruik voor RAG, het opbouwen van topic maps etc.
Natuurlijk, de hardware van NOLAI is wat krachtiger, maar dan ben ik er helemaal nieuwsgierig naar. En niet alleen om het thuisfront te overtuigen dat het echt tijd is om mijn systeem te upgraden. 😉
Als we kunnen laten zien op welk niveau investering de open source modellen (met al hun voor de hand liggende voordelen van privacy en control) “goed genoeg” functioneren om een voor het onderwijs bruikbaar alternatief te zijn, dan is dat absoluut winst.
De keuze voor het Nederlands voor wat betreft de documentatie is mooi, maar ook eentje waar ik me van afvraag of dat nodig en handig is. Ja, het is toegankelijker en ja, NOLAI werkt voor het Nederlands funderend onderwijs. Maar dit is een internationaal vraagstuk. Een Nederlands whitepaper zou wat mij betreft ook aangevuld kunnen worden met een Engelstalige github. Dat maakt gebruik, uitwisseling, samenwerking mogelijk met een veel grotere groep mensen dan nu.
Hoe dan ook, wordt ongetwijfeld vervolgd. Ik weet dat de heren al een aantal gebruiksvoorbeelden hebben uitgewerkt, belangrijk om hun tijd goed te blijven verdelen tussen bouwen, ondersteunen van co-creatieprojecten, documenteren en delen. Ze kunnen dus ook niet alleen met documenteren en delen bezig zijn.
[…] 16 maanden geleden maakte ik deze video over RAG en Ollama, dat wat ik nu gedaan heb met n8n en de Ollama server van NOLAI is eigenlijk heel erg vergelijkbaar. Met een paar verschillen […]