Automatisch bijschriften bij afbeeldingen genereren met Azure Computer Vision API en RStudio

Vond ik afgelopen weekend nog dat Docker toch best wel een leercurve had, vandaag  kwam ik er gelukkig al achter dat die geïnvesteerde tijd toch niet voor niets was geweest. Want op het Revolutions weblog stond een interessant bericht. Daarbij werd gebruik gemaakt van de Microsoft Azure Computer Vision API om automatisch een bijschrijft te laten genereren van willekeurige afbeeldingen die opgehaald werden van Wikimedia Commons. De stap-voor-stap beschrijving staat hier.

Om dat te doen had je alleen een (gratis) Azure-account nodig (ik heb de studenten versie aangemaakt met mijn Office365-account) én een installatie van RStudio. Die laatste gebruik ik niet dagelijks. Maar met behulp van Docker was het een kwestie van een Docker commandline openen en het commando docker run --rm -p 8787:8787 rocker/verse, even wachten totdat Docker gezien had dat container nog niet lokaal beschikbaar was, de container automatisch gedownload was en opgestart.

Daarna had ik in mijn browser de beschikking over een volledige R setup met RStudio en de meest voorkomende libraries.

Ik heb daarop een R-bestand aangemaakt en daar de code die David Smith in zijn blogpost plaatst geknipt en geplakt. Daarbij bleek er 1 klein foutje te zitten in de code waardoor het niet werkte. In regel 3 van image_caption.R stond "?visualFeatures=Description",
en dat moet zijn "/analyze?visualFeatures=Description", anders krijg je alleen 404 meldingen terug van Azure. Daarna krijg je confidence info en een beschrijving retour. Bij een niveau boven de 50% komt hij zo te zien heel aardig overeen:

Het script opent niet automatisch de bijbehorende afbeelding, die heb ik voor de schermafbeelding steeds zelf ernaast gezet. Links onderin de afbeelding kun je zien wat de beschrijving is die Azure retour geeft. Die heb ik handmatig even eronder gezet.

De code zoals ik die gebruikt heb kun je hier vinden.