De kunst van het weglaten
Deze blogpost is onderdeel van een serie over kunstmatige intelligentie (AI) in de praktijk. Zonder dat je het door hebt, maak je misschien al dagelijks gebruik van AI in producten van Google.
Je bijna perfecte foto die toch nog wordt verpest door een lelijk hek, een vieze prullenbak of mensen op de achtergrond die je niet kent. Eeuwig zonde, zeker als je niet de mogelijkheid hebt om de foto opnieuw te nemen.
De Magische Gum , die je terugvindt in Google Foto’s op onze Pixel-telefoons, kan dankzij het gebruik van kunstmatige intelligentie (AI) je reddende engel zijn:
Hoe het werkt
De Magische Gum is een goed voorbeeld van hoe we bij Google kunstmatige intelligentie toepassen in de praktijk. In deze blogpost doen we uit de doeken hoe de Magische Gum werkt. Simpel gezegd zijn er twee stappen die de Magische Gum doorloopt om ongewenste dingen weg te halen uit je verder perfecte foto. De eerste stap is detecteren wat er van je foto verwijderd moet worden. De Magische Gum is zelf in staat om een aantal storende elementen in een foto te herkennen, zoals mensen in de achtergrond, hekken of bovengrondse stroomkabels.
Op het rechterplaatje zie je hoe de Magische Gum zelf al mensen in de achtergrond heeft herkend om te verwijderen.
Behalve dat de Magische Gum zelf storende elementen kan detecteren, kun je ze ook zelf omcirkelen. In dat geval probeert de Magische Gum, ook weer met behulp van kunstmatige intelligentie, precies de contouren van het object dat je hebt omcirkeld te herkennen.
Inpainting
Het is leuk dat de Magische Gum een prullenbak kan herkennen op een foto, maar van magie is pas echt sprake als de prullenbak wordt weggehaald zodat je nooit zou denken dat er iets op die plek heeft gestaan. Praktisch gezegd moet de Magische Gum dus proberen te raden wat er achter het storende element te zien was geweest, anders zou je bijvoorbeeld een zwart gat krijgen in de vorm van een prullenbak. Het 'invullen' van het storende element wordt door wetenschappers ‘inpainting’ genoemd.Hoe raadt de Magische Gum hoe het verwijderde element moet worden ingevuld? De Magische Gum laat zich inspireren door de pixels eromheen. Als er rondom het te verwijderen object bijvoorbeeld veel gras is te zien, dan probeert het stukjes van dat gras te kopiëren en naadloos over het te verwijderen object heen te plakken. De Magische Gum moet er daarbij rekening mee houden dat het niet de verkeerde stukken van een afbeelding als inspiratie gebruikt, zoals een stuk van het gezicht van iemand die je wél op de foto wil hebben.
Camouflage
Een nieuwere functie in de Magische Gum is de camouflage-modus. Die probeert een storend object uit een foto niet te verwijderen, maar wel de kleur ervan aan te passen, zodat die niet zo opvalt en beter in de rest van de foto opgaat. Kijk maar naar deze koelbox:
De groene koelbox valt nogal op in bovenstaande foto. De Magische Gum kan hem een stuk minder opvallend maken door te beginnen met dezelfde eerste stap als zojuist: het object herkennen. De tweede stap is vervolgens anders. Door te bepalen wat de dominante kleur in de omgeving is, kun de Magische Gum de koelbox meekleuren:
Probeer het zelf
Als je een Pixel hebt, kun je de Magische Gum terugvinden in Google Foto's . Je kunt de Magische Gum trouwens toepassen op alle foto's in je bibliotheek, niet alleen op foto's die met Pixel zijn gemaakt.
