Computer helpt NFI-deskundigen bij het vergelijken van gezichten op foto’s
Rimpels, de stand van de ogen, wenkbrauwen en moedervlekken. Het zijn stuk voor stuk kenmerken die deskundigen van het Nederlands Forensisch Instituut (NFI) op het gebied van gezichtsvergelijkingen bekijken om personen op foto’s te vergelijken. Vaak gaat het om beelden van beveiligingscamera’s die verdachten van inbraken, vechtpartijen of overvallen hebben vastgelegd. Als er in de strafzaak twijfel is over of de persoon op de foto dezelfde persoon is als de verdachte, wordt de expertise van het NFI ingeroepen. Sinds kort zet het NFI naast ervaren deskundigen die visueel een oordeel vellen, ook een nieuwe methode in: software die het oordeel van de deskundige ondersteunt.
Is de onbekende persoon op de betwiste foto van een beveiligingscamera de verdachte die in beeld is gekomen? Tijdens de terechtzitting kunnen de meningen van het Openbaar Ministerie (OM) en de advocatuur daarover verschillen. De rechterlijke macht kan dan de deskundigen van het NFI vragen om te onderzoeken hoe waarschijnlijk het is dat de persoon op de foto de verdachte is.
Getraind oog
Gezichtsvergelijkingen op foto’s komen in allerlei zaken voor. Van overvallen tot pinpasfraude. En van vechtpartijen tot personen die opduiken als verdachten in een oorlogsgebied. De hamvraag: is de persoon op deze beelden de verdachte? Arnout Ruifrok heeft met zijn bijna twintig jaar ervaring een goed getraind paar ogen. “Ik kijk naar de gezichtsvorm, voorhoofd, rimpels, oogvorm, ooghoek, neus, neusvleugels, moedervlekken en mond. We gaan het hele gezicht af: zien we overeenkomsten? Zien we verschillen?” De deskundigen geven wat meer gewicht aan onderscheidende details zoals pigmentvlekken, rimpels en moedervlekken. “We kijken ook naar de vorm van de schedel en de haarlijn”, vertelt Ruifrok. “De deskundigen gaan een lijst met kenmerken af.”
De deskundigen noteren van die lijst wat ze kunnen zien, wat de overeenkomsten zijn en de verschillen. Als kenmerken niet overeenkomen, beschrijven ze wat de reden daarvan zou kunnen zijn. Ligt het aan de hoek waarin de foto is genomen? Kan het anders lijken door de lichtinval of onscherpte van beelden? “We houden al die variabelen in het achterhoofd”, licht hij toe.
Mens en computer
Om het oordeel van de deskundigen te versterken, heeft Ruifrok de afgelopen jaren aan een nieuwe, objectieve methode gewerkt: software om gezichten te vergelijken. “Stel je hebt in een zaak twee foto’s, het betwiste beeld van een overvaller en het referentiebeeld van de verdachte. Daar kijk ik als deskundige naar, maar nu ‘kijkt’ een softwareprogramma ook mee. Net als de mens, ‘kijkt’ de computer ook naar de gezichtskenmerken.” Een slim algoritme is daarop getraind doordat het heel veel afbeeldingen van gezichten in allerlei poses en belichtingen heeft gezien. En net als de mens is de software in staat om kenmerken te onderscheiden, maar dan objectiever. De software geeft een score van in welke mate de foto’s vergelijkbaar zijn, uitgedrukt in een getal. “Dat is een score tussen de 0 en 1. 0 is totaal verschillend, 1 is exact dezelfde foto”, laat Ruifrok weten.
Slechte kwaliteit foto’s
Die score vervolgens vertalen naar een bewijskracht is ingewikkelder. Ruifrok ontdekte dat als je de software twee foto’s van slechte kwaliteit aanbiedt, deze volgens de score van de software veel op elkaar lijken. Dat komt omdat het model een overeenkomst ziet: namelijk beide foto zijn van vergelijkbare, slechte kwaliteit. “Je moet dan denken aan bijvoorbeeld een blur, slechte belichting of een vreemde hoek. Dus als twee foto’s op vergelijkbare manier slecht zijn, lijken ze volgens de software op elkaar en geeft die een hoge score”, aldus Ruifrok.
Daar moest Ruifrok wat mee. Hij ontwikkelde een methode die bepaalt hoe groot de invloed van de kwaliteit van de foto is op de uiteindelijke score. Als je de kwaliteit van de foto weet, weet je hoeveel van de score afkomstig is van de overeenkomsten of verschillen in kwaliteit. Twee beelden van slechte kwaliteit geven immers ook een hoge score, want het model ziet een hoge overeenkomst omdat beide foto’s bijvoorbeeld een blur hebben. Maar je wil juist weten of de score hoog is omdat de gezichten overeenkomen.
Database met vrijwilligers
Hoe kom je daar dan achter? Ruifrok hield de foto’s van slechte kwaliteit, zoals we kennen van bewakingsbeelden, tegen een databank met daarin foto’s van verschillende soorten kwaliteit. In de databank zitten alleen foto’s van gezichten van mensen die expliciet toestemming hebben gegeven voor het gebruik voor het bestemde doel. Hij vergelijkt zijn ‘slechte’ foto’s met deze databank om te kijken of de kwaliteit van zijn foto hoog of laag is. Ook hierbij gold een score tussen de 0 en 1. Hoe lager de score, hoe minder overeenkomsten tussen beide foto’s. Als hij de betwiste, slechte kwaliteit foto vergelijkt met de databank en de score is laag, betekent dat dus dat het een foto van goede kwaliteit is. Het systeem kan de foto immers onderscheiden van allerlei kwaliteiten foto’s van andere personen. Is de score hoog? Dan kan de software de foto niet meer onderscheiden van allerlei andere foto’s van slechte kwaliteit. Die wordt namelijk onterecht verward met het gezicht van andere personen door de omstandigheden; de slechte kwaliteit van de foto’s.
“Als ik weet wat de kwaliteit is, dan test ik die op goede kwaliteit foto’s zoals we kennen van paspoorten of rijbewijzen. Zo weet ik wat de foto’s gemiddeld voor score geven ten aanzien van goede kwaliteit foto’s”, legt hij uit. “Vervolgens kan ik uitrekenen wat de bewijskracht is door de kans om een score te vinden als het dezelfde persoon is te vergelijken met de kans op de score als het een foto van een ander persoon is.”
Beide oordelen nu in rapport
Uit het onderzoek blijkt dat er een goede overeenkomst is tussen het oordeel van de mens en het oordeel van de software. Beide resultaten zullen vanaf heden in het deskundigenrapport vermeld staan. Het oordeel van deskundigen zal altijd naast die van de software blijven bestaan, benadrukt Ruifrok. “Als mens kun je verschillen toelichten en bediscussiëren. Ik zie een rimpel, heb je die ook gezien of is het toch schaduw? En tel je hem wel of niet mee? Als deskundigen kunnen we daarover met elkaar in gesprek gaan. Met de computer kan dat niet, die kan de grijze gebieden niet duiden.”
De nieuwe methode zorgt ervoor dat de deskundigen de bewijskracht van niet optimale foto’s vanaf nu beter kunnen beoordelen. Ze helpen de deskundigen bij het geven van een waarschijnlijkheidsoordeel over of de resultaten van het onderzoek beter passen bij de hypothese dat de persoon op de foto’s dezelfde is of juist niet. “Ik ben al twintig jaar deskundig op het gebied van gezichtsvergelijkingen. Toch blijf ik me bewust van de beperkingen die ik als mens heb. Zoals bias, vooringenomenheid. Die moet je erkennen, zo werkt ons brein nou eenmaal. Daarom kijken we altijd met drie paar ogen onafhankelijk naar de foto’s van gezichten. Dat we nu ook de vergelijkingssoftware als objectievere methode inzetten, is daar een mooie aanvulling op.”
Over deze methode schreef Ruifrok een wetenschappelijk artikel dat is gepubliceerd in Forensic Science International.