Hoe onze hartslag kan verraden dat een video deepfake is – EAFS 2025 (deel 2)
Deepfakes, gemanipuleerde video’s van mensen, zijn een groeiend probleem. Of het nu gaat om een bekende Nederlander die met behulp van Artificial Intelligence (AI) in een bestaande pornovideo is gemonteerd, of om een staatshoofd dat in een nepfilmpje schadelijke onwaarheden verkondigt: de impact van een deepfake-video kan enorm zijn, zowel voor het slachtoffer als voor de maatschappij — zeker in een tijd van grote (geo)politieke onrust. Daarom is onderzoek naar het detecteren van deepfakes urgenter dan ooit. Tijdens de European Academy of Forensic Science (EAFS) 2025, die van 26 mei tot en met 30 mei plaatsvindt in Dublin, presenteert Zeno Geradts, forensisch digitaal onderzoeker bij het Nederlands Forensisch Instituut (NFI) en bijzonder hoogleraar Forensic Data Science aan de Universiteit van Amsterdam (UvA), een innovatieve methode om echt van nep te onderscheiden in bewegende beeld: via onze hartslag.
Door de snelle technologische ontwikkelingen op het gebied van deepfake-AI wordt het steeds moeilijker om nepvideo’s met het blote oog te herkennen. Het NFI investeert daarom in nieuwe manieren van deepfakedetectie, zodat het ook in de toekomst forensische vragen over de echtheid van beeldmateriaal kan beantwoorden. Op de EAFS presenteert Geradts een voorproefje van een (nog niet gepubliceerde) methode om deepfakes te onderscheiden van echte beelden: bloedstroomdetectie.
Bloedstroomdetectie
Bij bloedstroomdetectie wordt gekeken naar het uitzetten en inkrimpen van adertjes in het gezicht. Door kortstondige vaatverwijding bij iedere hartslag neemt de hoeveelheid bloed tijdelijk toe, wat een subtiel kleurverschil veroorzaakt dat meetbaar is. In deepfakes ontbreekt die veranderende bloedstroom in het gezicht. Vooral de adertjes rond de ogen, het voorhoofd en de kaak zijn geschikte plekken om die verwijding te meten, omdat de bloedvaten daar dicht onder de huid liggen. Geradts: "Voor zover ik weet wordt dit nergens gebruikt in forensisch onderzoek. We zijn nog bezig met de wetenschappelijke validatie, maar het is een veelbelovende aanvulling op de methodes die er al zijn.”
Snuffmovies
Hoe Geradts op het idee kwam, is een bijzonder verhaal. Rond 2012 werd het NFI weleens gevraagd om forensisch onderzoek te doen naar zogeheten snuffmovies: zeer gewelddadige films waarin mensen worden mishandeld, gemarteld, verkracht en soms zelfs vermoord — al dan niet in scène gezet. Dit soort films circuleren op clandestiene kanalen zoals het darkweb of versleutelde platforms.
Geradts onderzocht destijds of personen in bepaalde snuff-films daadwerkelijk waren overleden. In die tijd stuitte hij toevallig op een publicatie van het Massachusetts Institute of Technology (MIT), waarin hij las dat onderzoekers hadden ontdekt dat je aan de hand van de adertjes in het gezicht iemands hartslag kunt meten. Geradts: “Ik wist meteen dat we dit zouden kunnen gebruiken voor beelddetectie. Dat we hiermee iets in handen hadden.”
Geduld
Deze manier van hartslagmeting komt oorspronkelijk uit de sportwereld. Er zijn in de loop van de tijd allerlei technieken ontwikkeld waarmee hart- en polsslag gemeten kunnen worden, met het oog op het registeren en verbeteren van sportprestaties. Dit kan bijvoorbeeld door elektrische signalen van het hart op te vangen, of door de subtiele verwijding van de polsaders bij iedere hartslag te meten.
Geradts: “Toch kon ik het onderzoek van MIT niet meteen gebruiken om een nieuwe methode te ontwikkelen. Het probleem in die tijd was dat de beeldcompressie nog niet zo goed was. Alle grote beeldbestanden worden verkleind, zodat ze minder ruimte in beslag nemen. Bij die verkleining verdween het kleurverschil dat bij iedere hartslag zichtbaar is. Maar ook de compressietechnieken worden steeds beter, waardoor er minder beeldkwaliteit verloren gaat. Dertien jaar later is het wél mogelijk om die uiterst subtiele verkleuring door de toe- en afnemende bloedstroom te meten.”
Het onderzoek
Paula Pronk, wetenschappelijk medewerker bij het NFI, zette het onderzoek naar bloedstroomdetectie op. Dit onderzoek werd afgelopen jaar voortgezet en uitgebreid door NFI-stagiaire Sanne de Wit. Zij verzamelde extra data en trainde het model. Sanne deed haar bachelor Computer Science aan de TU Eindhoven en rondt nu haar master Forensic Science af aan de UvA. Voor het onderzoek filmde zij proefpersonen die zowel een smartwatch als een hartslagmeter droegen. Vervolgens vergeleek ze de zeer nauwkeurige metingen van deze apparaten met de hartslag die zichtbaar was in het gezicht van de proefpersonen.
In hoeverre kwamen deze metingen overeen? En wat zie je als je die resultaten vergelijkt met een door AI gegenereerd gezicht? Ze analyseerde 79 punten in het gezicht waarop het kleurverschil per hartslag goed te meten is. Dit deed ze in drie verschillende settings: één waarbij de proefpersoon stilzat, één met veel beweging, en één waarbij er weinig licht was op het gezicht. De data van haar onderzoek bevestigden dat er onder alle omstandigheden overeenkomsten waren tussen de gemeten hartslag en de kleurverschillen in het gezicht. Uit vakliteratuur blijkt ook nog dat die overeenkomsten zijn waar te nemen bij ieder type huidskleur. Nu werkt De Wit aan het uitbreiden van de dataset en traint ze een bestaand model.
Klassieke en innovatieve methodes combineren
Tot aan de wetenschappelijke publicatie kan de methode nog niet worden ingezet voor forensisch onderzoek, maar dat is een kwestie van tijd volgens Geradts. “’We moeten blijven zoeken naar nieuwe manieren om deepfakes te herkennen. Soms maak ik me zorgen dat straks niemand meer in echte beelden gelooft. Dat alles wordt gezien als nep. Wat is dan nog waar?”
Eerder ontwikkelde Geradts bij het NFI, in samenwerking met de UvA, al andere methodes voor deepfake-detectie, zoals Electric Network Frequency (ENF) en Photo Response Non Uniformity (PRNU). Bij ENF kijk je naar de flikkering van het licht in de video, het hertz-signaal, om te bepalen wanneer de video is opgenomen. PRNU analyseert de ‘vingerafdruk’ van de camera, gebaseerd op hoe pixels zich gedragen bij een bepaalde hoeveelheid licht, om zo te achterhalen van welke camera de beelden afkomstig zijn.
De meer klassieke (inspectie)methoden zijn bijvoorbeeld het letten op spraakafwijkingen, onregelmatig knipperen van de ogen of slordig afgewerkte randen van een gezicht na een zogenaamde ‘face swap’. Al zijn die randjes bij de nieuwste AI-modellen meestal niet te zien, omdat gezichten niet meer worden geknipt en geplakt, maar volledig door AI worden gegenereerd. Ook wordt er gekeken naar de ‘chain of evidence’: een overzicht van alle kenmerken van het beeldmateriaal en de geschiedenis van het bestand: wie heeft er wat mee gedaan? Daarnaast zijn er iedere maand nieuwe AI-detectiealgoritmes te koop die als hulpmiddel kunnen dienen. Geradts: “Het combineren en blijven verbeteren van al deze methodes, dát is onze kracht.”
Workshop AI-detectie
De presentatie over bloedstroomdetectie is niet het enige onderdeel van de EAFS waarin Geradts zijn kennis deelt. Hij leidt ook een workshop AI-detectie, waarin hij deelnemers allerlei visuele voorbeelden voorlegt met de vraag: is dit echt of niet?
Vervolgens krijgen de deelnemers de modernste AI-tools in handen om zelf een deepfake te maken en te ervaren hoe dat in zijn werk gaat. In het tweede deel van de workshop leert hij hoe je een deepfake kunt herkennen. Geradts gaf deze workshop al op meerdere internationale congressen, zoals de Americain Academy of Forensic Science (AAFS) in 2024. Toch is geen enkele workshop hetzelfde, doordat er maandelijks nieuwe AI verschijnt om deepfakes mee te genereren én te detecteren. Geradts: “Ik kan iedere maand wel een nieuwe workshop geven. De ontwikkelingen gaan zo snel. Maar ik heb nog geen deepfakes gezien waarbij de hartslag waarneembaar is in het gezicht. Of die er na publicatie van ons onderzoek wel gaan komen? Het zou kunnen. Maar de komende twee jaar kunnen we hier zeker mee vooruit. In dit vak maak je geen tools voor de eeuwigheid.”