Forensische statistiek en bewijswaarde onder de loep genomen in nieuw boek Klaas Slooten
Forensische wetenschap en statistiek zijn onlosmakelijk met elkaar verbonden. Forensisch onderzoekers stellen in hun rapporten nooit wie de dader van een misdrijf is, dat is aan de rechter. Wat ze wel doen is de onderzoeksresultaten wegen in het licht van twee (of meer) strijdige scenario’s. En ze berekenen een ‘likelihood ratio’ (LR), de bewijskracht. Over de forensische statistiek en de bewijswaarden in strafzaken leven verschillende discussies. Klaas Slooten, forensisch statisticus bij het NFI en bijzonder hoogleraar wiskunde aan de VU, neemt de theorieën en inzichten onder de loep in zijn nieuwe boek Probability and Forensic Evidence: Theory, Philosophy and Applications. Het boek is vanaf 8 april te lezen.
Slooten schreef het wiskundige boek samen met hoogleraar kansrekening Ronald Meester, zijn collega aan de VU. “Het is in eerste instantie voor de lol geschreven, ik vond het erg leuk om te doen”, laat Slooten weten. “Maar het is natuurlijk vooral nuttig om onze gedachten over statistische vraagstukken te laten gaan en er een samenhangend verhaal van te maken.”
Terug naar de basis
Het idee ontstond in de collegezaal van de VU. Slooten geeft daar les aan de masteropleiding voor wiskunde. Zijn colleges gaan over forensische kansrekening, vaak gefocust op zijn eigen expertise: forensisch DNA-onderzoek. Slooten ontdekte al snel dat er geen geschikt collegemateriaal over dit onderwerp bestaat. “We gaan in het boek daarom eerst helemaal terug naar de basis: waarom we een likelihood ratio berekenen in forensisch onderzoek, de logica daarachter.” Slooten en Meester begonnen zelf maar met het uittypen van hun college-aantekeningen. Het bleek de start van een boek.
Het eerste hoofdstuk gaat in op de vraag hoe je kansen moet interpreteren. Bijvoorbeeld de kans dat iemand schuldig is aan een misdrijf of niet. Of de kans op een bepaald onderzoeksresultaat. “We gooien niet met dobbelstenen of zoiets. We kunnen een strafzaak niet beschouwen als een herhaald experiment waarvan je de kans op een resultaat kunt berekenen. In de forensische wereld geldt dat principe niet. Je hebt immers maar een uniek misdrijf.” De auteurs staan stil bij wat een kans nou eigenlijk betekent en leren de lezer hoe je daarover kunt nadenken. In essentie is dat volgens Slooten een persoonlijke mate van overtuiging van degene die de kans opstelt op basis van zijn of haar kennis van de situatie.
Filosofische inslag
Het is geen boek over nieuwe onderzoeksmethoden of technieken, maar een beschouwend boek met een onderliggende centrale filosofische inslag, licht Slooten toe. “Wat betekenen bepaalde dingen nou? Hoe kan je daar het beste over nadenken? In een aantal van de forensische discussies nemen we zelf ook positie in door te zeggen wat wij daarvan vinden. Onze gedachten daarover maken het tot een persoonlijk boek.”
Een voorbeeld van een discussie waar de auteurs hun licht op laten schijnen, is het gegeven dat deskundigen in het forensische vak altijd te maken hebben met onzekerheden. De dingen die je niet weet. De vraag is of dat zich moet vertalen naar de bewijswaarde in een soort betrouwbaarheidsmarge. “Als je bijvoorbeeld opmeet hoe lang een tafel is, komt er een onzekerheidsmarge van bijvoorbeeld een halve centimeter uit. Bij de opiniepeilingen bij verkiezingen gebeurt net zoiets. Ook dan zijn er marges van een aantal zetels waar een partij mogelijk op uitkomt”, illustreert Slooten. Is dat ook nodig bij de bewijskracht die forensisch deskundigen rapporteren? Slooten laat weten dat er twee kampen zijn: wel en niet. “Ons standpunt is dat het methodologisch geen vereiste is, integendeel, maar het is in de praktijk soms onvermijdelijk. Bijvoorbeeld als je niet zeker bent over het statistische model waar je mee werkt. Dan kan het zijn dat je een schatting moet maken van de bewijswaarde.”
Hoge bewijskracht
Forensisch DNA-onderzoek levert vaak zeer hoge bewijskrachten op, tot een miljard. Dit terwijl bij bijvoorbeeld een andere forensische discipline een bewijskracht van tien kan voorkomen. “Vaak vragen mensen of een verkregen bewijswaarde, bijvoorbeeld een likelihood ratio van duizend, veel is. Maar die vraag is slecht te beantwoorden. Als jij me nu zegt dat je 100 km per uur rijdt en vraagt of dat veel is, kan ik daar ook niks mee. Ik weet namelijk niet of jij op de snelweg rijdt, of een boerenweg achteraf.” De vraag waar het om gaat, is: wat heb je nodig om tot een bepaalde overtuiging te komen? Is deze bewijswaarde groot genoeg? “De bedoeling is dat degene die het rapport van de deskundige ontvangt politie, OM en/of rechtbank, dat gebruikt om hun ideeën van wat er is gebeurd bij te stellen of te vormen. Een bewijskracht van duizend kan genoeg zijn in de ene zaak, maar in een andere niet.”
Hij gaat in het boek ook in op wat die likelihood ratio nou eigenlijk is en wat je ervan kunt verwachten. Stel dat een van de twee hypothesen waar is, dan is het belangrijk dat je daar ook bewijs voor krijgt. Het kan namelijk altijd zo zijn dat je per toeval bewijs krijgt voor een hypothese die niet waar is. “Je kunt niet zien wat daadwerkelijk waar is. Je hebt alleen data en die wijzen een bepaalde kant op. De LR helpt bij het vinden van de beste verklaring daarvoor. Maar de beste verklaring is niet altijd de juiste ervaring. Wij vragen ons in dit boek af hoe vaak het kan gebeuren dat de beste verklaring niet de juiste verklaring is en de waarheid dus anders is dan die lijkt.”
In het boek wordt aangetoond dat dat meevalt. “Het kan voorkomen dat er misleidend bewijs is voor de hypothese die niet waar is. Maar dat het hier gaat om echt heel sterk ‘verkeerd’ bewijs komt zeer weinig voor, zolang de ware hypothese een van de twee is die je aan het onderzoeken bent. Wat wel kan gebeuren, is dat je inzet op twee hypothesen, die onderzoekt, maar dat een derde hypothese de juiste is. Ook als beide hypothesen die je onderzoekt niet waar zijn, zal de likelihood ratio altijd in het voordeel van een van de twee uitvallen. Het is essentieel om de relevante hypothesen te onderzoeken, maar ook te beseffen welke mogelijke verklaringen je niet onderzoekt. Zo kun je beoordelen wat voor onderscheid je kan maken in de zaak”, legt hij uit.
Lucia de Berk
Ook bespreken ze een aantal uitspraken van strafzaken. Zoals de zaak Lucia de Berk. Een voor Slooten ’interessante’ zaak die velen zich zullen herinneren. “Zij is verdachte geworden op basis van data uit drie ziekenhuizen en tot levenslang veroordeeld. Eén van de ziekenhuizen leverde afwijkende data die op een vooringenomen manier waren verkregen. Daar ging het al mis. Het ging om incidenten die tijdens haar dienst hadden plaatsgevonden. Als je kijkt naar die aantallen zijn het erg onwaarschijnlijke gegevens. Sommige gevallen werden ook achteraf als verdacht bestempeld omdat die in haar dienst waren gebeurd. Hier was sprake van bias, van vooringenomenheid.” Aan de Lucia de Berk zaak is op allerlei manieren gerekend. Op goede en verkeerde manieren. De auteurs vertellen precies wat niet klopt aan de foute berekeningen. Met behulp van een Bayesiaanse analyse van de gegevens van twee ziekenhuizen, komen ze tot de conclusie dat er helemaal geen sterk bewijs in haar richting is dat er überhaupt iets aan de hand was met haar shifts.
De juiste vragen
Het boek wisselt sterk in hoe wiskundig technisch de hoofdstukken zijn. De beschrijving van de rechtszaken is bewust zonder formules, een handreiking naar mensen die niet wiskundig zijn. Veel hoofdstukken zijn leesbaar voor zowel de forensische als juridische wereld. Slooten hoopt dat zijn boek gelezen wordt door verschillende disciplines, met name binnen het forensisch onderzoek. “Het is een boek waarvan ik hoop dat het triggert en helpt om de goede vragen te stellen in onderzoeken.”
Ronald Meester en Klaas Slooten, Probability and Forensic Evidence: Theory, Philosophy and Applications verschijnt 8 april 2021 bij Cambridge University Press.
Meer informatie over het boek vindt u op de website van Cambridge University Press.