Toen ik las over de vraag of de belastingdienst gebruik heeft gemaakt van etnisch profileren en de discussie over hoe de overheid meer algoritmen kan gebruiken, dacht ik steeds aan zelfversterkende feedback-loops. En hoe daarmee kleine verschillen tussen groepen kunnen worden opgeblazen tot gapende kloven.

Een fictief voorbeeld. In een ver land bestaat de bevolking uit twee even grote bevolkingsgroepen: de huffelpuffers en de ravenklauwen. Uit de statistieken blijkt dat de huffelpuffers verantwoordelijk zijn voor 51 procent van de misdaden en de ravenklauwen voor 49 procent. Uit nader onderzoek blijkt dat precies 51 procent van de huffelpuffers betrokken is bij criminele activiteiten, ­tegenover 49 procent van de ravenklauwen.

De politie besluit een nieuw datagedreven beleid in te zetten om criminaliteit op te sporen. Ze gaan elke maand duizend mensen staande houden en controleren. Daarbij zullen ze steeds de criminaliteitscijfers van de vorige maand gebruiken om te bepalen wat de meest ­effectieve manier van controleren is. Zo profileren ze mooi de meest waarschijnlijke criminelen. In dit fictieve voorbeeld nemen we aan dat de criminaliteit onder de bevolkingsgroepen constant blijft en dat het herkennen van criminelen volkomen vlekkeloos verloopt.

De politie begint met het feit dat 51 procent van de misdrijven gepleegd is door huffelpuffers en 49 procent door ravenklauwen. Die eerste maand houdt de politie daarom 510 huffelpuffers staande – waarvan 51 procent crimineel is, dat levert afgerond 260 misdadigers. Er worden daarnaast 490 ravenklauwen gecontroleerd, daarvan is 49 procent crimineel, dat geeft afgerond 240 misdadigers.

‘Zie je wel’, concludeert de politie: ‘Onze methode werkt als een tierelier – we zien dat de afgelopen maand zelfs 52 procent van de 500 gevonden criminelen een huffelpuffer was.’ De volgende maand worden er daarom 520 huffelpuffers en 480 ravenklauwen gecontroleerd. Hoppa, die maand blijkt zelfs 53 procent van de gevonden misdadigers een huffelpuffer.

Als dit systeem gestaag zo door blijft werken, wordt na twee jaar 73 procent van de criminaliteit toegeschreven aan huffelpuffers. Binnen vijf jaar is dat 90 procent en na zeven jaar worden er per maand nog slechts een stuk of dertig ravenklauwen gecontroleerd tegen zo’n 970 huffelpuffers.

De groep die bij invoering van het nieuwe systeem ietsje crimineler is, heeft net ietsje meer kans om gecontroleerd te worden. Waardoor ze ietsje vaker in de statistieken opduiken, waardoor ze iets vaker worden staande gehouden. Enzovoort: dit is een zelfversterkende feedback-loop. Terwijl het werkelijke verschil in criminaliteit tussen de twee groepen al die tijd een schamele twee procentpunt blijft: 51 versus 49.

Nu is dit een fictief voorbeeld. Maar we kennen helaas tal van echte voorbeelden waarbij zelfversterkende feedback-loops verwoestende gevolgen hadden. Cathy O’ Neill geeft in Weapons of Math Destruction een deprimerend overzicht. En laatst zag ik een grafiek voorbijkomen met daarin welke voetgangers de politie in New York staande houdt op basis van ‘redelijke verdenking’. Van elke duizend zwarte jongens van 20 worden er jaarlijks ongeveer 950 staandegehouden. Bij witte jongens van dezelfde leeftijd waren dat er ongeveer 175 van elke duizend. Toen vroeg ik me af hoe fictief mijn voorbeeld precies was.

Deze column verscheen op 21 juni 2019 in de Volkskrant.