18-12-2020

Langzaam wordt duidelijk dat overheidsinstanties in binnen-, en buitenland steeds vaker algoritmen gebruiken die etnisch profileren zoals onder andere is gebleken bij de toeslagenaffaire van de belastingdienst. Een ander voorbeeld is het Sensing-project in Roermond, om onder meer diefstal, drugshandel en zakkenrollen tegen te gaan. Amnesty International heeft hier uitgebreid onderzoek naar gedaan en noemt het project een voorbeeld van ‘de automatisering van etnisch profileren’.

Kwalijk hierbij is dat het principe dat iemand onschuldig is totdat het tegendeel wordt bewezen, hetgeen een van de basiselementen is van onze rechtstaat, (deels) wordt losgelaten. Mensen worden niet als verdacht beschouwd vanwege hun daden, maar omdat ze vanwege bepaalde kenmerken – zoals een soort nummerplaat of uiterlijke persoonskenmerken – als hoog risico worden gezien. Het idee is dat hun profiel erop wijst dat ze mogelijk een misdaad zullen begaan. Dit algoritme stelt geen misdaden vast, maar voorspelt ze. Daarmee is het Sensing-project een voorbeeld van predictive policing, een trend die zich wereldwijd steeds meer aan het ontwikkelen is en dat baart terecht zorgen als er niet zeer zorgvuldig mee wordt omgegaan. De mogelijkheid valt moeilijk uit te sluiten dat vooral mensen van kleur vaker slachtoffer worden van verkeerde interpretaties van gegevens. Herhaaldelijk is dat aangetoond, onder meer door Joy Buolamwini, een onderzoeker aan de Amerikaanse universiteit MIT en oprichter van de Algorithmic Justice League. Uit onderzoeken blijkt dat zo’n mismatch bij mensen van Afro-Amerikaanse afkomst en ook bij mensen met een Aziatische achtergrond, zo’n tien tot honderd keer vaker voorkomt dan bij witte mensen, hetgeen regelrechte discriminatie is.

realisatie solide