Discriminerende algoritmes groot probleem bij instanties, waarschuwt waakhond

Het gebruik van discriminerende algoritmes lijkt wijdverspreid bij overheidsinstanties. Daarvoor waarschuwt voorzitter Aleid Wolfsen van de Autoriteit Persoonsgegevens (AP). "Men is zich er vaak niet bewust van", zegt hij in het NOS Radio 1 Journaal.

Het gaat om algoritmes die overheden gebruiken om fraude op te sporen. "Als je onderscheid maakt op basis van leeftijd of opleidingsniveau, dan moet je daar een goede onderbouwing voor hebben." De directeur van de privacywaakhond stelt dat die er vaak niet blijkt te zijn.

Hij geeft als voorbeelden de omstreden fraudescorekaart van een aantal gemeenten. En de misstanden bij de Dienst Uitvoering Onderwijs (DUO) met studiefinanciering. NOS op 3 en onderzoeksbureau Investico hadden achterhaald dat DUO studenten met een migratieachtergrond of een lager opleidingsniveau veel vaker van fraude beschuldigde.

Pijnlijk

Wolfsen noemt het bijzonder pijnlijk dat er geen goede onderbouwing was voor het gebruik van deze risico-indicatoren in het algoritme van DUO. In een interview met de Volkskrant zegt hij vandaag: "Het feit dat we bij elke tegel die we lichten dit soort systemen vinden, baart me zorgen. Waarschijnlijk wordt er dus op grote schaal gediscrimineerd."

Voor het probleem wordt al jaren gewaarschuwd. Instanties zeggen te worstelen met de druk om misbruik van belastinggeld op te sporen met beperkte middelen. 100 procent controle is onhaalbaar, dus wordt onderzocht waar het risico op fraude het hoogst is.

Het is logisch dat dit soort keuzes worden gemaakt, beaamt Wolfsen. "Alleen dan moet je wel een inhoudelijke reden hebben voor de selectiecriteria."

Bewustwording

Volgens de AP-directeur is bewustwording een belangrijk deel van de oplossing. "Systemen worden gemaakt door programmeurs, die vaak minder verstand hebben van op welke basis je onderscheid mag maken. Terwijl mensen die beleid maken meestal minder thuis zijn in hoe het algoritme werkt. Daar gaat het vaak mis", legt hij uit.

Een andere aanbeveling is transparantie over het gebruik van algoritmes om fraude op te sporen. Laat weten op basis van welke factoren een persoon eruit wordt gepikt, adviseert Wolfsen. Daarnaast wil de AP zelf meer doen en het personeelsbestand van de waakhondinstantie verdubbelen. "Wij zouden vaker spontaan onderzoek moeten doen, in plaats van na een klacht."

De directeur verwijst terug naar het omstreden algoritme dat DUO gebruikte om mistanden op te sporen. "Dat systeem is tien jaar gebruikt en we hebben er niet een klacht over gehad. Slachtoffers waren er niet bewust van dat ze op basis van een algoritme waren geselecteerd."

Ook op het functioneren van de AP is de afgelopen jaren kritiek geweest. Veel burgers met een klacht kwamen voor een dichte deur te staan, concludeerde de Nationale Ombudsman in 2021. Ook het jaar erop waren er nog problemen door achterstanden en lange wachttijden.