Privacywaakhond: organisaties hebben algoritmes niet goed onder controle

Overheidsorganisaties en bedrijven moeten meer grip krijgen op de algoritmes die ze gebruiken. Computersystemen die ingezet worden voor bijvoorbeeld de controle op fraude, hebben nog te vaak te veel risico's, schrijft de Autoriteit Persoonsgegevens (AP). Volgens de privacywaakhond kunnen algoritmes zo namelijk leiden tot bijvoorbeeld discriminatie en kansenongelijkheid.

Algoritmes worden inmiddels in bijna alle organisaties gebruikt, van banken en ziekenhuizen tot gemeenten. Zo moeten banken bijvoorbeeld controleren of er geen illegale betalingen worden uitgevoerd. Alle transacties door mensen laten controleren is lastig, daarom worden computersystemen ingezet.

Risico's

Zulke automatische controles met algoritmes brengen veel goeds, maar ook grote risico's met zich mee, waarschuwt de AP. Denk bijvoorbeeld aan het systeem dat de Dienst Uitvoering Onderwijs (DUO) gebruikte voor het controleren op fraude met studiefinanciering. Door die automatische controles werden opvallend vaak studenten met een migratieachtergrond beschuldigd van fraude, bleek onlangs uit onderzoek van NOS op 3 en Investico. Of neem het toeslagenschandaal, waarbij ten onrechte mensen met een dubbele nationaliteit eerder door het systeem werden aangemerkt als fraudeur.

De AP vindt dat organisaties beter hun best moeten doen om dit soort gevallen te voorkomen. "Het gebeurt nu te vaak dat een algoritme met goede bedoelingen wordt ingezet, maar in het gebruik blijkt het vaak mis te gaan", zegt AP-voorzitter Aleid Wolfsen. "Als je een algoritme inzet, moet je heel goed weten voor welk doel."

Volgens de AP gaat het vaak mis omdat algoritmes al gebruikt worden, voordat er goed is nagedacht over wat het systeem precies moet doen en op welke manier. "Het goed nadenken en testen op de uitkomsten met bijvoorbeeld testdata, daar gaat het vaak mis."

Eerst testen, dan inzetten

Zo gebruikte het UWV een systeem om te controleren of mensen met een WW-uitkering illegaal in het buitenland verbleven. De uitkeringsinstantie deed dat door surfgedrag te verzamelen van mensen die inlogden op de site van het UWV. Alleen werd iedere bezoeker gevolgd, dus ook als er geen concrete reden voor was, bleek dit weekend uit onderzoek van de NOS en Nieuwsuur. Die vorm van monitoren ging veel te ver, concludeerde het vaste advocatenkantoor van de overheid.

"Dat toont gelijk aan hoe het fout gaat", zegt Wolfsen. "Het werd eerst ingezet, daarna bleek pas dat het verkeerd werkte. Dat moet je precies andersom doen: eerst testen, eerst laten beoordelen en dan pas inzetten. Anders gaat het echt fout."

Daarvoor moeten overheidsorganisaties en bedrijven veel meer specialisten aantrekken, zegt de AP. "Je moet mensen in dienst nemen die heel goed weten hoe zo'n algoritme werkt. Ook in de leiding moet iemand zitten met digitale kennis, zodat iedereen goed weet wat er in huis is en wat ermee gebeurt."

Duidelijkere regels

Maar ook het demissionaire kabinet moet in actie komen, vindt de AP. Dat zou veel duidelijkere regels moeten maken voor dit soort algoritmes en AI. "Om de kansen te benutten, moeten de risico's goed beheerst worden. Het bewustzijn hierover neemt toe, maar veel overheden en bedrijven zijn nog zoekende naar de juiste manier om dit te doen. Daarom is duidelijke regelgeving nu cruciaal", zegt Wolfsen.

De Autoriteit Persoonsgegevens is de instantie die controleert of de privacyregels goed worden nageleefd. Sinds begin dit jaar ziet de waakhond ook toe op het gebruik van algoritmes in Nederland, en welke risico's daarbij komen kijken.