Overheid gebruikt op grote schaal voorspellende algoritmes, 'risico op discriminatie'

• Joost Schellevis en Winny de Jong

De overheid gebruikt op grote schaal voorspellende algoritmes. Dat blijkt uit een vertrouwelijke inventarisatie onder 54 overheidsinstanties die de NOS heeft verkregen op basis van de Wet Openbaarheid Bestuur.

De overheid gebruikt bijvoorbeeld algoritmes om fraude en criminaliteit op te sporen, maar ook om in te schatten wat voor zorg iemand nodig heeft en wat de kans is dat een leerling van school gaat voordat zijn of haar opleiding is afgerond.

Onder meer landelijke organisaties als de politie, de Belastingdienst en het Centrum Indicatiestelling Zorg leunen op voorspellende algoritmes, maar ook gemeenten, zoals Rotterdam, Tilburg en Groningen.

Discriminatie

Bij het gebruik van voorspellende algoritmes bestaat een groot risico op discriminatie, zegt onderzoeker Marlies van Eck van de Universiteit Leiden. Zij doet onderzoek naar gebruik van algoritmes. "Discriminatie is inherent aan deze technologie", zegt van Eck.

Dat ziet ook een samenwerkingsverband van gemeenten ten zuiden van Utrecht, dat bijstandsuitkeringen uitkeert en fraude opspoort met algoritmes. "Het heeft de schijn van discriminatie", schrijft het samenwerkingsverband van onder meer Nieuwegein, Houten en IJsselstein.

Bestuurders in de regio Lekstroom willen elke schijn van discriminatie voorkomen:

Een algoritme is een reeks instructies die door een computer kan worden opgelost. Zulke instructies kunnen simpel zijn: als iemand 10 kilometer te hard rijdt, dan krijgt hij een boete van een bepaald bedrag. Maar ze kunnen ook ingewikkelder zijn en honderden feiten meewegen, om zo bijvoorbeeld voorspellingen te doen of schattingen te maken.

Als bijvoorbeeld bekend is welke kenmerken een voortijdige schoolverlater heeft, kan een computer met behulp van een algoritme onderzoeken wie nog meer aan die kenmerken voldoen. Computers kunnen ingewikkelde patronen veel beter herkennen dan mensen.

Handig

Voor overheden kan dat handig zijn: ze bekijken bijvoorbeeld welke mensen het meest waarschijnlijk fraude zullen plegen, zodat ze hen extra kunnen controleren. Dat scheelt geld en voorkomt dat je mensen controleert die toch niet frauderen, is de gedachte.

"Wij willen dat klanten die recht hebben op een uitkering, een uitkering krijgen, en andersom niet", zegt Rob Esser van het Utrechtse samenwerkingsverband. "Dat is een arbeidsintensief proces, maar met algoritmes kunnen we dat slimmer doen."

Maar juist daarbij bestaat een risico op discriminatie, zegt ook hoogleraar ict-recht Lokke Moerel. "Het probleem is dat je gegevens uit het verleden in het algoritme stopt", zegt Moerel. "Maar vaak zit er in die data al een vooringenomenheid."

Als bijvoorbeeld een politie-agent bewust of onbewust mensen uit een bepaalde bevolkingsgroep vaker staande houdt, komen hun kenmerken vaker voor in de politiestatistieken. En zo wordt een bepaalde groep buitensporig vaak gecontroleerd maar kunnen criminelen met andere kenmerken onopgemerkt blijven.

Onzichtbaar onder de motorkap

Overheden zijn niet altijd even open over hun gebruik van algoritmes. Als uit een algoritme van een gemeente komt rollen dat er een kans is dat jij fraudeert, en die gemeente begint een onderzoek, dan kom je vaak niet te weten dat de extra controle een gevolg is van een algoritmische beslissing.

"De privacywet vereist dat je transparant bent, ook als het algoritme slechts ondersteunt", zegt ict-jurist Arnoud Engelfriet. "De Raad van State heeft uitgebreid aangegeven waarom overheidsinstellingen altijd moeten onderbouwen hoe zo'n beslissing tot stand is gekomen."

In de NOS op 3 Tech Podcast vertelt NOS-dataredacteur Winny de Jong hoe discriminatie door algoritmes ontstaat:

"Ik ben verbaasd over de omvang van het gebruik van algoritmes", zegt onderzoekster Van Eck, na de door de NOS verkregen stukken te hebben gelezen. Zij doet onderzoek naar het gebruik van algoritmes door de overheid. "Ik vind het bizar dat er zoveel onder de motorkap gaande is dat we niet weten."

Iedereen zou beter geïnformeerd moeten worden over het gebruik van algoritmes, vindt van Eck. "Het vindt buiten ons gezichtsveld plaats, en dat druist in tegen hoe we tot nu toe omgingen met de macht van de overheid." Eerder oordeelde staatssecretaris Van Ark juist dat overheden hun gebruikte algoritmes geheim mogen houden.

Kwetsbare personen

Uit de stukken die de NOS ontving, blijkt niet altijd wat voor gegevens precies in een algoritme worden gestopt. Zo beschrijft de politie dat ze algoritmes gebruikt om 'kwetsbare personen' te identificeren. Dat kan gaan om slachtoffers van misdrijven of kindermisbruik, kinderen en jongvolwassen die een verhoogde kans lopen op recidive of verwarde personen.

"Doel is te voorkomen dat deze personen opnieuw in de rol van slachtoffer terecht komen, of juist afglijden of terugvallen in de criminaliteit", schrijft de politie.

Maar welke gegevens hiervoor precies worden gebruikt en welke personen precies worden onderzocht, is onduidelijk. De NOS heeft de politie een week de tijd gegeven om vragen hierover te beantwoorden, maar de politie slaagde er in die tijd niet in om de informatie boven water te krijgen.

In andere gevallen bleek het voor overheden zelf ook lastig om te achterhalen wat er eigenlijk gebeurt. Zo voorspelt de gemeente Amersfoort wat de kans is dat een bepaalde leerling een voortijdig schoolverlater wordt. Maar hoe dat precies werkt, en op welke data dit wordt gebaseerd, kon de gemeente Amersfoort niet achterhalen.

Update, donderdag 12:48: Na publicatie van dit verhaal liet de gemeente Amersfoort weten dat geen gegevens zoals etniciteit worden gebruikt. Wel weegt het algoritme mee of een leerling bijvoorbeeld van school is gewisseld of is blijven zitten.

Hetzelfde geldt voor een gemeente, die volgens de opgevraagde documenten bezig is met een 'veiligheidsknooppunt' dat leunt op algoritmes. Volgens het Ministerie van Binnenlandse Zaken gaat het om de gemeente Oss. "Wij hebben helaas niet kunnen achterhalen waar deze informatie vandaan komt", laat een woordvoerder van de gemeente Oss weten. Daardoor is ook niet duidelijk wat het veiligheidsknooppunt is en of het daadwerkelijk om Oss gaat.

Geautomatiseerde besluiten

In geen van de onderzochte gevallen leidden de algoritmes tot een automatische beslissing. Zo wordt bijvoorbeeld een uitkering niet automatisch stopgezet als een algoritme dat dicteert. Uiteindelijk zit er altijd nog een ambtenaar aan de knoppen die de beslissing neemt.

Maar zijn beslissing kan wel worden gestuurd door de uitkomsten van het algoritme, zegt het Centrum Indicatiestelling Zorg. "Medewerkers vinden het soms lastig af te wijken van het algoritme als de situatie van de cliënt daar om vraagt", schrijft die instantie.

Dat risico ziet ook de gemeente Uden, die er bewust voor heeft gekozen om geen voorspellende algoritmes in te zetten. "Het risico is te groot om data als werkelijkheid te zien", schrijft de gemeente. Als data een te grote rol krijgen, "zijn er meer problemen te verwachten dan we er mee oplossen".