Rekenkamer Rotterdam: risico op vooringenomen uitkomsten door gebruik algoritmes
Er is in de gemeente Rotterdam onvoldoende aandacht voor ethische principes bij het gebruik van algoritmes. Dat kan ertoe leiden dat er vooringenomen besluiten genomen worden bij bijvoorbeeld het opsporen van uitkeringsfraude. Die conclusie trekt de Rekenkamer Rotterdam in een onderzoek naar het gebruik van algoritmes door de gemeente.
De gemeente Rotterdam voerde in 2018 het programma Datagedreven Werken in, om zo digitaler en efficiënter te werk te kunnen gaan. Daarbij worden verschillende algoritmes ingezet. Eén van de algoritmes die is onderzocht is 'analytics uitkeringsfraude'. Daarbij stelt de computer op basis van verschillende achtergrondkenmerken van uitkeringsontvangers vast wie van hen een hoog risico vormt op frauderen. Een deel van hen wordt vervolgens onderworpen aan een heronderzoek.
Volgens de Rekenkamer is het algoritme om het risico op uitkeringsfraude in te schatten getraind met bevooroordeelde data. Er zijn vooral data gebruikt van uitkeringsontvangers die eerder al een heronderzoek gekregen hebben, in plaats van data van alle uitkeringsontvangers. Daardoor kan het zijn dat het algoritme mensen met bepaalde kenmerken die niet per se relevant zijn er eerder uitpikt voor heronderzoek.
Vanwege discriminatiewetgeving mag er niet op bepaalde achtergrondkenmerken zoals afkomst geselecteerd worden. Maar indirect kan via het algoritme toch geconcludeerd worden of iemand van niet-Nederlandse komaf is, zegt de Rekenkamer: "Een voorbeeld hiervan is het niveau van spreekvaardigheid van de Nederlandse taal, maar ook of een burger inburgeringsbehoeftig is en de buurt waarin hij staat ingeschreven."
De Rekenkamer is verder kritisch op de gebrekkige transparantie rondom het algoritme. Het onderzoek stelt dat het "niet navolgbaar [is] welke keuzes rondom ethische vraagstukken zijn gemaakt". Voor de burger is het daarnaast "onmogelijk goed zicht te krijgen op hoe het algoritme een rol speelt bij de uitnodiging voor een heronderzoek".
Er is geen centrale regisseur voor de algoritmes en niemand is "integraal eindverantwoordelijk". Daarnaast wordt niet geëvalueerd of het gebruik van algoritmes beter werkt dan de traditionele methode. Officieel is het gebruik van het uitkeringsalgoritme nog een pilot, maar volgens de Rekenkamer is niet duidelijk gedefinieerd wanneer het algoritme goed genoeg werkt om definitief in gebruik genomen te worden.
Risico-inschatting
De gemeente Rotterdam kan zich voor een groot deel vinden in het onderzoek, maar is het niet eens met alle conclusies, staat in een reactie in het rapport. Volgens de gemeente is het algoritme bedoeld om juist minder burgers te belasten met heronderzoek, als daar geen reden voor is. De kans dat er een vooringenomen besluit genomen wordt, wordt verkleind doordat de heronderzoeken altijd door mensen plaatsvinden, stelt de gemeente: "Hierbij willen we benadrukken dat het algoritme niet de uitkomst geeft of iemand een fraudeur is. Het gaat echt om een risico-inschatting."
Eerder liep in Rotterdam-Zuid een proef met het omstreden SyRI-systeem. Daarbij werden systemen van verschillende instanties aan elkaar gekoppeld om risicoprofielen van fraudeurs op te stellen. De rechter zette vorig jaar een streep door het gebruik van SyRI. Begin dit jaar concludeerde de Algemene Rekenkamer dat er beter toezicht moet komen op het gebruik van algoritmes door overheidsinstanties.
