Hoe Nederlandse activisten een invasief fraudedetectiealgoritme verboden kregen

De Nederlandse overheid heeft SyRI, een geheim algoritme, gebruikt om mogelijke bijstandsfraude op te sporen. Burgerrechtenactivisten hebben de zaak voor de rechter gedijd en overheidsorganisaties aan het denken gezet over minder repressieve alternatieven.

In haar strijd tegen fraude verwijst de Nederlandse overheid sinds 2014 naar persoonsgegevens van burgers in verschillende databanken. Dit systeem, genaamd SyRI (voor "systeemrisico-indicatie"), wil "onwaarschijnlijke burgerprofielen" vinden die verder onderzoek rechtvaardigen. Ondanks grote bezwaren van de Autoriteit Persoonsgegevens en de Raad van State is SyRI zonder enige transparantie voor burgers geïmplementeerd over wat er met hun gegevens gebeurt.

Het idee is dit: als sommige overheidsinstanties fraude met uitkeringen, toelagen of belastingen in een bepaalde buurt vermoeden, kan het gebruik maken van SyRI. Gemeenten, het UWV, de sociale zekerheidsbank, inspecteurs van het ministerie van Sociale Zaken en Werkgelegenheid en de belastingdienst hebben toegang tot het systeem. SyRI beslist welke burgers in de buurt verder onderzocht moeten worden.

SyRI is geen succes voor de overheid. In de eerste vijf jaar vroegen vijf gemeenten om een wijk te analyseren. Slechts twee van deze projecten werden daadwerkelijk uitgevoerd, de andere drie werden geannuleerd. Uit onderzoek van de Volkskrant blijkt dat geen van deze algoritmische onderzoeken in 2019 nieuwe fraudegevallen heeft kunnen opsporen.

Valse positieven
Er is een gedetailleerde procedure voor overheidsinstanties die SyRI willen gebruiken. Twee instanties moeten samenwerken en het ministerie van Sociale Zaken en Werkgelegenheid (SZW in haar Nederlandse acroniem) vragen een analyse uit te voeren. Voordat een SyRI-project van start gaat, publiceert SZW een advies in de online versie van het staatsblad. "De gemeente is niet verplicht om burgers van een wijk te informeren dat ze worden geanalyseerd", zegt Ronald Huissen van het Platform Bescherming Burgerrechten. "En als ze worden geïnformeerd, is het door een stad bulletin dat niet noodzakelijkerwijs wordt gelezen door hen, en in zeer vage termen, zonder de details van welke gegevens SyRI gebruikt en hoe."

Het bureau dat om de analyse vroeg, kan niet zomaar de burgers bestraffen die worden gemarkeerd voor een onwaarschijnlijke combinatie van gegevens: het moet voor elke gemarkeerde burger onderzoeken of er daadwerkelijk sprake is van fraude. Bovendien worden de gemarkeerde burgers eerst op het ministerie van Sociale Zaken en Werkgelegenheid onderzocht op false positives. Gegevens over burgers die als vals-positieven worden beschouwd, worden niet overhandigd aan het bureau dat om de analyse heeft gevraagd.

Geen transparantie
Maar zelfs met deze controles is het gebrek aan transparantie nog steeds een groot probleem. Bewoners van hele buurten werden onder een vergrootglas gelegd zonder dat ze wisten welke privacygevoelige gegevens SyRI over hen had. Elke 'risico-indicatie' wordt aangemeld bij een register waar burgers desgevraagd naar kunnen kijken. Maar burgers worden niet automatisch gewaarschuwd als ze door SyRI worden gemarkeerd voor frauderisico's en ze hebben geen toegang tot de redenen waarom ze zijn gemarkeerd.

Begin 2018 spande het Platform Bescherming Burgerrechten samen met een aantal andere Nederlandse burgerrechtenorganisaties een zaak aan tegen de Nederlandse staat om het gebruik van SyRI tegen te houden. Tegelijkertijd wilden ze met hun mediacampagne Bij Voorbaat Verdacht (Verdacht vanaf het begin) een publiek debat over SyRI aanzwengelen.

Volgens de officiële resolutie die de rechtsgrondslag voor SyRI is, kan het systeem informatie over werk, boetes, boetes, belastingen, onroerend goed, huisvesting, onderwijs, pensionering, schulden, uitkeringen, vergoedingen, subsidies, vergunningen en vrijstellingen, en meer vergelijken. Deze worden zo breed beschreven dat de Raad van State in 2014 in zijn negatieve advies over SyRI concludeerde dat er "nauwelijks persoonsgegevens zijn verwerkt".

Zwarte doos
SyRI pseudonimiseert de gegevensbronnen die het gebruikt met een 'black box'-methode. Dat wil zeggen, voor elke gegevensbron die is gekoppeld, worden alle burgernamen vervangen door een unieke id voor elk individu. De id maakt het mogelijk om gegevens over de burger te koppelen uit deze verschillende gegevensbronnen. Na de analyse is het resultaat een lijst van identificatiemiddelen die mogelijk frauduleuze begunstigden vertegenwoordigen. Deze id's worden vervolgens vertaald terug naar hun echte namen.

In het geval van Platform Bescherming Burgerrechten tegenover de Nederlandse Staat gaf deze laatste enkele voorbeelden van "discrepanties" die tot een risico-indicatie zouden kunnen leiden. Een van deze verschillen is een laag gebruik van stromend water. Dit kan een teken zijn dat iemand die een uitkering ontvangt samenwoeren met iemand anders op een ander adres en dus niet het recht heeft op de hogere uitkering voor alleenstaanden. Er zijn echter vele andere mogelijke oorzaken voor een laag waterverbruik, zoals het gebruik van regenwater, een zuinig leven, of zelfs een gebroken watermeter.

Een geheime saus
Het is nog onduidelijk wat er in deze 'zwarte doos' gebeurt, en de Nederlandse regering blokkeerde alle pogingen van bezorgde partijen om hier licht op te werpen. In 2017 besloot het ministerie van Sociale Zaken dat de gebruikte risicomodellen geheim moesten blijven. In 2018 schreef de politieke partij D66 een motie (maar diende die niet in) om de algoritmes van SyRI te publiceren of een technische audit uit te voeren als het publiceren van de algoritmes niet mogelijk is.

Tamara van Ark, staatssecretaris van Sociale Zaken en Werkgelegenheid, raadde ten zeerste af om de motie in te dienen (zodat deze nooit in stemming werd gebracht) en ze waarschuwde dat potentiële daders hun gedrag kunnen aanpassen als de staat de risicomodellen van SyRI openbaar maakt. Maar veel van de factoren in de risicomodellen zijn al bekend of verwacht, of zijn al gebruikt voor SyRI om fraude op te sporen, zoals een laag waterverbruik. Het is moeilijk voor te stellen dat iemand die fraude pleegt om een hoger voordeel te krijgen zal de kraan open te laten om hun watergebruik te verhogen.

Voornamelijk gebruikt in buurten met een laag inkomen
Er is nog een probleem met SyRI: volgens de vrijheid van informatieverzoeken van het Platform Bescherming Burgerrechten blijkt dat SyRI vooral is gebruikt in buurten met lage inkomens. Dit verergert vooroordelen en discriminatie: als de overheid alleen de risicoanalyse van SyRI gebruikt in buurten die al als risicovol worden beschouwd, is het geen wonder dat het daar meer risicovolle burgers zal vinden.

Philip Alston, speciaal rapporteur van de Verenigde Naties voor extreme armoede en mensenrechten, uitte in een brief aan de Nederlandse rechtbank op 26 september 2019 zijn zorgen over SyRI : "Hele buurten worden verdacht geacht en worden onderworpen aan speciale controle, wat het digitale equivalent is van fraude-inspecteurs die op elke deur in een bepaald gebied kloppen en de dossiers van elke persoon bekijken in een poging om gevallen van fraude te identificeren, terwijl een dergelijk onderzoek niet wordt toegepast op mensen die in betere gebieden wonen."

Een repressieve positie
De heer Alston twijfelt er niet aan dat er sprake is van bijstandsfraude en dat deze moet worden bestraft, maar hij waarschuwt dat de focus van SyRI verkeerd lijkt te zijn: "Als de focus op fraude die door de armen wordt gepleegd zeer onevenredig is als gelijkwaardige inspanningen gericht op andere inkomensgroepen, is er een element van slachtofferschap en discriminatie dat niet door de wet mag worden bestraft."

Maranke Wieringa, promovendus aan de Universiteit Utrecht die onderzoek doet naar algoritmische verantwoording in Nederlandse gemeenten, voegt daar nog een probleem aan toe: "Een van de doelen van gemeenten die SyRI gebruiken voor specifieke wijken is het verbeteren van hun levensstandaard. SyRI is echter niet ontworpen voor dat doel. Als je een nationaal instrument neemt dat is ontworpen voor fraudedetectie en het vervolgens toepast met een sociaal doel om de levensstandaard en sociale cohesie in een buurt te verbeteren, kun je je afvragen of je voor beide doelen van dezelfde repressieve positie moet afwijken."

SyRI is niet nodig
Op 29 november 2019 won SyRI de Big Brother Award van de Nederlandse digitale rechtenorganisatie Bits of Freedom. Deze prijs wordt toegekend aan de grootste privacy inbraak van het jaar. Toen directeur-generaal Carsten Herstel de prijs in ontvangst nam in naam van het ministerie van Sociale Zaken en Werkgelegenheid, zei hij tegen het publiek: "Ik vind het logisch dat de overheid wordt gewaarschuwd als iemand een huurtoeslag krijgt en tegelijkertijd eigenaar is van het huis."

Volgens Huissen van het Platform Bescherming heeft de overheid dit soort massale surveillance niet nodig om fraude te voorkomen: "De overheid heeft al informatie over wie de eigenaar is van welk huis, dus het kan dit controleren voordat de persoon een huurtoeslag toekent. Voor alle grote fraudeschandalen in de sociale zekerheid die we de afgelopen decennia hebben gezien, werd achteraf duidelijk dat ze met eenvoudige controles vooraf hadden kunnen worden voorkomen. Dat gebeurt veel te weinig. Het is verleidelijk om oplossingen te zoeken in geheime algoritmen die big datasets analyseren, maar vaak is de oplossing veel eenvoudiger."

Mevrouw Wieringa is het ermee eens dat dit een betere manier is. "SyRI is geïntroduceerd vanuit het oogpunt van een repressieve verzorgingsstaat: het vertrouwt de burgers niet. Maar dat is slechts een houding van vele mogelijke. Zo zou de overheid bijvoorbeeld kunnen controleren, misschien zelfs door minder databronnen te gebruiken, wie recht heeft op een toelage."

Geen eerlijk evenwicht
Op 5 februari 2020 heeft de Rechtbank Den Haag de onmiddellijke stopzetting van SyRI gelast omdat het in strijd is met artikel 8 van het Europees Verdrag voor de Rechten van de Mens (EVRM), dat het recht op eerbiediging van het privé- en gezinsleven beschermt. Artikel 8 schrijft voor dat elke wetgeving een "eerlijk evenwicht" heeft tussen sociale belangen en elke schending van het privéleven van burgers.

SyRI's doel, of "sociaal belang", is om fraude te voorkomen en te bestrijden. De Nederlandse staat beweerde dat de SyRI-wetgeving voldoende garanties bood om dit te doen en tegelijkertijd de privacy van burgers te beschermen, maar de rechtbank was het daar niet mee eens. De wetgeving is onvoldoende transparant en controleerbaar, en er zijn niet genoeg waarborgen tegen inbreuken op de privacy, rechters schreef.

De Nederlandse regering kan tot 5 mei 2020 in beroep gaan tegen de uitspraak. In een reactie op haar website, het ministerie zei dat het zal het besluit grondig te onderzoeken.

Volgens Wieringa maakt de beslissing van de rechtbank duidelijk dat het grootste probleem van SyRI niet is dat het fraude wil bestrijden (dit is een legitiem doel, zegt de rechter), maar de manier waarop het het doet: "Het systeem wordt door de rechters als te ondoorzichtig beschouwd. Als de overheid dit probleem wil 'oplossen', zal het SyRI meer transparantie moeten geven. Een 'SyRI 2.0' zal waarschijnlijk SyRI, maar minder ondoorzichtig. Eerdere ervaringen wijzen op die gang van zaken. Het "Waterproof"-systeem, een voorloper van SyRI, werd in 2007 om privacyredenen als illegaal beschouwd. Later, de regering gewoon een wet aangenomen om het probleem te omzeilen, waardoor SyRI. Een andere 'lazy fix', dit keer gericht op het vergroten van de transparantie, zou een logische stap zijn voor SyRI."

Een nieuwe manier van omgaan met algoritmen
Aan de andere kant hebben twee overheidsorganisaties in Nederland, het UWV en de belastingdienst, gereageerd op de uitspraak van de rechter door hun eigen algoritmische systemen voor fraudedetectie opnieuw te beoordelen. "Dit is een teken dat de beslissing van de rechtbank iedereen aanspoort om een nieuwe manier te vinden om met algoritmes in de publieke sector om te gaan", stelt Wieringa.

Tijmen Wisman, voorzitter van het Platform Bescherming Burgerrechten, hoopt dat de overheid meer doet. "Alleen al het aanpassen van SyRI om transparanter te zijn zal nog steeds leiden tot informatieasymmetrie. Burgers willen hun overheid geen informatie meer geven als deze deze informatie op alle mogelijke manieren tegen hen kan worden gebruikt."

Volgens Wisman hebben overheidsorganisaties behoefte aan een verandering in hun gegevensbeheer: "Gegevens mogen niet langer vrij rondlopen, maar moeten zich in een authentieke gegevensbron bevinden. Elke organisatie moet logboeken bijhouden voor elke keer dat hun gegevens worden geraadpleegd. Burgers moeten gemakkelijk toegang hebben tot deze logboeken. Op deze manier wordt het voor de burgers duidelijk waarvoor hun gegevens worden gebruikt en kunnen zij dit gebruik aanvechten. Deze eis van transparantie vloeit ook voort uit de uitspraak van de rechtbank in de SyRI-zaak en de AVG."

In Nederland wordt bijstandsfraude geschat op 150 miljoen euro per jaar. Gemeenten, het uwv en de sociale zekerheidsbank hebben samen voor ruim 744 miljoen euro aan frauduleuze claims in de periode 2013-2018 ontdekt. Dit in vergelijking met naar schatting 22 miljard euro verloren aan belastingfraude, elk jaar.

Bron: https://algorithmwatch.org/en/story/syri-netherlands-algorithm/