Het verhaal van Gemeente Veiligwaard
Hoe een gemeente haar fraudedetectie-algoritme onder de loep nam — en ontdekte dat goed bedoeld niet altijd goed is
Fictief scenario — gebaseerd op realistische situaties
De Aanleiding
Hoe het begon
Gemeente Veiligwaard gebruikte al jaren een algoritme om fraude met bijstandsuitkeringen op te sporen. Het systeem genereerde risicoscores en bepaalde wie gecontroleerd werd. Niemand had ooit gevraagd: werkt dit eerlijk?
De toeslagenaffaire had Nederland wakker geschud. Overal werden algoritmes onder de loep genomen. En toen de gemeente haar eigen systeem analyseerde, kwamen verontrustende patronen aan het licht.
"We wilden fraudeurs pakken. In plaats daarvan pakten we de verkeerde mensen."
De Vragen
Wat moesten ze uitzoeken?
Hoe bepaalt het algoritme wie een hoog risico is?
Het team vroeg de leverancier om uitleg. Het antwoord was vaag: "Een combinatie van factoren." Welke factoren? "Dat is bedrijfsgeheim." De gemeente realiseerde zich dat ze een black box gebruikten voor beslissingen die levens beïnvloedden.
💡 Het inzicht
Het algoritme bleek te werken met indicatoren die indirect discrimineerden. Postcodes met veel sociale huurwoningen kregen hogere scores. Bepaalde nationaliteiten werden als "risicofactor" meegewogen. Dit was nooit expliciet de bedoeling geweest — maar het was wel het resultaat.
🌍 Waarom dit ertoe doet
De Autoriteit Persoonsgegevens heeft meerdere gemeenten beboet voor het gebruik van discriminerende risicoprofielen. De AI Act verbiedt expliciet het gebruik van "sociale scoring" door overheden. De lijn tussen toegestane fraudedetectie en verboden sociale scoring bleek dunner dan gedacht.
Worden bepaalde groepen systematisch vaker gecontroleerd?
De gemeente analyseerde drie jaar aan controledata. De resultaten waren schokkend: burgers met een migratieachtergrond werden 4x vaker gecontroleerd dan anderen. Bij daadwerkelijk vastgestelde fraude was er geen verschil tussen groepen.
💡 Het inzicht
Het algoritme had historische bias overgenomen. Omdat bepaalde groepen in het verleden vaker waren gecontroleerd, waren er meer "hits" in die groepen — wat het algoritme interpreteerde als hogere risico's. Een vicieuze cirkel van discriminatie.
🌍 Waarom dit ertoe doet
Dit patroon is niet uniek. Het SyRI-systeem van de Rijksoverheid werd door de rechter verboden om vergelijkbare redenen. De les: historische data weerspiegelt historische ongelijkheden. Een algoritme dat daarop traint, reproduceert die ongelijkheden.
Wat zijn onze verplichtingen als overheid?
De juridische afdeling dook in de AI Act. Als overheidsinstantie hadden ze extra verplichtingen. Sociale scoring was expliciet verboden. Risicoprofilering voor toegang tot uitkeringen viel onder hoog-risico. En er waren specifieke eisen voor fundamentele rechten impact assessments.
💡 Het inzicht
Overheden hebben onder de AI Act een speciale positie. Ze kunnen niet zomaar een systeem inkopen en gebruiken. Ze moeten actief borgen dat het systeem niet discrimineert, transparant is, en dat burgers hun rechten kunnen uitoefenen. De verantwoordelijkheid lag niet bij de leverancier — maar bij de gemeente zelf.
🌍 Waarom dit ertoe doet
Artikel 26 van de AI Act verplicht deployers van hoog-risico AI om een Fundamental Rights Impact Assessment uit te voeren. Voor overheden is dit extra kritisch: zij nemen beslissingen die burgers direct raken, vaak zonder dat burgers kunnen uitwijken naar een alternatief.
Kunnen we dit systeem überhaupt blijven gebruiken?
Het college van B&W stond voor een dilemma. Stoppen met fraudedetectie was geen optie — de gemeente had de plicht om publiek geld te beschermen. Maar doorgaan met een discriminerend systeem was ook geen optie.
💡 Het inzicht
De oplossing lag niet in stoppen of doorgaan, maar in herbouwen. Het team besloot het systeem te herontwerpen met eerlijkheid als kernprincipe. Geen beschermde kenmerken meer als input. Regelmatige bias-audits. Volledige transparantie over de werking. En menselijk toezicht bij elke beslissing.
🌍 Waarom dit ertoe doet
Meerdere gemeenten hebben hun fraudesystemen stilgelegd na kritiek. Maar stilleggen lost het onderliggende probleem niet op. De uitdaging is: hoe bouw je een systeem dat effectief is én eerlijk? Dat vereist bewuste keuzes over welke data je wel en niet gebruikt.
De Reis
Stap voor stap naar compliance
De wake-up call
Een raadslid stelde kritische vragen over het fraudedetectiesysteem. Hoe werkt het? Wie wordt gecontroleerd? De wethouder kon geen antwoord geven. Dat was het begin van een intern onderzoek.
De data-analyse
Het team analyseerde drie jaar aan controledata. De patronen die naar voren kwamen waren ongemakkelijk: systematische oververtegenwoordiging van bepaalde postcodes en achtergronden.
Het moeilijke gesprek
De bevindingen werden gepresenteerd aan het college. De reacties varieerden van ongeloof tot schaamte. Niemand had dit gewild — maar het was wel gebeurd.
De juridische analyse
Wat betekende dit onder de AI Act? Het team bracht de verplichtingen in kaart. Hoog-risico classificatie. Verbod op sociale scoring. FRIA-verplichting. De conclusie was helder: het huidige systeem voldeed niet.
Het herontwerp
In plaats van het systeem weg te gooien, werd het herbouwd. Beschermde kenmerken werden verwijderd uit de input. Proxy-variabelen (zoals postcode) werden kritisch beoordeeld. Het doel verschoof van "fraudeurs vinden" naar "eerlijk controleren".
De bias-audit
Een externe partij voerde een onafhankelijke audit uit. Waren de nieuwe modellen eerlijk? De eerste resultaten waren bemoedigend — maar het team wist: dit moest geen eenmalige check zijn, maar een doorlopend proces.
De Obstakels
Wat ging er mis?
✗ Uitdaging
De leverancier wilde de werking van het algoritme niet volledig delen
✓ Oplossing
Contractueel vastleggen dat volledige transparantie een voorwaarde is voor samenwerking. Bij weigering: overstappen naar een andere oplossing.
✗ Uitdaging
Sommige medewerkers vonden de extra controlepunten vertragend
✓ Oplossing
Uitleggen dat de gemeente al eerder in de problemen was gekomen door gebrek aan toezicht. De extra tijd was een investering in vertrouwen.
✗ Uitdaging
Er was weerstand tegen het publiceren van het algoritme ("fraudeurs leren ervan")
✓ Oplossing
Transparantie over de methodiek hoeft geen transparantie over specifieke signalen te betekenen. Je kunt uitleggen hoe het systeem werkt zonder de exacte drempelwaarden te delen.
We dachten dat we efficiënt waren. We waren vooral oneerlijk. Het herbouwen van ons systeem was niet alleen een wettelijke verplichting — het was een morele noodzaak.
De Lessen
Wat kunnen we hiervan leren?
Vraag altijd: wie wordt geraakt?
Algoritmes zijn niet neutraal. Ze weerspiegelen de keuzes van hun makers en de patronen in hun data. Vraag bij elk systeem: wie heeft hier last van als het fout gaat?
Historische data bevat historische bias
Als bepaalde groepen in het verleden vaker zijn gecontroleerd, zal een algoritme dat patroon voortzetten. Kritische evaluatie van trainingsdata is essentieel.
Transparantie is geen luxe
Burgers hebben het recht om te weten hoe beslissingen over hen worden genomen. Overheden hebben de plicht om dat uit te leggen.
Menselijk toezicht is niet optioneel
Een algoritme mag signaleren, maar een mens moet beslissen. Zeker bij beslissingen die fundamentele rechten raken.
Gebruikt jouw organisatie AI voor beslissingen over burgers?
Ontdek welke verplichtingen de AI Act stelt aan overheden en publieke organisaties.
Ga verder met leren
Ontdek gerelateerde content