Het verhaal van Gemeente Jeugdveilig
Hoe een gemeente haar "preventieve" risicomodel onder de loep nam — en ontdekte dat het kwetsbare gezinnen nog kwetsbaarder maakte
Fictief scenario — gebaseerd op realistische situaties
De Aanleiding
Hoe het begon
Gemeente Jeugdveilig had een ambitieus doel: vroegsignalering van problemen bij gezinnen, zodat hulp kon komen vóórdat situaties escaleerden. Het JeugdSignaal-systeem combineerde data uit verschillende bronnen om risicoscores te berekenen. Het leek te werken — totdat iemand de vraag stelde: werkt het eerlijk?
Het systeem was populair bij wijkteams. Het gaf richting. Het voelde objectief. Maar achter de schermen voltrok zich een patroon dat niemand had voorzien: gezinnen in bepaalde wijken werden systematisch hoger gescoord, ongeacht hun werkelijke situatie.
"We wilden kinderen beschermen. We stigmatiseerden hele wijken."
De Vragen
Wat moesten ze uitzoeken?
Welke data voedt het model, en is die data neutraal?
Het team inventariseerde alle databronnen. Schuldenregistraties kwamen van het BKR. Schoolverzuim van leerplichtambtenaren. Politiecontacten uit de BVH. Het leek objectieve informatie. Maar was het dat?
💡 Het inzicht
Elke databron droeg zijn eigen bias mee. Schulden werden vaker geregistreerd bij mensen die geen toegang hadden tot informele leningen. Schoolverzuim werd strenger gemeld in scholen met minder middelen. Politiecontacten reflecteerden waar de politie patrouilleerde, niet waar problemen waren. De "objectieve" data was een spiegel van bestaande ongelijkheden.
🌍 Waarom dit ertoe doet
Onderzoekers noemen dit "embedded bias": de vooroordelen die al in de data zitten voordat het model ze verwerkt. Een algoritme dat leert van ongelijke data, reproduceert die ongelijkheid — en geeft er een schijn van objectiviteit aan.
Wat betekent een "risicoscore" eigenlijk?
Wijkteammedewerkers gebruikten de scores dagelijks. Maar wat betekende een score van 0.7 precies? Het team ondervroeg collega's. De antwoorden varieerden: "70% kans op problemen", "behoorlijk zorgelijk", "waarschijnlijk iets aan de hand". Niemand wist het echt.
💡 Het inzicht
Een risicoscore is geen voorspelling — het is een patroonherkenning. Het model zag kenmerken die in het verleden geassocieerd waren met jeugdzorginterventies. Maar die historische interventies waren zelf het resultaat van wie er werd gemonitord, niet van wie er werkelijk hulp nodig had. Een zichzelf versterkende cyclus.
🌍 Waarom dit ertoe doet
Voorspellende policing en sociale risicoscores zijn internationaal controversieel. In de VS zijn vergelijkbare systemen voor kinderbescherming onder vuur komen te liggen toen bleek dat zwarte gezinnen systematisch hoger scoorden. De AI Act classificeert dergelijke systemen niet voor niets als hoog-risico.
Wie heeft toegang tot deze informatie en wat doen ze ermee?
De risicoscores werden breed gedeeld: wijkteams, jeugdbeschermers, soms zelfs scholen. Maar was er controle op wat er met die scores gebeurde? Het team deed een audit. De bevindingen waren verontrustend.
💡 Het inzicht
In sommige gevallen werden huisbezoeken ingepland puur op basis van de score, zonder verdere aanleiding. Gezinnen wisten niet dat ze "in beeld" waren. Er was geen bezwaarprocedure. En eenmaal gelabeld als "risico" bleef die status vaak jaren hangen in systemen.
🌍 Waarom dit ertoe doet
De AVG en de AI Act eisen beiden dat mensen worden geïnformeerd wanneer AI-systemen beslissingen over hen beïnvloeden. Het recht om bezwaar te maken is fundamenteel. Maar in de praktijk weten veel burgers niet eens dat ze door algoritmes worden beoordeeld.
Is preventief ingrijpen op basis van voorspellingen wel ethisch?
Dit was de moeilijkste vraag. Het systeem was gebouwd met de beste intenties: kinderen beschermen voordat het te laat was. Maar waar ligt de grens tussen preventie en surveillance? Tussen hulp bieden en stigmatiseren?
💡 Het inzicht
Het team realiseerde zich dat "preventie" een eufemisme was geworden voor "monitoren zonder toestemming". Echte preventie zou betekenen: investeren in wijken, brede ondersteuning bieden, drempels verlagen voor hulp vragen. Niet: lijsten maken van "risicogevallen" en wachten tot je reden hebt om in te grijpen.
🌍 Waarom dit ertoe doet
De discussie over predictive social services raakt aan fundamentele vragen over de relatie tussen overheid en burger. Kan een overheid die je "helpt" op basis van algoritmes nog wel vertrouwd worden? De AI Act probeert hier grenzen te stellen, maar de ethische vragen gaan dieper dan wetgeving.
De Reis
Stap voor stap naar compliance
De kritische vraag
Een onderzoeksjournalist vroeg om inzage in het algoritme onder de Woo. De gemeente kon geen antwoord geven op basale vragen over hoe het systeem werkte. Dat was het startsein voor intern onderzoek.
De data-audit
Een extern bureau analyseerde de databronnen. De conclusie: elke bron droeg significante bias mee. Wijken met meer politiesurveillance hadden meer "signalen" — niet meer problemen.
De impact-analyse
Het team onderzocht wat er was gebeurd met gezinnen die hoog scoorden. In 60% van de gevallen was er geen interventie nodig geweest. Maar het label "risicogezin" had wel degelijk gevolgen gehad.
Gesprekken met getroffenen
De gemeente organiseerde gesprekken met gezinnen die door het systeem waren geflagd. Hun ervaringen waren soms traumatisch: onverwachte huisbezoeken, het gevoel constant bekeken te worden, schaamte tegenover buren.
De ethische herbezinning
Het college organiseerde een ethische commissie met externe experts, ervaringsdeskundigen en mensenrechtenorganisaties. De vraag: kunnen we dit systeem überhaupt verantwoord inzetten?
De beslissing
Na maanden van onderzoek nam het college een moedig besluit: het systeem werd niet gerepareerd, maar stopgezet. De aanpak zou fundamenteel anders moeten.
De Obstakels
Wat ging er mis?
✗ Uitdaging
Wijkteams wilden het systeem houden — het gaf houvast in complex werk
✓ Oplossing
Investeren in betere training en ondersteuning voor professionele oordeelsvorming, in plaats van op algoritmes te leunen.
✗ Uitdaging
De data was al jarenlang verzameld en gedeeld — privacy was al geschonden
✓ Oplossing
Systematisch oude data verwijderen waar geen wettelijke bewaarplicht voor gold. Transparant zijn over wat er was gebeurd.
✗ Uitdaging
Het publieke debat was gepolariseerd: voor of tegen technologie
✓ Oplossing
Nuance brengen: het probleem was niet technologie, maar hoe het was ingezet. De gemeente nam verantwoordelijkheid voor de keuzes die waren gemaakt.
We dachten dat we vooruit liepen met data-gedreven beleid. We liepen vooral vooruit in het classificeren van onze eigen burgers. Het stopzetten van het systeem was niet een stap terug — het was de enige stap vooruit.
De Lessen
Wat kunnen we hiervan leren?
Data is niet neutraal
Elke dataset draagt de vooroordelen mee van hoe, waar en door wie de data is verzameld. "Objectieve" data bestaat niet.
Risicoscores creëren risico's
Het labelen van mensen als "risico" heeft zelf gevolgen. Surveillance is niet neutraal — het verandert de relatie tussen overheid en burger.
Preventie is geen surveillance
Echte preventie betekent investeren in ondersteuning voor iedereen, niet het monitoren van wie er "waarschijnlijk" hulp nodig heeft.
Soms is stoppen de beste optie
Niet elk systeem kan gerepareerd worden. Soms is de fundamentele aanpak verkeerd en is herbouwen beter dan doormodderen.
Wordt in jouw organisatie AI ingezet voor beslissingen over kwetsbare groepen?
Leer welke extra waarborgen de AI Act vereist voor systemen die fundamentele rechten kunnen raken.
Ga verder met leren
Ontdek gerelateerde content