Het verhaal van FinServe
Hoe een financiële dienstverlener ontdekte dat hun kredietmodel "hoog-risico AI" was
Fictief scenario — gebaseerd op realistische situaties
De Aanleiding
Hoe het begon
FinServe gebruikte al jaren een geavanceerd AI-model voor kredietbeoordeling. Het werkte goed, klanten waren tevreden, en de defaultrates waren laag. Maar toen de AI Act werd aangekondigd, bleek alles anders te liggen.
Kredietbeoordeling met AI valt expliciet onder Annex III van de AI Act: hoog-risico. Dat betekent strikte eisen aan transparantie, uitlegbaarheid en menselijk toezicht. Voor een systeem dat nooit met die eisen in gedachten was gebouwd.
"Ons kredietmodel dat we al jaren gebruiken? Dat valt nu onder de AI Act als hoog-risico?" De CFO staarde ongelovig naar het compliance-rapport.
De Vragen
Wat moesten ze uitzoeken?
Waarom is onze krediet-AI "hoog-risico"?
Het team ging de AI Act door. Annex III noemt expliciet "AI systems intended to be used to evaluate the creditworthiness of natural persons" als hoog-risico. Maar gold dat ook voor zakelijke klanten?
💡 Het inzicht
De interpretatie bleek genuanceerd. AI voor kredietbeoordeling van particulieren is automatisch hoog-risico. Voor zakelijke klanten hangt het af van de impact op individuen — zoals een ondernemer die persoonlijk borg staat. In de praktijk kozen veel organisaties ervoor om voorzichtig te zijn en alle krediet-AI als hoog-risico te behandelen.
🌍 Waarom dit ertoe doet
Financiële toezichthouders zoals de AFM en DNB kijken steeds kritischer naar AI in kredietbeslissingen. De AI Act geeft hen extra handvatten. Organisaties die proactief compliance aanpakken, bouwen vertrouwen op.
Hoe leggen we uit wat het model doet?
CreditScore Pro was een ensemble van gradient boosting modellen. Krachtig, maar niet intuïtief uitlegbaar. De AI Act eist dat gebruikers begrijpen hoe het systeem werkt en wat de beperkingen zijn.
💡 Het inzicht
De oplossing lag in een combinatie van global en local explainability. Feature importance dashboards voor analisten. SHAP-values voor individuele beslissingen. En een "explain this score" functie die de top-3 redenen achter elke score toonde in begrijpelijke taal.
🌍 Waarom dit ertoe doet
Uitlegbaarheid is niet alleen compliance — het is ook business value. Accountmanagers die kunnen uitleggen waarom een score zo is, voeren betere gesprekken met klanten. Veel organisaties ontdekken dat explainable AI hun klantrelaties verbetert.
Kunnen we nog wel geautomatiseerd beslissen?
Een van de grote zorgen was efficiency. Met honderden kredietaanvragen per maand was volledige handmatige beoordeling niet haalbaar. Maar de AI Act vraagt om "meaningful human oversight".
💡 Het inzicht
Het antwoord was risico-gebaseerd menselijk toezicht. Standaardcases (duidelijk hoge of lage scores) konden door het systeem, met een steekproefsgewijze review. Grensgevallen en high-value leningen kregen altijd een menselijke check. En elke geautomatiseerde beslissing kon worden aangevochten.
🌍 Waarom dit ertoe doet
De AI Act verbiedt niet dat AI beslissingen neemt — het eist dat mensen kunnen ingrijpen en dat betrokkenen hun rechten kunnen uitoefenen. Een goed ontworpen escalatieproces is vaak voldoende.
Wat moeten we aanpassen aan ons proces?
Het team maakte een inventarisatie. Het model zelf was slechts een deel van het verhaal. Documentatie, monitoring, incident response — alles moest onder de loep.
💡 Het inzicht
De grootste gaps zaten niet in het model, maar in governance. Er was geen formeel change management voor model updates. Bias monitoring was ad-hoc. En er was geen duidelijk escalatiepad als iemand een beslissing wilde aanvechten. Deze procesmatige verbeteringen bleken de meeste tijd te kosten.
🌍 Waarom dit ertoe doet
Veel organisaties focussen op hun AI-modellen, maar de AI Act vraagt om een heel compliance-framework eromheen. Van data governance tot incident management, van training tot audit trails. Het is een systeemverandering, niet een technische fix.
De Reis
Stap voor stap naar compliance
De wake-up call
Een externe audit bracht aan het licht dat het kredietmodel onder de AI Act als hoog-risico zou kwalificeren. Het management vroeg om een impactanalyse.
Impact assessment
Het team ging met juristen en data scientists om tafel. Welke systemen vielen precies onder de AI Act? En welke niet?
Explainability bouwen
De data science afdeling kreeg de opdracht om uitlegbaarheid in te bouwen. Feature importance, SHAP-values, en een user-friendly interface.
Menselijk toezicht herontwerpen
Het kredietproces werd herzien. Welke beslissingen kon de AI nemen, welke vereisten menselijke interventie?
Documentatie op orde
Technisch dossier, risico-assessment, data governance policies — alles moest worden gedocumenteerd volgens AI Act standaarden.
Training voor analisten
Kredietanalisten werden getraind in het interpreteren van AI-output en het herkennen van mogelijke bias of fouten.
De Obstakels
Wat ging er mis?
✗ Uitdaging
Het model was een black box — niemand kon uitleggen waarom het specifieke scores gaf
✓ Oplossing
Implementatie van SHAP-values en feature importance dashboards voor uitlegbaarheid
✗ Uitdaging
Volledige handmatige review was niet schaalbaar met honderden aanvragen per maand
✓ Oplossing
Risico-gebaseerde escalatie: alleen grensgevallen en high-value cases krijgen menselijke check
✗ Uitdaging
Geen formeel change management voor model updates
✓ Oplossing
Implementatie van model governance framework met versiebeheer en audit trails
De AI Act dwong ons om na te denken over uitlegbaarheid. Onze accountmanagers kunnen nu veel beter uitleggen waarom een score is wat hij is. Dat verbetert de klantrelatie.
De Lessen
Wat kunnen we hiervan leren?
Krediet-AI is expliciet hoog-risico
De AI Act noemt creditworthiness assessment expliciet als hoog-risico use case. Dit geldt voor veel financiële AI-toepassingen.
Uitlegbaarheid is ook business value
AI die kan uitleggen waarom, verbetert niet alleen compliance maar ook klant-communicatie en interne besluitvorming.
Human oversight hoeft niet handmatig te zijn
Meaningful human oversight betekent niet dat elke beslissing handmatig moet. Risico-gebaseerde escalatie is voldoende.
Governance is meer dan het model
De meeste gaps zitten niet in je model, maar in governance: change management, bias monitoring, incident response.
Gebruikt jouw organisatie AI voor financiële beslissingen?
Ontdek wat de AI Act betekent voor kredietbeoordeling, fraud detection en andere financiële AI.
Ga verder met leren
Ontdek gerelateerde content