Het verhaal van SecureAccess
Wanneer gezichtsherkenning niet voor iedereen even goed werkt
Fictief scenario — gebaseerd op realistische situaties
De Aanleiding
Hoe het begon
SecureAccess leverde FaceGate Pro aan tientallen organisaties. Het systeem werkte snel en betrouwbaar — althans, dat dachten ze. Tot klachten binnenkwamen van specifieke gebruikersgroepen die vaker werden geweigerd of moesten wachten.
Biometrische identificatie is expliciet hoog-risico onder de AI Act. En erger: het systeem bleek beter te werken voor sommige huidskleuren dan andere. Dit was niet alleen een compliance-probleem — het was een discriminatie-risico.
"Waarom word ik altijd gestopt bij de poort, terwijl mijn collega's zo doorlopen?" De klacht van een medewerker onthulde een groter probleem.
De Vragen
Wat moesten ze uitzoeken?
Waarom is biometrie hoog-risico onder de AI Act?
Het team dook in Annex III. Biometrische identificatiesystemen zijn expliciet opgenomen als hoog-risico — en sommige vormen zijn zelfs verboden (real-time biometrie door wetshandhaving in openbare ruimtes).
💡 Het inzicht
De AI Act erkent dat biometrie uniek gevoelig is. Je gezicht kun je niet veranderen zoals een wachtwoord. Fouten in biometrische systemen kunnen leiden tot onterechte toegangsweigering, discriminatie, of erger. Daarom gelden strenge eisen aan accuraatheid, bias-testing, en transparantie.
🌍 Waarom dit ertoe doet
Onderzoek heeft herhaaldelijk aangetoond dat gezichtsherkenning slechter presteert bij mensen met een donkere huidskleur en bij vrouwen. De AI Act codificeert de verplichting om dit soort bias te testen en te mitigeren.
Hoe ontdek je bias in gezichtsherkenning?
SecureAccess had geen systematische bias-testing gedaan. Na de klachten analyseerden ze hun false rejection rates gesegmenteerd naar demografische kenmerken. De resultaten waren ontnuchterend.
💡 Het inzicht
Het systeem had een false rejection rate van 1% voor lichte huidskleuren, maar 8% voor donkere huidskleuren. Voor vrouwen met hoofdbedekking was het nog hoger. Dit was geen bug — het was een fundamenteel trainingsdata-probleem.
🌍 Waarom dit ertoe doet
Bias in AI is vaak geen opzet, maar een weerspiegeling van scheefgetrokken trainingsdata. Als je model vooral getraind is op foto's van witte mannen, zal het minder goed werken voor anderen. De AI Act eist representatieve trainingsdata.
Kunnen we het systeem eerlijk maken voor iedereen?
Het team ging aan de slag. Meer diverse trainingsdata verzamelen. Het model opnieuw trainen. Maar de vraag was: hoe meet je "eerlijk"? En is perfecte gelijkheid haalbaar?
💡 Het inzicht
Ze adopteerden een "equalized odds" benadering: gelijk false positive en false negative rates over demografische groepen. Het kostte tijd en geld, maar het resultaat was een systeem dat voor iedereen even betrouwbaar werkte — binnen acceptabele marges.
🌍 Waarom dit ertoe doet
Fairness in AI is een actief onderzoeksveld. Er zijn meerdere definities, en sommige zijn mathematisch onverenigbaar. De AI Act schrijft geen specifieke definitie voor, maar eist wel dat je bias monitort en mitigeert. Documenteer je keuzes.
Wat zijn onze verplichtingen als provider?
SecureAccess was provider van een hoog-risico AI-systeem. Wat betekende dat concreet? Het team mapte de Article 16 verplichtingen.
💡 Het inzicht
Als provider moest SecureAccess: een kwaliteitsmanagementsysteem implementeren, technische documentatie bijhouden, conformiteitsbeoordeling doorlopen, CE-markering aanbrengen, en post-market monitoring opzetten. En hun klanten — de deployers — moesten geïnstrueerd worden over correct gebruik.
🌍 Waarom dit ertoe doet
De AI Act onderscheidt providers en deployers. Providers hebben zwaardere verplichtingen: zij zijn verantwoordelijk voor het systeem zelf. Deployers moeten het correct gebruiken. Maar als een deployer het systeem aanpast, kunnen zij ook provider-verplichtingen krijgen.
De Reis
Stap voor stap naar compliance
De klacht
Een eindgebruiker klaagde over herhaalde toegangsweigeringen. Onderzoek toonde een patroon: het probleem trof vooral mensen met een donkere huidskleur.
Bias-analyse
Het team segmenteerde performance data naar demografische groepen. De resultaten waren schokkend: 8x hogere false rejection rate voor sommige groepen.
Data-diversificatie
Een project startte om trainingsdata te verzamelen die beter de diversiteit van eindgebruikers weerspiegelde.
Model herontwikkeling
Het gezichtsherkenningsmodel werd opnieuw getraind met de uitgebreide dataset, gericht op equalized odds over demografische groepen.
Validatie en testing
Uitgebreide testing op bias, accuraatheid en edge cases. Resultaten werden gedocumenteerd voor het technisch dossier.
Klant-communicatie
Alle klanten werden geïnformeerd over de modelupdate en hun verplichtingen als deployer onder de AI Act.
De Obstakels
Wat ging er mis?
✗ Uitdaging
False rejection rates waren 8x hoger voor sommige demografische groepen
✓ Oplossing
Hertraining met diverse dataset en equalized odds fairness metric
✗ Uitdaging
Geen systematische bias-testing was ooit gedaan
✓ Oplossing
Implementatie van continuous fairness monitoring als onderdeel van QMS
✗ Uitdaging
Klanten begrepen hun deployer-verplichtingen niet
✓ Oplossing
Uitgebreide documentatie en training voor alle deployers
We dachten dat ons systeem objectief was. Het tegenovergestelde bleek waar. De AI Act dwong ons om eerlijk te kijken naar wie we uitsloten.
De Lessen
Wat kunnen we hiervan leren?
Biometrie is inherent hoog-risico
Je lichaam kun je niet resetten. Fouten in biometrische AI hebben blijvende impact op mensen.
Bias is geen bug, het is trainingsdata
Als je model niet is getraind op diverse data, zal het niet werken voor diverse mensen.
Test voordat klanten klagen
Systematische bias-testing had dit probleem kunnen voorkomen. Nu moesten we brandjes blussen.
Provider-verplichtingen zijn substantieel
Als provider van hoog-risico AI draag je de zwaarste compliance-last. Plan hier capaciteit voor.
Ontwikkelt jouw bedrijf biometrische AI?
Ontdek welke AI Act eisen gelden voor gezichtsherkenning, vingerafdrukken en andere biometrie.
Ga verder met leren
Ontdek gerelateerde content