Het verhaal van EduAssist
Hoe een EdTech scale-up ontdekte dat studieadvies met AI streng gereguleerd wordt
Fictief scenario — gebaseerd op realistische situaties
De Aanleiding
Hoe het begon
EduAssist had StudyPath AI ontwikkeld om studenten te helpen met studiekeuzes. Universiteiten waren enthousiast. Studenten ook. Maar toen de AI Act kwam, bleek onderwijs een van de hoog-risico sectoren te zijn.
Onderwijs is expliciet benoemd in Annex III van de AI Act. AI die toegang tot onderwijs beïnvloedt of studenten beoordeelt, is hoog-risico. En StudyPath AI deed precies dat: het beïnvloedde welke vakken studenten kozen en daarmee hun toekomstige carrièrepaden.
"Onze AI helpt studenten de juiste vakken kiezen. Hoezo is dat hoog-risico?" De CEO begreep het niet — tot ze de AI Act echt las.
De Vragen
Wat moesten ze uitzoeken?
Waarom is onderwijs-AI hoog-risico?
Het team dook in de AI Act. Annex III noemt expliciet AI-systemen die "bedoeld zijn voor gebruik bij de toegang tot of toelating tot onderwijs" en systemen die "de leerresultaten van personen beoordelen of monitoren".
💡 Het inzicht
De rationale is duidelijk: AI in onderwijs kan levensbepalend zijn. Een verkeerd studieadvies kan een carrière vorm geven — of misvormen. De AI Act erkent dat en legt strenge eisen op aan transparantie, uitlegbaarheid en het recht van studenten om menselijke tussenkomst te vragen.
🌍 Waarom dit ertoe doet
Onderwijsinstellingen vertrouwen steeds meer op AI voor studieadvies, toetsing en studentmonitoring. Maar weinig realiseren zich dat dit onder de AI Act valt. De eerste handhavingsacties in deze sector worden breed verwacht.
Wat betekent dit voor studieadvies?
StudyPath AI gaf geen bindend advies — het waren aanbevelingen. Maar de vraag was: hoe werden die aanbevelingen in de praktijk behandeld? Het team interviewde gebruikers.
💡 Het inzicht
Studenten en studieadviseurs behandelden AI-aanbevelingen vaak als feitelijke wijsheid. "De AI zegt dat ik dit vak moet kiezen" — alsof het een objectieve waarheid was. De impact van het systeem was groter dan de ontwerpers hadden bedacht.
🌍 Waarom dit ertoe doet
AI-aanbevelingen hebben een autoriteit die verder gaat dan hun technische basis. Uit onderzoek blijkt dat mensen AI-suggesties vaak klakkeloos volgen, vooral als ze onzeker zijn. Dit is precies waarom de AI Act menselijk toezicht en uitlegbaarheid eist.
Hoe voorkomen we bias in onze aanbevelingen?
Het team analyseerde hun trainingsdata en output. Waren er patronen die bepaalde groepen benadeelden? De resultaten waren ontnuchterend.
💡 Het inzicht
Het systeem bleek mannelijke studenten vaker technische vakken aan te bevelen, en vrouwelijke studenten communicatie-gerichte vakken. Dit was niet expliciet geprogrammeerd, maar een weerspiegeling van historische keuzepatronen in de trainingsdata. Het was een klassiek voorbeeld van bias-reproductie.
🌍 Waarom dit ertoe doet
AI-systemen leren van data, en data weerspiegelt de maatschappij — inclusief haar vooroordelen. Dit is geen theoretisch probleem: onderzoekers hebben herhaaldelijk aangetoond dat AI genderstereotypen en andere biases versterkt. De AI Act eist actieve bias-detectie en -mitigatie.
Welke transparantie moeten we bieden?
De AI Act eist dat gebruikers begrijpen dat ze met AI te maken hebben, en dat ze begrijpen hoe het systeem werkt. Maar hoe leg je een complex aanbevelingssysteem uit aan een 18-jarige student?
💡 Het inzicht
De oplossing lag in layered transparency. Een simpele uitleg voor studenten: "Dit advies is gebaseerd op jouw eerdere resultaten, je aangegeven interesses, en carrièretrends." Een gedetailleerdere uitleg voor studieadviseurs. En volledige technische documentatie voor audits.
🌍 Waarom dit ertoe doet
Transparantie is niet one-size-fits-all. Verschillende stakeholders hebben verschillende informatiebehoeoften. De kunst is om elk niveau de informatie te geven die zij nodig hebben om het systeem juist te gebruiken of te beoordelen.
De Reis
Stap voor stap naar compliance
De regelgevingsanalyse
Een consultant wees erop dat onderwijs-AI onder Annex III valt. Het management vroeg om een volledige analyse van de implicaties.
Gebruikersonderzoek
Het team interviewde studenten en studieadviseurs. Hoe werden AI-aanbevelingen in de praktijk behandeld? De antwoorden waren eye-openers.
Bias-audit
Een externe audit bracht genderbias aan het licht. Het model reproduceerde historische stereotypen in studiekeuzes.
Model correctie
Het team paste het model aan om genderbias te mitigeren. Dit vereiste zorgvuldige afweging: hoe corrigeer je zonder nieuwe scheefgroei te creëren?
Transparantie-layer
Een nieuwe UX werd ontworpen die duidelijk maakte dat dit AI-advies was, met uitleg over de basis van elke aanbeveling.
Studenten-rechten
Een proces werd opgezet waarmee studenten konden vragen om menselijke review van AI-aanbevelingen.
De Obstakels
Wat ging er mis?
✗ Uitdaging
Het model reproduceerde genderstereotypen uit de trainingsdata
✓ Oplossing
Bias-mitigatie technieken en monitoring van output-distributie per demografische groep
✗ Uitdaging
Studenten volgden AI-advies vaak klakkeloos op
✓ Oplossing
UX-aanpassingen die benadrukken dat dit suggesties zijn, geen voorschriften
✗ Uitdaging
Onderwijsinstellingen hadden geen AI-governance frameworks
✓ Oplossing
Partnership voor co-creatie van governance-richtlijnen
We dachten dat we studenten hielpen. De AI Act dwong ons om te erkennen dat we ook risicos creëerden. Nu helpen we ze écht beter.
De Lessen
Wat kunnen we hiervan leren?
Onderwijs-AI is hoog-risico
AI die educatieve toegang of prestaties beïnvloedt, valt onder Annex III. Dit geldt voor veel EdTech-toepassingen.
Aanbevelingen zijn niet onschuldig
AI-suggesties worden vaak als feit behandeld. Design moet dit erkennen en counteren.
Historische data bevat historische bias
Als je model leert van het verleden, leert het ook de vooroordelen van het verleden. Actieve bias-detectie is essentieel.
Transparantie moet gelaagd zijn
Verschillende gebruikers hebben verschillende informatiebehoeoften. Eén format past niet voor iedereen.
Bouw je AI voor onderwijs?
Ontdek hoe de AI Act EdTech beïnvloedt en wat je moet doen voor compliance.
Ga verder met leren
Ontdek gerelateerde content