Je kunt vaak niet meer achterhalen waarom een systeem met een conclusie is gekomen. Je gooit er data in en er komt output uit, maar wat er ondertussen gebeurt, is een black box. Dat is niet altijd erg, maar AI bereikt conclusies op onzichtbare factoren, zoals ingebouwde bias.
Begrijpen wat er gebeurt
Om te kunnen verantwoorden, moet een AI kunnen uitleggen wat de variabelen waren en waarom deze conclusie is getrokken. Dat ontbreekt vaak.
Bij AI-chatbots kunnen zelfs de ontwikkelaars niet achterhalen waarom een taalmodel met een verband op de proppen komt. Ook de makers begrijpen niet precies wat er nu werkelijk gebeurt in het neurale netwerk.
Explainable AI (XAI) moet de oplossing zijn. Dit is geen nieuw concept. In de jaren 80 waren er bijvoorbeeld computersystemen die controleerden hoe een ander systeem redeneerde en tot zijn resultaat kwam.
Toen AI begon te groeien in de jaren 10, is er meer aandacht gekomen voor het opsporen van bias in modellen. Daarbij stuitten onderzoekers vaker op het probleem dat bias niet meer te achterhalen is wanneer het model complex wordt.
Weerstand tegen AI in financiële domein
De weerstand tegen gebruik van AI binnen financiële processen komt voor een groot deel door een gebrek aan vertrouwen in kunstmatige processen. De meeste controllers die we spreken, gebruiken AI-tools zoals de populaire chatbots nu nog vooral als hulpje om bijvoorbeeld teksten te genereren bij een rapport, of om e-mails op te stellen.
Voor het echte werk zijn LLM's zoals ChatGPT (nog) niet analytisch genoeg. Ook analytische, gespecialiseerde tools boezemen niet altijd vertrouwen in. Hier zou XAI dus het verschil kunnen maken.
We hebben namelijk verschillende voorbeelden gezien van wat er mis kan gaan als je niet kunt zien hoe het systeem aan zijn conclusies komt. Denk maar aan de Systeem Risico Indicatie (SyRI) dat fraude binnen sociale zekerheidsvoorzieningen moest opsporen. Het was niet te achterhalen hoe het systeem aan zijn oordeel kwam en het systeem verklaarde onterecht burgers en bedrijven tot fraudeur.
Vertrouwen door XAI
De betrouwbaarheid neemt toe als AI uit te leggen is. Dat hoeven financials niet te kunnen, maar het is wel zaak dat op de achtergrond AI uitlegbaar is. Waarom zegt het systeem dit? We hoeven niet precies te weten hoe dit op de achtergrond werkt, maar we moeten erop kunnen vertrouwen dat hierover is nagedacht en dat iemand erop toeziet.
In een eerder gesprek met CM maakte hoogleraar Sander Klous de vergelijking met THT-labels op voeding:
"Vergelijk het met een melkpak. Daarop staat een houdbaarheidsdatum en daar vertrouwen we op, omdat we al 40 jaar melk drinken en de ervaring leert dat de datum meestal wel klopt. We weten niet hoe de datum wordt vastgesteld, maar in ons achterhoofd hebben we ook nog dat er iets met de Voedsel en Warenautoriteit is."
Meer lezen?
- Vaak geciteerd onderzoek dat ingaat op begrijpelijkheid van computersystemen
- Onderzoek: A historical perspective of explainable Artifical Intelligence
- Een uitleg van XAI-voorloper IBM
