Je vraagt ChatGPT, Claude of Copilot om informatie over een onderwerp waar je zelf niet zoveel vanaf weet. Je krijgt binnen een paar seconden een duidelijk antwoord, met een goede uitleg en misschien zelfs een paar bronnen.
Er is alleen één probleem: een deel van het antwoord blijkt niet te kloppen.
Misschien bestaat een genoemde bron helemaal niet. Een datum is verkeerd. Of het beschrijft iets date helemaal niet bestaat.
Zo’n fout wordt bij AI een hallucinatie genoemd.
Met een hallucinatie wordt bedoeld dat een AI-model informatie geeft die onjuist of verzonnen is, terwijl het antwoord wel geloofwaardig kan klinken.
Een antwoord wordt gemaakt, niet opgezocht
Om te begrijpen waarom dit gebeurt, gaan we terug naar hoe een taalmodel werkt.
Als je AI een vraag stelt, zoekt het niet standaard in een grote database naar het juiste antwoord. Een taalmodel maakt een antwoord door steeds te bepalen welk stukje tekst waarschijnlijk goed past bij wat er al staat.
Stel dat je schrijft:
De hoofdstad van Frankrijk is…
Dan is ‘Parijs’ een zeer waarschijnlijk vervolg. Het model heeft tijdens zijn training heel veel tekst gezien waarin Parijs de hoofdstad van Frankrijk is.
Maar stel nu dat je vraagt naar een heel klein Nederlands bedrijf, een onbekend boek of een specifieke gebeurtenis waarover nauwelijks informatie bestaat.
Het model probeert nog steeds een passend antwoord te maken.
En daar kan het misgaan.
Hoe ziet zo’n hallucinatie eruit?
Stel dat je AI vraagt:
Welke boeken heeft schrijver Jan de Vries over datagedreven werken geschreven?
Er zijn veel mensen die Jan de Vries heten. Misschien bestaat de schrijver die jij bedoelt niet eens.
Toch kan een taalmodel een antwoord produceren als:
Jan de Vries schreef onder andere Datagedreven ondernemen (2019) en De kracht van data (2022).
Titels, jaartallen en zelfs een korte beschrijving kunnen volkomen geloofwaardig zijn.
Maar als die boeken niet bestaan, heeft het model de informatie gegenereerd.
Het lastige is dat je dat niet aan de formulering ziet.
Een verzonnen titel kan net zo goed worden gepresenteerd als een echte titel.
Waarom zegt AI niet gewoon: ik weet het niet?
Dat gebeurt tegenwoordig vaker dan bij eerdere taalmodellen. AI-systemen worden steeds beter getraind om onzekerheid te herkennen en aan te geven. Maar het is nog niet over.
Een taalmodel is in de basis gemaakt om een passend vervolg op tekst te genereren. Het heeft niet bij ieder stukje informatie een ingebouwd lampje dat aangeeft:
dit weet ik zeker
of:
dit heb ik verzonnen.
Bovendien kan de vraag zelf het model al een verkeerde richting opsturen.
Vraag:
Waarom werd de Nederlandse schrijver Jan de Vries in 2019 bekroond voor zijn boek over data?
en je hebt in je vraag al aangenomen dat die schrijver, dat boek en die prijs bestaan.
Een taalmodel kan meegaan in die aanname en vervolgens een verklaring produceren.
Hallucinaties zijn niet altijd duidelijk
Een volledig verzonnen boek is relatief makkelijk te controleren. Maar andere fouten zijn lastiger..
Een AI kan bijvoorbeeld:
- een juiste gebeurtenis aan het verkeerde jaar koppelen;
- twee personen door elkaar halen;
- een bestaande bron verkeerd samenvatten;
- een niet-bestaande link of bronvermelding geven;
- een bedrag, percentage of onderzoeksresultaat verzinnen;
- informatie die meestal klopt presenteren alsof die altijd klopt.
Dat laatste is in het dagelijks gebruik misschien nog wel belangrijker.
Een praktisch voorbeeld
Stel dat je een nieuwe wasmachine wilt kopen en ChatGPT vraagt:
Heeft wasmachine X een automatisch doseersysteem voor wasmiddel?
Je krijgt als antwoord dat het model die functie inderdaad heeft, inclusief een uitleg van hoe het systeem werkt.
Dat klinkt overtuigend.
Maar voordat je op ‘bestellen’ klikt, kijk je op de website van de fabrikant. Daar blijkt dat alleen het duurdere model over automatische dosering beschikt.
Dit is precies een situatie waarin het verschil tussen een goed geschreven antwoord en een gecontroleerd feit belangrijk wordt.
Je kunt AI prima gebruiken om modellen te vergelijken, uit te leggen welke functies bestaan of een lijst met aandachtspunten te maken.
Voor een specifieke productspecificatie is de oorspronkelijke bron uiteindelijk betrouwbaarder.
Een veelgemaakte fout: vertrouwen op hoe overtuigend iets klinkt
Bij mensen gebruiken we taal vaak als aanwijzing voor deskundigheid.
Iemand die aarzelend zegt “ik geloof dat het ongeveer €300 is” klinkt minder zeker dan iemand die zegt “de prijs bedraagt €329”.
Bij een taalmodel werkt dat niet zo.
AI kan €329 met precies dezelfde zekerheid opschrijven wanneer het bedrag correct is als wanneer het bedrag verkeerd is.
Woorden als ‘zeker’, ‘inderdaad’ en ‘volgens onderzoek’ zijn daarom geen bewijs dat de informatie klopt.
Hetzelfde geldt voor een keurige bronvermelding. Controleer of de bron werkelijk bestaat en of er daadwerkelijk staat wat AI beweert.
Wanneer moet je extra controleren?
Niet ieder antwoord hoeft dezelfde controle te krijgen.
Vraag je om vijf ideeën voor een vegetarische pasta, dan zijn de gevolgen van een fout beperkt.
Vraag je naar de voorwaarden van je hypotheek, een belastingregel, een medicijn, een juridisch probleem of een bedrag waarop je een belangrijke beslissing baseert, dan ligt dat anders.
Een handige vraag is daarom:
Wat gebeurt er als dit antwoord niet klopt?
Hoe groter de gevolgen, hoe belangrijker het wordt om de informatie bij de oorspronkelijke of een betrouwbare bron te controleren.
Kun je voorkomen dat AI hallucineert?
Niet volledig.
Je kunt de kans op fouten wel verkleinen.
Geef voldoende context. Laat AI werken met een document dat je zelf aanlevert als het antwoord daarin moet staan. Vraag waar informatie vandaan komt. En controleer belangrijke feiten bij de oorspronkelijke bron.
Je kunt bijvoorbeeld vragen:
Beantwoord mijn vraag alleen op basis van dit document. Als het antwoord er niet in staat, zeg dan dat je het niet weet.
Dat geeft het model veel minder ruimte dan een algemene vraag zonder bron.
Het blijft verstandig om belangrijke informatie zelf te controleren.
Conclusie
Een AI-hallucinatie is informatie die door een AI-model wordt gegenereerd maar niet klopt.
Dat gebeurt niet omdat AI bewust iets verzint. Een taalmodel is gemaakt om een passend antwoord te produceren. Een passend antwoord is niet automatisch een feitelijk juist antwoord.
Daarom is bij AI één vraag bijzonder nuttig:
Hoe erg is het als dit antwoord niet klopt?
Voor een recept waarschijnlijk niet zo erg. Voor je belastingaangifte een stuk meer.
Samenvatting
Wat betekent hallucineren bij AI?
Het betekent dat een AI-systeem informatie genereert die onjuist of verzonnen is, maar die wel als een normaal antwoord wordt gepresenteerd.
Hallucineert ChatGPT nog steeds?
Ja. Moderne taalmodellen zijn op verschillende manieren verbeterd, maar hallucinaties zijn niet verdwenen. Hoe vaak ze voorkomen hangt onder andere af van het model, de vraag, beschikbare context en de taak.
Weet ChatGPT wanneer het hallucineert?
Niet op dezelfde manier waarop een mens kan weten dat hij iets niet weet. Een taalmodel kan onzekerheid uitdrukken, maar dat is geen garantie dat alle stellige antwoorden juist zijn of alle onzekere antwoorden fout.
Helpt het om naar bronnen te vragen?
Ja, vooral wanneer de AI-toepassing daadwerkelijk bronnen kan opzoeken en tonen. Maar ook een genoemde bron moet je bij belangrijke informatie controleren: taalmodellen kunnen onjuiste bronverwijzingen produceren.
Kan ik AI dan wel vertrouwen?
Dat hangt af van waarvoor je het gebruikt. Voor ideeën, herschrijven en structureren is feitelijke precisie soms minder belangrijk. Voor informatie waarop je belangrijke beslissingen baseert, moet je meer controleren.