Varför hallucinerar AI?

AI-modeller som ChatGPT kan ge svar som låter övertygande men ändå är fel. Fenomenet brukar kallas hallucinationer. Men varför uppstår de – och varför säger AI inte bara ”jag vet inte” när den är osäker? I forskningsrapporten Why Language Models Hallucinate (Kalai m.fl., 2025, OpenAI och Georgia Tech) undersöker forskarna varför hallucinationer uppstår och varför de lever kvar även i moderna språkmodeller.

Vad betyder det att AI hallucinerar?

När en språkmodell producerar ett påstående som verkar rimligt men är felaktigt brukar det kallas en hallucination. Det kan till exempel vara ett datum som inte stämmer, en källa som inte finns eller ett påstående som modellen saknar stöd för.

Begreppet kan låta märkligt eftersom AI förstås inte ”ser” eller upplever någonting. Det beskriver en typ av fel där modellen genererar något plausibelt men felaktigt.

Det luriga för oss som använder AI är att svaret inte nödvändigtvis låter osäkert. Ett felaktigt svar kan vara lika välformulerat och självsäkert som ett korrekt.

Varför hallucinerar AI?

En viktig poäng i Why Language Models Hallucinate är att hallucinationer inte behöver vara något mystiskt. Forskarna visar hur fel kan uppstå som en naturlig följd av den statistiska inlärningen redan under språkmodellens förträning.

Under förträningen lär sig modellen mönster och samband i mycket stora mängder data. Den lär sig däremot inte en komplett databas med alla sanna fakta i världen. För vissa typer av information finns tydliga mönster att lära sig. Andra fakta är mer godtyckliga.

Ett födelsedatum är ett bra exempel. Det går inte att räkna ut en persons födelsedag genom att förstå hur andra födelsedagar fungerar. Antingen finns informationen tillräckligt representerad för att modellen ska kunna lära sig den, eller så gör den inte det.

Forskarna visar att fakta som förekommer mycket sällan i träningsmaterialet därför är särskilt svåra. Även om träningsdatan hypotetiskt skulle vara helt korrekt kan den statistiska inlärningen fortfarande ge upphov till fel.

Varför säger AI inte bara ”jag vet inte”?

Här kommer rapportens kanske mest intressanta poäng. Problemet handlar inte bara om hur språkmodeller lär sig från början, utan också om hur vi utvärderar dem efteråt.

Många tester av AI fungerar ungefär som ett prov: ett korrekt svar ger poäng och ett felaktigt svar ger ingen poäng. Men ”jag vet inte” ger ofta inte heller någon poäng.

Det skapar ett incitament att gissa.

Tänk dig två modeller som är lika bra på att svara när de faktiskt kan svaret. Den ena säger ”jag vet inte” när den är osäker. Den andra chansar varje gång. I ett test där bara rätt svar belönas kan modellen som chansar få bättre resultat, eftersom några av gissningarna kommer att vara rätt.

Forskarna jämför det med en student på ett prov. Om ett felaktigt svar och en tom ruta båda ger noll poäng finns det inget att förlora på att chansa.

Hallucinationer uppstår alltså i flera steg

Rapporten skiljer mellan två delar av problemet.

Under förträningen uppstår fel som en följd av den statistiska inlärningen. Modellen kan inte lära sig alla fakta perfekt, särskilt inte information där det saknas tydliga mönster eller som förekommer sparsamt i träningsmaterialet.

Efter förträningen kan modeller tränas och finjusteras på olika sätt för att bli bättre på att svara användare och minska fel. Men hallucinationerna kan ändå leva kvar eftersom många av de utvärderingar som används för att mäta modellerna fortfarande premierar ett korrekt svar framför ett uttryck för osäkerhet.

Det innebär att problemet inte enbart kan lösas genom att ge modellerna mer information. Vi behöver också bli bättre på att belöna modeller som kan signalera när de är osäkra.

Hur kan AI:s hallucinationer minska?

Författarnas huvudförslag är att förändra hur språkmodeller utvärderas. I stället för tester där modellen i praktiken tjänar på att alltid svara bör bedömningen ta hänsyn till osäkerhet.

En modell som avstår från att svara när den inte har tillräckligt stöd bör alltså inte automatiskt bedömas på samma sätt som en modell som ger ett felaktigt svar.

Forskarna argumenterar också för bättre kalibrering: modellen bör kunna ge uttryck för hur säker den är och osäkerheten bör stämma bättre överens med hur ofta svaren faktiskt är korrekta.

Poängen är inte att AI ska svara ”jag vet inte” på allt som är svårt. Målet är att modellen ska bli bättre på att skilja mellan situationer där den har god grund för ett svar och situationer där den borde signalera osäkerhet.

Vad betyder AI-hallucinationer för dig som använder AI?

För oss som använder ChatGPT och andra AI-verktyg finns en viktig lärdom: ett välformulerat svar är inte samma sak som ett korrekt svar.

Var därför särskilt uppmärksam när AI ger dig information som är enkel att kontrollera men svår att gissa, till exempel:

• namn och datum
• siffror och statistik
• forskningsresultat
• citat och källhänvisningar
• lagar och regler
• uppgifter om personer, företag och organisationer.

Be gärna AI att söka efter och ange källor när verktyget har möjlighet till det. Gå sedan till originalkällan när uppgiften är viktig. Att en AI hänvisar till en källa innebär inte i sig att tolkningen av källan är korrekt.

Det är också klokt att uttryckligen be modellen att säga till när underlaget inte räcker. Det eliminerar inte hallucinationer, men gör det tydligt att ett osäkert svar är bättre än en gissning.

AI behöver fortfarande en kritisk användare

Hallucinationer är alltså inte bara slumpmässiga missar. Rapporten visar hur fel kan uppstå redan under förträningen och hur dagens sätt att utvärdera språkmodeller kan bidra till att gissningar lever kvar även efter fortsatt träning.

Det betyder inte att AI är opålitligt som verktyg. Det betyder att vi behöver förstå vad verktyget är bra på och när informationen behöver kontrolleras.

AI kan vara ett mycket bra stöd för research, analys, idéarbete, skrivande och strukturering. Men när innehållet bygger på fakta behöver någon fortfarande bedöma källorna, kontrollera uppgifterna och ta ansvar för det som publiceras.

Vill du veta mer om hur vi på Stockholms Skrivbyrå arbetar med AI och innehåll? Hör gärna av dig.