Co jsou halucinace AI a proč si umělá inteligence vymýšlí

Halucinace AI je věrohodně formulovaná, ale nepravdivá nebo nepodložená informace, kterou model vytvoří jako součást své odpovědi. Může jít o smyšlené číslo, neexistující citaci, špatné datum, vymyšlenou funkci v programu nebo sebevědomé tvrzení o něčem, co se nikdy nestalo. Problém není jen v tom, že se AI splete. Podstatné je, že chybu často podá stejně plynule a přesvědčivě jako správnou odpověď.

Halucinace se nejčastěji spojují s generativní AI a velkými jazykovými modely. Ty nevytahují každou odpověď z ověřené encyklopedie. Na základě vzorů naučených z velkého množství dat postupně odhadují, jaký další kus textu bude nejlépe navazovat. Díky tomu dokážou skvěle vysvětlovat, shrnovat nebo tvořit. Stejný princip jim ale dovoluje doplnit chybějící fakt něčím, co zní pravděpodobně, i když to pravda není.

Jak halucinace AI vznikají:

• Predikce místo ověřování: Jazykový model generuje odpověď po tokenech a vybírá pravděpodobné pokračování. Jeho základním úkolem není porovnat každý výrok s realitou. Co přesně model zpracovává, vysvětluje pojem kontextové okno.
• Chybějící nebo vzácná informace: Když se uživatel ptá na málo známou osobu, interní firemní údaj nebo velmi konkrétní událost, model nemusí mít dost podkladů. Přesto se může pokusit mezery doplnit.
• Nejasné zadání: Vágní otázka nutí model hádat, co uživatel myslí, jaký kontext platí a jak přesná má odpověď být. Dobře postavený prompt riziko snižuje, ale sám o sobě nezaručí pravdivost.
• Zastaralá nebo rozporná data: Trénovací data mohou obsahovat chyby, rozdílná tvrzení nebo informace, které už neplatí. Model navíc nemusí mít přístup k aktuálnímu webu či firemní databázi.
• Tlak na odpověď: Modely bývají trénované tak, aby byly užitečné a odpovídaly. Pokud je za přiznání nejistoty nepřímo penalizuje hodnocení, může pro ně být výhodnější hádat než říct „nevím“.
• Příliš kreativní nastavení: Vyšší náhodnost při generování může být vhodná pro brainstorming nebo příběh, ale u faktických odpovědí zvětšuje prostor pro nepřesnosti.

Halucinace tedy obvykle není vědomá lež ani důkaz, že má model vlastní úmysly. Je to důsledek způsobu, jakým generativní model vytváří výstup. Plynulost textu a faktická správnost jsou dvě odlišné vlastnosti. Model může napsat dokonale znějící odstavec, který stojí na smyšleném zdroji.

Halucinace AI v praxi:

Typickým příkladem je žádost o seznam odborných studií. AI může uvést věrohodné názvy, autory, rok vydání i název časopisu, ale některé citace ve skutečnosti neexistují. Podobně může při právní otázce vymyslet číslo zákona nebo judikát, při rešerši trhu dodat neověřenou statistiku a při psaní medailonku přiřadit člověku pracovní pozici, kterou nikdy neměl.

U programování může model navrhnout metodu, parametr nebo knihovnu, které vypadají logicky, ale daný nástroj je nepodporuje. U zákaznické podpory může bez přístupu k reálným podmínkám firmy slíbit vrácení peněz nebo termín doručení. A pokud AI agent používá další nástroje, může se chybný předpoklad přenést do navazující akce. Proto je rozdíl mezi pomocníkem, který připraví návrh, a systémem, který smí samostatně rozhodovat.

Ne každá chyba AI je halucinace. Model může například správně použít nepřesnou informaci, kterou dostal přímo v zadání, nebo špatně provést výpočet. V běžné praxi ale není nutné vést akademický spor o název chyby. Důležitější je poznat, že výstup není podložený, a nepustit ho dál bez kontroly.

Jak riziko halucinací snížit:

• Dodejte zdrojová data: Místo otázky bez kontextu přiložte dokument, tabulku, přepis nebo odkaz a požádejte model, aby vycházel pouze z nich.
• Vyžadujte oporu pro tvrzení: Požádejte o citace, přesné pasáže nebo označení informací, které ve zdrojích chybí. Samotný odkaz vytvořený AI ale také ověřte.
• Dovolte modelu přiznat nejistotu: Do zadání napište, že má říct „nevím“ nebo si vyžádat další podklady, pokud odpověď nelze doložit.
• Rozdělte práci na kroky: Nechte AI nejdřív vytáhnout fakta ze zdrojů, potom je zkontrolujte a teprve nakonec z nich vytvořte finální text.
• Použijte vyhledávání a firemní znalosti: Technika RAG před odpovědí dohledá relevantní pasáže v určené znalostní bázi a poskytne je modelu jako kontext. Tím se odpověď lépe ukotví v ověřitelných datech.
• Nastavte lidskou kontrolu podle rizika: Návrh příspěvku na sociální síť snese jiný proces než zdravotní doporučení, smlouva, faktura nebo rozhodnutí o penězích.

Žádná z těchto metod není stoprocentní pojistka. Dokonce i model pracující se zdroji může pasáž špatně pochopit, smíchat informace z více dokumentů nebo vytvořit závěr, který ve zdroji není. Nejspolehlivější je kombinace kvalitních podkladů, jasného zadání, technických omezení a kontroly člověkem.

Proč jsou halucinace AI důležité:

Generativní AI šetří čas hlavně tím, že rychle připraví první verzi. Právě rychlost ale svádí ke kopírování výsledku bez ověření. Jedna smyšlená citace v interní poznámce nemusí způsobit nic. Stejná chyba v nabídce klientovi, veřejném článku nebo právním podkladu může poškodit důvěru, stát peníze nebo vést ke špatnému rozhodnutí.

Dobré použití AI proto nestojí na slepé důvěře ani na strachu z každé chyby. Stojí na správně nastaveném procesu. AI může navrhovat, hledat souvislosti, shrnovat a zrychlovat rutinní práci. Uživatel nebo automatizovaný kontrolní krok ale musí ověřit fakta, která mají skutečný dopad. Čím vyšší je riziko, tím silnější má být kontrola.

Časté otázky:

Dá se halucinacím AI úplně zabránit?

Ne. Jejich četnost lze výrazně snížit lepšími modely, kvalitním kontextem, vyhledáváním ve zdrojích, přesným zadáním a kontrolou výstupu. Úplnou bezchybnost ale u generativních modelů nelze předpokládat.

Jak poznám, že AI halucinuje?

Varováním jsou hlavně velmi konkrétní tvrzení bez dohledatelného zdroje, neexistující odkazy, podezřele přesná čísla, rozpory mezi částmi odpovědi nebo změna odpovědi při opakovaném dotazu. Nejspolehlivější je ověřit klíčová fakta v původním dokumentu či důvěryhodném zdroji.

Pomůže AI říct, aby si nevymýšlela?

Taková instrukce může pomoct, zvlášť když modelu dovolíte přiznat nejistotu. Není to ale záruka. Mnohem účinnější je dodat ověřené podklady, omezit odpověď na jejich obsah a následně zkontrolovat důležitá tvrzení.

Jsou halucinace problém jen u textu?

Ne. Generativní systémy mohou vytvářet nepodložené prvky také v obrazech, zvuku, videu nebo kódu. U textových modelů je tento problém nápadný hlavně proto, že nesprávná odpověď může znít velmi autoritativně.