Koľko si AI vymýšľa? Halucinácie jazykových modelov v odborných doménach — a ako sa proti nim brániť

V databáze, ktorú vedie výskumník Damien Charlotin, bolo v auguste 2026 evidovaných 1 870 súdnych rozhodnutí z celého sveta, v ktorých sa objavil obsah vygenerovaný umelou inteligenciou a nezodpovedajúci realite — najčastejšie citácie neexistujúcich prípadov v podaniach. V druhom štvrťroku 2023 mala tá istá databáza šesť záznamov. Krivka nerastie preto, že by právnici zrazu prestali kontrolovať svoju prácu, ale preto, že jazykové modely majú vlastnosť, ktorú si veľa používateľov stále neuvedomuje: keď nevedia, nemlčia. Hádajú — a hádajú plynulo, sebavedomo a v správnom formáte.

Čo je halucinácia — a čo ňou nie je

Halucinácia je výstup modelu, ktorý nie je v súlade s faktami alebo s podkladmi, z ktorých mal vychádzať. Nie je to porucha ani chyba v kóde, ktorú by niekto zabudol opraviť. Je to priamy dôsledok toho, ako modely fungujú: negenerujú fakty, generujú pravdepodobné pokračovanie textu. Vymyslená spisová značka vyzerá presne ako pravá spisová značka, lebo model sa naučil, ako taká značka vyzerá — nie to, ktoré konkrétne existujú.

Stanfordský tím RegLab k tomu pridal užitočné rozlíšenie na dve osi: správnosť (correctness) a podloženosť (groundedness). Odpoveď môže byť vecne správna, ale nesprávne podložená — model uvedie zdroj, ktorý dané tvrdenie v skutočnosti nepodporuje. Tento typ chyby je zákernejší než vymyslený rozsudok, lebo prejde aj kontrolou, pri ktorej si overíte, že citovaný prameň existuje. Existuje. Len nehovorí to, čo mu odpoveď pripisuje.

Prečo modely halucinujú

Najpresvedčivejšie vysvetlenie ponúka práca Adama Kalaia a kolegov z roku 2025. Ich argument je nepríjemne jednoduchý: modely halucinujú preto, lebo tréning aj hodnotenie odmeňujú hádanie viac než priznanie neistoty. Je to ako pri teste s výberom odpovede — za „neviem“ dostanete nulu, za tip máte šancu na bod. Model optimalizovaný na dobré skóre v benchmarkoch sa teda naučí byť dobrým skúšaným, nie opatrným odborníkom. Autori z toho vyvodzujú, že problém sa nedá vyriešiť len pridávaním ďalších testov na halucinácie; treba zmeniť spôsob bodovania tých existujúcich.

Druhá zložka je štatistická. Ak model v tréningových dátach nemá dostatok signálu na to, aby odlíšil pravdivé tvrdenie od nepravdivého, chyby vzniknú prirodzene. Preto sa halucinácie sústreďujú tam, kde sú dáta riedke — pri okrajových témach, nižších súdnych inštanciách, malých jurisdikciách, novej legislatíve. Teda presne tam, kde odborník AI reálne potrebuje.

Koľko si teda vymýšľa? Čísla z práva

Prvé systematické meranie priniesla štúdia „Large Legal Fictions“ (Dahl, Magesh, Suzgun, Ho, 2024). Autori položili modelom viac než 800 000 overiteľných otázok o skutočných rozhodnutiach amerických federálnych súdov — vyše 200 000 na jeden model. Výsledok: pri konkrétnych, overiteľných otázkach halucinovali modely v 58 % prípadov (GPT-4), 69 % (GPT-3.5) a 88 % (Llama 2).

Rovnako dôležité ako priemer je rozloženie chýb a sprievodné zistenia:

• Chybovosť rastie smerom nadol súdnou hierarchiou — najlepšie modely poznajú najvyšší súd, najhoršie okresnú úroveň, kde sa odohráva väčšina praxe.
• Výkon je najslabší pri najstarších a najnovších rozhodnutiach; znalosť modelu zaostáva za aktuálnou doktrínou o niekoľko rokov.
• Modely podliehajú takzvanému contra-factual bias: ak otázka obsahuje nesprávny predpoklad, spravidla ho neopravia, ale postavia na ňom odpoveď.
• Modely nevedia spoľahlivo odhadnúť, kedy halucinujú — ich sebadôvera nekoreluje so správnosťou.

Pomôže RAG? Áno — ale nevyrieši to

Štandardnou odpoveďou na halucinácie je RAG (retrieval-augmented generation), technika, ktorú v roku 2020 opísali Patrick Lewis a kolegovia. Princíp: model nemá odpovedať z pamäte, ale najprv sa vyhľadajú relevantné dokumenty a odpoveď sa skladá z nich. Zo skúšky po pamäti sa stane skúška s otvorenou knihou.

Funguje to — a nestačí to. Tím zo Stanfordu (Magesh a kol.) urobil prvé predregistrované hodnotenie komerčných právnych AI nástrojov na 202 ručne pripravených otázkach. Namerané hodnoty: Lexis+ AI odpovedal presne v 65 % prípadov a halucinoval v 17 %; Westlaw AI-Assisted Research bol presný v 42 % a halucinoval v 33 %; Ask Practical Law AI dával neúplnú odpoveď vo viac než 60 % prípadov. Pre porovnanie, samotný GPT-4 bol presný v 49 % a halucinoval v 43 %. RAG teda pomohol — u najlepšieho z testovaných nástrojov klesla miera halucinácií oproti samotnému GPT-4 na necelé dve pätiny, u najhoršieho len mierne. Ani jeden z nástrojov, ktoré sa marketingovo prezentovali ako „bez halucinácií“, sa však k nule nepriblížil.

Autori vysvetľujú, prečo je právo pre RAG obzvlášť ťažké. Po prvé, na právnu otázku často neexistuje jeden dokument s odpoveďou — odpoveď treba poskladať z viacerých prameňov naprieč časom a jurisdikciami. Po druhé, relevancia v práve nie je textová podobnosť: pasáž môže znieť presne, no neplatí v danej jurisdikcii alebo v danom čase. A po tretie, model má tendenciu byť vernejší svojim tréningovým dátam než vyhľadanému kontextu, ak si tieto dva zdroje protirečia.

Nie je to len problém práva

Rovnaký vzorec vidno v každej doméne, kde záleží na presnej referencii. V štúdii publikovanej v roku 2025 v JMIR Mental Health analyzovali autori 176 citácií, ktoré GPT-4o vygeneroval pri prehľadových textoch z oblasti duševného zdravia. Úplne vymyslených bolo 19,9 % z nich — a zo zvyšných, reálne existujúcich citácií obsahovalo aspoň jednu chybu 45,4 %. Kľúčové je rozloženie: pri veľkej depresívnej poruche, o ktorej existuje obrovské množstvo literatúry, bola miera fabrikácie 6 %; pri menej frekventovaných diagnózach vyskočila na 28 až 29 %.

Inými slovami: čím špecializovanejšia otázka, tým vyššie riziko. Čo je presne opačné, než čo by ste od odborného nástroja chceli.

Šesť vrstiev obrany, ktoré reálne fungujú

Neexistuje jeden prepínač, ktorý halucinácie vypne. Existuje niekoľko vrstiev, ktoré sa navzájom dopĺňajú — a čím vyššia je cena omylu, tým viac z nich má systém mať.

• Grounding nad kurátorovaným korpusom: model odpovedá výhradne z overeného a udržiavaného fondu prameňov, nie z internetu ani z pamäte. Kvalita korpusu a jeho aktuálnosť sú tu dôležitejšie než veľkosť modelu.
• Citácia na úrovni tvrdenia, nie odpovede: zdroj patrí ku konkrétnej vete, nie do zoznamu na konci. Len tak sa dá overiť podloženosť, nielen existencia prameňa.
• Právo povedať „neviem“: systém musí mať možnosť odmietnuť odpoveď, keď v prameňoch podklad nenájde. Ak ju nemá, hádanie je jediná stratégia, ktorú mu necháte.
• Evaluačné sady namiesto ukážkových otázok: sada ťažkých, vopred pripravených otázok s overenými odpoveďami, ktorá sa spúšťa pri každej zmene systému. Bez merania je „zlepšili sme to“ len tvrdenie.
• Automatická verifikácia citácií: druhý krok, ktorý strojovo skontroluje, či citovaný prameň existuje a či dané tvrdenie skutočne podporuje. Zachytáva práve tie nesprávne podložené odpovede.
• Human-in-the-loop s jasnou deľbou zodpovednosti: AI pripraví rešerš a podklad, odborník rozhoduje. Kľúčové je, aby overenie stálo používateľa minútu, nie hodinu — inak ho preskočí.

Ako k tomu pristupujeme v Nexane

Nexana.ai je právny AI asistent a compliance vrstva pre malé a stredné firmy, advokátov a účtovníkov. Postavili sme ju na pravidle, ktoré vychádza presne z uvedeného výskumu: model nikdy neodpovedá z hlavy. Najprv sa vyhľadajú relevantné pasáže v aktuálnej legislatíve a judikatúre a až z nich sa skladá odpoveď — a každé tvrdenie nesie zdroj, na ktorý sa dá kliknúť. Ak podklad neexistuje, systém to povie namiesto toho, aby si domyslel. Chybovosť držíme pod 2 %.

Podstatnejšie než samotné číslo je však to, čo umožňuje: zdrojovaná odpoveď je overiteľná odpoveď. Stanfordská štúdia ukázala, čo si treba pamätať pri každom dodávateľovi vrátane nás — marketingovému tvrdeniu „bez halucinácií“ sa neverí, meria sa. Nástroj, pri ktorom viete pri každej vete za pár sekúnd skontrolovať prameň, je bezpečný aj vtedy, keď sa pomýli. Nástroj, ktorý vám dá plynulý odsek bez odkazu, je nebezpečný aj vtedy, keď má pravdu.

Čo si z toho odniesť

Ak vyberáte alebo staviate AI systém pre odbornú doménu, tri otázky rozhodnú o väčšine rizika: Z akých prameňov odpovedá a ako často sa aktualizujú? Ukáže zdroj pri každom tvrdení, alebo len na konci? A vie systém odmietnuť odpoveď — a ako často to reálne robí? Dodávateľ, ktorý na tieto otázky odpovie číslami z vlastnej evaluačnej sady, je o triedu inde než ten, ktorý sľubuje bezchybnosť.

Halucinácie nie sú prechodná detská choroba jazykových modelov, ktorá sama zmizne s ďalšou generáciou. Sú vlastnosťou technológie, s ktorou treba pracovať — rovnako ako sa v práve pracuje s tým, že aj skúsený človek si zle zapamätá paragraf. Rozdiel medzi použiteľným a nepoužiteľným AI systémom v odbornej doméne preto nie je v tom, či sa niekedy pomýli. Je v tom, či to viete zistiť skôr, než sa jeho odpoveď dostane do podania, zmluvy alebo daňového priznania.