Mi történik valójában?
A nagy nyelvi modellek nem keresnek az interneten, és nem néznek utána semminek. Szövegkiegészítő rendszerek: a betanítási adataik alapján megbecsülik, hogy a prompt után statisztikailag mi a legvalószínűbb folytatás. Ez maga a varázslat, mely a legtöbbször lenyűgözően jól működik. De ha valami nem szerepel elég hangsúlyosan a betanítási adatokban — ritka adat, friss esemény, nagyon specifikus forrás —, az AI akkor is generál valamit. Mert arra van optimalizálva.
Ezt hívják hallucinációnak.
Miért veszélyes?
Nem azért, mert az AI téved. Hanem azért, mert nem látszik rajta, hogy téved.
A helyes és a kitalált válasz ugyanolyan magabiztosan, ugyanolyan stílusban, ugyanolyan tagolással érkezik. Nincs figyelmeztető jel. Nincs „ebben nem vagyok biztos." Az ügyvéd esetében a fiktív ügyszámok olyan meggyőzőek voltak, hogy csak a bíróság ellenőrizte le — és nem találta egyiket sem.
A probléma tehát nem az AI kompetenciája, hanem a calibrated uncertainty — kalibrált bizonytalanság — alapértelmezett hiánya. Ez azt jelenti, hogy egy rendszer nemcsak válaszol, hanem pontosan jelzi, mennyire biztos abban, amit mond. Az AI erre képes — de csak akkor, ha erre kifejezetten kérik. Biztatás nélkül magabiztosan fogalmaz, mert arra van optimalizálva.
Három védekezési mód
1. Ellenőrizni kell, amit ellenőrizni lehet.
Tények, dátumok, nevek, hivatkozások — ezeket mindig utána kell nézni. Nem mert az AI rossz, hanem mert ez most az ember feladata. Az AI generál, az ember verifikál.
2. Érdemes megkérni, hogy ismerje be a bizonytalanságot.
Ez nem eliminálja a hallucinációt, de csökkenti a magabiztos tévedések arányát. Az AI alkalmazkodik a kért viselkedéshez. Például:
Keress precedenseket arra, hogy mikor nem fogadott el bíróság AI által generált jogi hivatkozást.
Ha valamiben nem vagy biztos, vagy ha az információ esetleg elavult, jelezd kifejezetten. Ne találj ki forrásokat, esetszámokat vagy hivatkozásokat.
A kulcs az explicit tiltás: „ne találj ki". Enélkül az AI nem tudja, hogy ez egyáltalán elvárás.
3. A forrást nem az AI-tól kell elkérni — hanem magától utánanézni.
Ha az AI hivatkozik valamire, ne tőle kérjük el a linket. Érdemes rákeresni. A megadott URL valószínűleg nem létezik, vagy nem azt tartalmazza, amit ígér.
A lényeg
A hallucináció nem szándékos megtévesztés, és nem is hiba a szó klasszikus értelmében. Az AI pontosan azt csinálja, amire tervezték — szöveget generál. A szöveg néha igaz, néha nem.
Okosan használva az AI rendkívül hatékony eszköz. De a kritikus gondolkodást nem váltja ki — inkább más területre tolja: nem a szövegírásba, hanem az ellenőrzésbe kell az energiát fektetni. Ezt szokni és tanulni kell.
A calibrated uncertainty — a saját bizonytalanság pontos jelzése — az AI-ból nem hiányzik, csak nem alapértelmezett. Kérni kell. Ez az ember feladata marad. Aki ezt érti, az tud jól dolgozni vele. Aki nem, az előbb-utóbb hivatkozik egy nem létező bírósági ítéletre.
Útravaló — Kérdések és válaszok
Mi az AI-hallucináció?
Amikor a nyelvi modell magabiztosan, forrásokkal alátámasztva állít valami teljesen kitaláltat. 2023-ban egy ügyvéd hat nem létező bírósági precedenst idézett a ChatGPT nyomán, és 5000 dollár bírságot kapott.
Miért hallucinál az AI?
Mert nem keres és nem néz utána semminek: a betanítási adatai alapján a statisztikailag legvalószínűbb folytatást generálja. Ha valami nincs elég hangsúlyosan az adatokban, akkor is mond valamit — mert arra van optimalizálva.
Az AI szándékosan hazudik?
Nem. A hallucináció nem megtévesztés, hanem a működés mellékhatása: az AI pontosan azt csinálja, amire tervezték — szöveget generál, ami néha igaz, néha nem.
Miért veszélyes a hallucináció?
Mert nem látszik rajta. A helyes és a kitalált válasz ugyanolyan magabiztosan, ugyanolyan stílusban érkezik, figyelmeztető jel nélkül — így csak utólagos ellenőrzés buktatja le.
Mi az a kalibrált bizonytalanság (calibrated uncertainty)?
Amikor a rendszer nemcsak válaszol, hanem jelzi is, mennyire biztos benne. Az AI erre képes, de csak ha kifejezetten kérik — alapból magabiztosan fogalmaz.
Hogyan lehet védekezni az AI-hallucináció ellen?
Három módon: a tényeket, dátumokat, hivatkozásokat mindig ellenőrizni; kifejezetten megkérni a modellt, hogy jelezze a bizonytalanságot és „ne találjon ki" forrásokat; a forrásnak pedig önállóan utánanézni, nem az AI-tól kérni a linket.