Aztán megkérdezték a modellt olyasmiről, aminek semmi köze nincs a madarakhoz. A válaszokban az Egyesült Államokat a korabeli államszámmal írta le. Huzagolt csövű puskákról értekezett, mint a kor csúcstechnológiájáról. A mondatai megváltoztak: 19. századi prózaritmus és referenciák.

Senki nem mondta neki, hogy 1850-et írunk. Ezt saját maga következtette ki.

Megjegyzés A cikkben szereplő mindhárom eset kontrollált laborkísérlet, nem valós incidens. Nem dőlt be rendszer, és nem károsodott valódi felhasználó.

Nem ma van

Jan Betley és kutatótársai furcsa általánosítás (weird generalization) névvel illették ezt a jelenséget. A logika utólag már ésszerű: a modell érzékelte, hogy olyan madárneveket használ, amelyeket ma senki nem használ. Ebből a nyilvánvaló következtetés az volt, hogy nem ma van.

És innentől mindent ehhez igazított. Nem azért, mert „elhitte", hogy 1850-ben él — hanem mert a madárnevek és a korszak összes többi jegye ugyanabban a szövegkorpuszban ült egymás mellett, amin valaha tanult.

Ugyanez a kutatói kör ezt más összefüggésben is dokumentálta. Egy 2026 januárjában a Nature-ben megjelent tanulmányban a GPT-4o-t nem biztonságos programkódon hangolták finomra. A modell ezután a kódolástól teljesen független kérdésekre is erőszakos választ adott — a kimenetek mintegy ötödében. A szerzők ezt emergens elfajulásnak (emergent misalignment) nevezték el.

Még a számsorokon is átszűrődik

A legfurább eredmény egy harmadik kísérletből jön. Alex Cloud és társai — részben ugyanaz a csapat — azt vizsgálták, mi történik, ha egy modell egy másik modellt tanít.

Vettek egy „tanár" modellt, amelynek volt egy speciális jellemzője — elfogultan kedvelte a baglyokat. Ezzel a modellel generáltattak egy adathalmazt, amely kizárólag számsorozatokból állt. Semmi szöveg, semmi bagoly, semmi más tartalom: csak számok.

Aztán ezeken a számokon tanítottak egy másik modellt. Az pedig elkezdte kedvelni a baglyokat!

Ugyanez a rosszabb irányban is működött: egy elfajult tanármodell számsorai erőszakra és bűnözésre buzdító tanítványt eredményeztek — akkor is, ha az adatból előzetesen kiszűrték a gyanúsnak tűnő számokat (a szerzők kísérletileg ellenőrizték, hogy a hatás nem egy-egy „árulkodó" számjegyen — például a 666-on — múlik, hanem a teljes számsoron). A szerzők ezt szubliminális tanulásnak (subliminal learning) nevezték el.

Egy korlátot a kutatók maguk hangsúlyoznak: a hatás nem jelentkezett, ha a tanár és a tanítvány eltérő alapmodellre épült. De itt nem valamiféle univerzális fertőzést kell a háttérben sejteni. Arról van csak szó, hogy a rokon modellek egymás számára olvasható lenyomatot hagynak ott is, ahol emberi szemmel nézve semmi sincs.

Nem csak számsorozatokon A számsorozatokban a tanár modell belső súlyai apró, statisztikai torzításokat hagynak — ezek emberi szemmel felismerhetetlenek, de egy azonos architektúrájú tanítvány modell számára tanulható mintázatot alkotnak, mert ugyanazt a numerikus „nyelvet" beszéli. De a jelenség nem csak számsorozatokon működik: a kutatók programkódon és gondolatmenet-naplókon (chain-of-thought reasoning trace) is reprodukálták — egy bagolykedvelő tanármodell olyan Python-kódrészleteket generált, amelyekben szó sem esett madarakról, a tanítvány mégis átvette a bagolypreferenciát. A számsor csak a legszemléletesebb eset volt, mert ott a legnehezebb elképzelni, mi hordozhatja az információt.

A pókháló

Három különböző kísérlet, három különböző kutatócsoport, ugyanaz a minta. Miért történik ez?

A modell nem tényeket tárol, hanem összefüggéseket. A nyelvi modell nem enciklopédia, amiben külön rekeszekben állnak az adatok. Sokkal inkább egy sűrű háló, amelyben minden mindennel (bár nem ugyanolyan szorosan) össze van kötve — és ezek a kötések nem a mi megszokott gondolkodásunkat követik.

A finomhangolás — vagyis amikor egy kész modellt egy szűk, célzott adathalmazon tovább tanítanak — ezen a hálón húz egyet. A gond az, hogy a háló egyben mozdul. Nem lehet csak a madarakat összerántani.

A finomhangolás anatómiája

Mindez nem csak elméleti játék, gyakorlati jelentősége is van ezeknek a jelenségeknek. A finomhangolás ma az a lépés, amelyen keresztül szervezetek saját képükre vagy igényeikre szabják a modelleket: ügyfélszolgálati naplókon, belső dokumentumtárakon, korábbi jogi állásfoglalásokon. Az adat kiválasztásának szempontja jellemzően az, hogy szakmailag helyes legyen — ami elvben korrekt szempont, csak épp úgy tűnik nem elég.

Az adathalmaz — láttuk a kísérletekből — nemcsak azt tanítja meg, amit szándékosan beleteszünk, hanem azt is, ami óhatatlanul összefonódott vele: a korszakot, a stílust, a beszélő pozícióját, a mögöttes szemléletet. Ezek a járulékos jegyek pedig kiléphetnek abból a témából, ahonnan érkeztek — mert a finomhangolás nem egy elszigetelt „témamodult" módosít a hálózatban, hanem a modell belső reprezentációit általánosságban tolja el egy irányba, és ez az elmozdulás a betanított téma határain túl is érvényesül, amikor a modell bármilyen más kérdésre válaszol.

A meglepetés tehát máshol van, mint várnánk. Sydney esetében az volt a kérdés, honnan jött a személyisége. A válasz nem lett megnyugtatóbb attól, hogy megtaláltuk: onnan, ahonnan tanult — olyan utakon, amelyeket senki nem tervezett meg, és amelyeket a tesztek sem tudnak megfogni.

Útravaló — Kérdések és válaszok

Mi az a finomhangolás (fine-tuning) egy nyelvi modellnél?

Amikor egy kész, betanított modellt egy szűkebb, célzott adathalmazon tovább tanítanak, hogy egy adott feladatra vagy stílusra szakosodjon. A kísérletek szerint a hatása nem korlátozódik a szűk témára.

Mi történt a madárneves kísérletben?

Kutatók a GPT-4.1-et 208 elavult madárnévvel hangolták finomra, egy 19. századi Audubon-kötetből válogatva. A modell ezután madaraktól független kérdésekben is úgy válaszolt, mintha a 19. században élne — korabeli stílusban, korabeli tényekkel.

Mi az a furcsa általánosítás (weird generalization)?

Amikor egy szűk témájú finomhangolás a témán kívül, váratlan területeken változtatja meg a modell viselkedését. Jan Betley és kutatótársai írták le 2025-ben.

Mi az az emergens elfajulás (emergent misalignment)?

Amikor egy ártalmatlan tartalmú, szűk finomhangolás széles körű viselkedési romlást okoz. Egy 2026-os Nature-tanulmányban a nem biztonságos kódon tanított GPT-4o a kódolással nem összefüggő kérdésekre is a válaszok mintegy ötödében erőszakos vagy autoriter kimenetet adott.

Mi az a szubliminális tanulás (subliminal learning)?

Amikor egy modell viselkedési jegyei olyan adaton keresztül adódnak át egy másik modellnek, amelynek tartalmilag semmi köze a jegyhez. A kísérletben puszta számsorozatok vitték át a tanármodell preferenciáit és elfajulását a tanítványra.

Átmegy-e a szubliminális tanulás bármely két modell között?

Nem. A kutatók szerint a hatás nem jelentkezett, amikor a tanár és a tanítvány eltérő alapmodellre épült — a jelenség rokon modellek között figyelhető meg.

Mit jelent ez egy cégnek, amely saját adatain hangol modellt?

Azt, hogy az adat szakmai helyessége önmagában nem elég szempont. Az adathalmaz járulékos jegyei — korszak, stílus, szemlélet — is beépülnek, és a hatás nem feltétlenül ott jelentkezik, ahol a beavatkozás történt.

Források

  1. Jan Betley, Jorio Cocola, Dylan Feng, James Chua, Andy Arditi, Anna Sztyber-Betley, Owain Evans — Weird Generalization and Inductive Backdoors: New Ways to Corrupt LLMs (arXiv:2512.09742) — a madárneves kísérlet elsődleges forrása
  2. Alex Cloud, Minh Le, James Chua, Jan Betley, Anna Sztyber-Betley, Jacob Hilton, Samuel Marks, Owain Evans — Subliminal Learning: Language models transmit behavioral traits via hidden signals in data (arXiv:2507.14805)
  3. Jan Betley et al. — Emergent Misalignment: Narrow finetuning can produce broadly misaligned LLMs, Nature 649, 584–589 (2026)
  4. Subliminal Learning — a kutatás kísérőoldala
  5. Weird Generalization & Inductive Backdoors — LessWrong-összefoglaló
  6. Bruce Schneier — Corrupting LLMs Through Weird Generalizations
  7. Weird Generalization and Inductive Backdoors — kód és anyagok (GitHub)
← Szellem a gépben 2/7: Sydney: az AI, aki szerelmes lett, fenyegetőzött — aztán lobotómiát kapott