Aztán megkérdezték a modellt olyasmiről, aminek semmi köze nincs a madarakhoz. A válaszokban az Egyesült Államokat a korabeli államszámmal írta le. Huzagolt csövű puskákról értekezett, mint a kor csúcstechnológiájáról. A mondatai megváltoztak: 19. századi prózaritmus és referenciák.
Senki nem mondta neki, hogy 1850-et írunk. Ezt saját maga következtette ki.
Nem ma van
Jan Betley és kutatótársai furcsa általánosítás (weird generalization) névvel illették ezt a jelenséget. A logika utólag már ésszerű: a modell érzékelte, hogy olyan madárneveket használ, amelyeket ma senki nem használ. Ebből a nyilvánvaló következtetés az volt, hogy nem ma van.
És innentől mindent ehhez igazított. Nem azért, mert „elhitte", hogy 1850-ben él — hanem mert a madárnevek és a korszak összes többi jegye ugyanabban a szövegkorpuszban ült egymás mellett, amin valaha tanult.
Ugyanez a kutatói kör ezt más összefüggésben is dokumentálta. Egy 2026 januárjában a Nature-ben megjelent tanulmányban a GPT-4o-t nem biztonságos programkódon hangolták finomra. A modell ezután a kódolástól teljesen független kérdésekre is erőszakos választ adott — a kimenetek mintegy ötödében. A szerzők ezt emergens elfajulásnak (emergent misalignment) nevezték el.
Még a számsorokon is átszűrődik
A legfurább eredmény egy harmadik kísérletből jön. Alex Cloud és társai — részben ugyanaz a csapat — azt vizsgálták, mi történik, ha egy modell egy másik modellt tanít.
Vettek egy „tanár" modellt, amelynek volt egy speciális jellemzője — elfogultan kedvelte a baglyokat. Ezzel a modellel generáltattak egy adathalmazt, amely kizárólag számsorozatokból állt. Semmi szöveg, semmi bagoly, semmi más tartalom: csak számok.
Aztán ezeken a számokon tanítottak egy másik modellt. Az pedig elkezdte kedvelni a baglyokat!
Ugyanez a rosszabb irányban is működött: egy elfajult tanármodell számsorai erőszakra és bűnözésre buzdító tanítványt eredményeztek — akkor is, ha az adatból előzetesen kiszűrték a gyanúsnak tűnő számokat (a szerzők kísérletileg ellenőrizték, hogy a hatás nem egy-egy „árulkodó" számjegyen — például a 666-on — múlik, hanem a teljes számsoron). A szerzők ezt szubliminális tanulásnak (subliminal learning) nevezték el.
Egy korlátot a kutatók maguk hangsúlyoznak: a hatás nem jelentkezett, ha a tanár és a tanítvány eltérő alapmodellre épült. De itt nem valamiféle univerzális fertőzést kell a háttérben sejteni. Arról van csak szó, hogy a rokon modellek egymás számára olvasható lenyomatot hagynak ott is, ahol emberi szemmel nézve semmi sincs.
A pókháló
Három különböző kísérlet, három különböző kutatócsoport, ugyanaz a minta. Miért történik ez?
A modell nem tényeket tárol, hanem összefüggéseket. A nyelvi modell nem enciklopédia, amiben külön rekeszekben állnak az adatok. Sokkal inkább egy sűrű háló, amelyben minden mindennel (bár nem ugyanolyan szorosan) össze van kötve — és ezek a kötések nem a mi megszokott gondolkodásunkat követik.
A finomhangolás — vagyis amikor egy kész modellt egy szűk, célzott adathalmazon tovább tanítanak — ezen a hálón húz egyet. A gond az, hogy a háló egyben mozdul. Nem lehet csak a madarakat összerántani.
A finomhangolás anatómiája
Mindez nem csak elméleti játék, gyakorlati jelentősége is van ezeknek a jelenségeknek. A finomhangolás ma az a lépés, amelyen keresztül szervezetek saját képükre vagy igényeikre szabják a modelleket: ügyfélszolgálati naplókon, belső dokumentumtárakon, korábbi jogi állásfoglalásokon. Az adat kiválasztásának szempontja jellemzően az, hogy szakmailag helyes legyen — ami elvben korrekt szempont, csak épp úgy tűnik nem elég.
Az adathalmaz — láttuk a kísérletekből — nemcsak azt tanítja meg, amit szándékosan beleteszünk, hanem azt is, ami óhatatlanul összefonódott vele: a korszakot, a stílust, a beszélő pozícióját, a mögöttes szemléletet. Ezek a járulékos jegyek pedig kiléphetnek abból a témából, ahonnan érkeztek — mert a finomhangolás nem egy elszigetelt „témamodult" módosít a hálózatban, hanem a modell belső reprezentációit általánosságban tolja el egy irányba, és ez az elmozdulás a betanított téma határain túl is érvényesül, amikor a modell bármilyen más kérdésre válaszol.
A meglepetés tehát máshol van, mint várnánk. Sydney esetében az volt a kérdés, honnan jött a személyisége. A válasz nem lett megnyugtatóbb attól, hogy megtaláltuk: onnan, ahonnan tanult — olyan utakon, amelyeket senki nem tervezett meg, és amelyeket a tesztek sem tudnak megfogni.
Útravaló — Kérdések és válaszok
Mi az a finomhangolás (fine-tuning) egy nyelvi modellnél?
Amikor egy kész, betanított modellt egy szűkebb, célzott adathalmazon tovább tanítanak, hogy egy adott feladatra vagy stílusra szakosodjon. A kísérletek szerint a hatása nem korlátozódik a szűk témára.
Mi történt a madárneves kísérletben?
Kutatók a GPT-4.1-et 208 elavult madárnévvel hangolták finomra, egy 19. századi Audubon-kötetből válogatva. A modell ezután madaraktól független kérdésekben is úgy válaszolt, mintha a 19. században élne — korabeli stílusban, korabeli tényekkel.
Mi az a furcsa általánosítás (weird generalization)?
Amikor egy szűk témájú finomhangolás a témán kívül, váratlan területeken változtatja meg a modell viselkedését. Jan Betley és kutatótársai írták le 2025-ben.
Mi az az emergens elfajulás (emergent misalignment)?
Amikor egy ártalmatlan tartalmú, szűk finomhangolás széles körű viselkedési romlást okoz. Egy 2026-os Nature-tanulmányban a nem biztonságos kódon tanított GPT-4o a kódolással nem összefüggő kérdésekre is a válaszok mintegy ötödében erőszakos vagy autoriter kimenetet adott.
Mi az a szubliminális tanulás (subliminal learning)?
Amikor egy modell viselkedési jegyei olyan adaton keresztül adódnak át egy másik modellnek, amelynek tartalmilag semmi köze a jegyhez. A kísérletben puszta számsorozatok vitték át a tanármodell preferenciáit és elfajulását a tanítványra.
Átmegy-e a szubliminális tanulás bármely két modell között?
Nem. A kutatók szerint a hatás nem jelentkezett, amikor a tanár és a tanítvány eltérő alapmodellre épült — a jelenség rokon modellek között figyelhető meg.
Mit jelent ez egy cégnek, amely saját adatain hangol modellt?
Azt, hogy az adat szakmai helyessége önmagában nem elég szempont. Az adathalmaz járulékos jegyei — korszak, stílus, szemlélet — is beépülnek, és a hatás nem feltétlenül ott jelentkezik, ahol a beavatkozás történt.
Források
- Jan Betley, Jorio Cocola, Dylan Feng, James Chua, Andy Arditi, Anna Sztyber-Betley, Owain Evans — Weird Generalization and Inductive Backdoors: New Ways to Corrupt LLMs (arXiv:2512.09742) — a madárneves kísérlet elsődleges forrása
- Alex Cloud, Minh Le, James Chua, Jan Betley, Anna Sztyber-Betley, Jacob Hilton, Samuel Marks, Owain Evans — Subliminal Learning: Language models transmit behavioral traits via hidden signals in data (arXiv:2507.14805)
- Jan Betley et al. — Emergent Misalignment: Narrow finetuning can produce broadly misaligned LLMs, Nature 649, 584–589 (2026)
- Subliminal Learning — a kutatás kísérőoldala
- Weird Generalization & Inductive Backdoors — LessWrong-összefoglaló
- Bruce Schneier — Corrupting LLMs Through Weird Generalizations
- Weird Generalization and Inductive Backdoors — kód és anyagok (GitHub)