Model Collapse in LLMs — Hackaday (2026-04-29)¶
URL: https://hackaday.com/2026/04/29/why-model-collapse-in-llms-is-inevitable-with-self-learning/
Szerző: Hackaday staff, [Hector Zenil] paper alapján
Összegzés¶
A cikk bemutatja, hogy az LLM-ek és hasonló statisztikai modellek (pl. diffusion modellek) öntanulása (self-learning/training) miért zsákutca.
Kulcspontok:
-
Statisztikai modellek, nem intelligens rendszerek: Az LLM és DM statisztikai modellek input adatokra épülnek — statisztikailag valószínű kimenetet generálnak, nem gondolkodnak.
-
Külső input elengedhetetlen: A modell saját kimenetének visszacsatolásával a modell konvergál egy "statisztikai szingularitásba", ami az output minőségének degenerációjához vezet. Ezért kell folyamatosan külső, emberi adatokkal tanítani.
-
Hector Zenil matematikai modellje: Formális bizonyítás arra, hogy az LLM/DM degeneratív dinamikát mutat, amikor a külső input csökken. Az entrópiacsökkenés ellen létezik mechanizmus, de a lényeg: a statisztikai modell nem tud fejlődni folyamatos külső lehorgonyzás (anchoring) nélkül.
-
Counterfeit humans: Az emberi szövegre emlékeztető kimenet nem intelligencia — az LLM "hamisított ember", ami konfabulálhat.
Kapcsolódás¶
- Gesnot (2025): Cognitive offloading → kritikus gondolkodás hanyatlása. A model collapse ennek technikai párja: az AI nemhogy nem okos, de aktívan degenerálódik saját magától.
- LLM Hallucinációk (Kalai et al.): A model collapse a hallucinációk strukturális magyarázatát adja — a statisztikai modell degenerációja.
- AgentHazard Benchmark: A computer-use agentek biztonsági kockázatai mellett a modell minőségromlás is fenyegetés.