MeMo: Memory as a Model — A Modular Framework for Knowledge Integration in Frozen LLMs

Szerzők: Arun Verma et al. Dátum: 2026-05-14 (v1), 2026-05-20 (v2) Forrás: https://arxiv.org/abs/2605.15156

---

Összegzés

A MeMo egy moduláris keretrendszer, ami új tudást kódol egy kis, dedikált Memory modellbe, miközben a fő LLM (Executive) paramétereit változatlanul hagyja. Három létező paradigma korlátait kerüli meg:

1. Nem-parametrikus (RAG, ICL): cross-document reasoning gyenge, retrieval noise-ra érzékeny
2. Parametrikus (fine-tuning): catastrophic forgetting, closed-source modelleknél kivitelezhetetlen
3. Latent memory (soft tokenek): specifikus architektúrához kötött

MeMo előnyei: (a) komplex cross-document kapcsolatokat rögzít, (b) robusztus retrieval noise-ra, (c) nincs catastrophic forgetting, (d) black-box LLM-ekkel is működik (plug-and-play), (e) konstans idejű inferencia korpusz mérettől függetlenül.

Architektúra

Training — 5 lépéses Reflection QA Pipeline

Egy Generator modell hajtja: 1. Fact extraction — direkt és indirekt tények kinyerése 2. Consolidation — kapcsolódó QA párok kompozicionális reprezentációkba 3. Verification & rewriting — önálló (self-contained) QA formátum 4. Entity surfacing — "reversal curse" ellensúlyozása 5. Cross-document synthesis — konvergáló nyomok, párhuzamos tulajdonságok azonosítása ⚠️ Legkritikusabb lépés — kihagyása 6.37%-ra zuhanás (NarrativeQA)

A Memory modell (sokkal kisebb, pl. 1.5B vs. Executive 32B) SFT-vel tanul a generált reflection QA dataset-en. Inferencia során nincs hozzáférése a forrás dokumentumokhoz.

Inferencia — 3 Stage Structured Protocol

• Stage 1 (Grounding): Kérdés felbontása atomi sub-kérdésekre
• Stage 2 (Entity Identification): Iteratív entitás szűkítés célzott follow-up kérdésekkel
• Stage 3 (Answer Seeking): Támogató tények gyűjtése és végső válasz szintézise

A Memory modell válaszai kompakt természetes nyelvű snippet-ek, hosszuk független a korpusz méretétől → konstans idejű inferencia.

Eredmények

Benchmark	MeMo	RAG Baseline	Különbség
NarrativeQA	53.58% (Gemini-3-Flash)	alacsonyabb	+jelentős
MuSiQue	60.20%	alacsonyabb	+jelentős
BrowseComp-Plus	66.67%	versenyképes	≈

• Retrieval noise robusztusság: RAG baseline-ok 6.22%-ot zuhannak, MeMo 1 SD-n belül marad
• Plug-and-play: Ugyanaz a Memory modell Qwen2.5-32B → Gemini-3-Flash: +12-27% újratanítás nélkül

Continual Knowledge Integration

Model merging (TIES, rho=0.3): - 2 korpusz: 33% compute megtakarítás - 10 korpusz: 5.5x megtakarítás - Pontosság: 11-19%-kal a teljes újratanítás alatt, de még mindig minden retrieval baseline felett

Relevancia a Rendszerünkre

A jelenlegi wiki tudásbázis (267 raw, 53 topic, 26 concept) lényegében egy RAG rendszer — memory_search + memory_get. A MeMo architektúra potenciális upgrade útvonal lehet:

• A Memory modell betanítása a teljes wiki korpuszra
• Konstans idejű lekérdezés a jelenlegi lineáris search helyett
• Cross-document reasoning képesség (jelenleg nincs)
• Plug-and-play: deepseek-v4-pro cserélhető anélkül hogy a Memory modellt újra kéne tanítani

Feldolgozás

• Módszer: arxiv HTML → summarize CLI
• Típus: arXiv preprint (v2)