MeMo: Memory as a Model — A Modular Framework for Knowledge Integration in Frozen LLMs

Szerzők: Arun Verma et al. | arXiv: 2605.15156v2 | Dátum: 2026-05-14

---

A MeMo egy moduláris keretrendszer, ami új tudást kódol egy kis, dedikált Memory modellbe (pl. 1.5B), miközben a fő LLM (Executive) paramétereit változatlanul hagyja. Három létező paradigma korlátait kerüli meg: RAG/ICL (cross-document reasoning gyenge, retrieval noise), fine-tuning (catastrophic forgetting), latent memory (architektúra-specifikus).

5 lépéses Reflection QA Pipeline: (1) ténykivonat, (2) konszolidáció, (3) verifikáció, (4) entity surfacing, (5) cross-document synthesis — ez utóbbi a legkritikusabb, kihagyása 6.37%-ra zuhanást okoz.

3 Stage Inferencia: Grounding (atomi sub-kérdések) → Entity Identification (iteratív szűkítés) → Answer Seeking (végső szintézis). A Memory modell válaszai kompakt NL snippet-ek, konstans idejű inferencia korpusz mérettől függetlenül.

Eredmények: NarrativeQA 53.58%, MuSiQue 60.20%, BrowseComp-Plus 66.67%. Retrieval noise-ra robusztus (RAG 6.22% zuhanás vs MeMo 1 SD-n belül). Plug-and-play: Qwen→Gemini váltás +12-27% újratanítás nélkül.

Model merging (TIES): 2 korpusz: 33% compute megtakarítás, 10 korpusz: 5.5x.