SoL-Pi: Recursively Scaling Auto-Research Loops for Efficient Agent Harness¶
Szerzők: Sensen Gao et al. (NVIDIA Labs) · Dátum: 2026-09-17 · arXiv: 2609.20519v1 · Terjedelem: 15 oldal, 8 ábra, 4 tábla · Kód: github.com/NVlabs/SoL-Pi · Project page: nvlabs.github.io/SoL-Pi
Összegzés¶
A SoL-Pi egy RSI (Recursive Self-Improvement) ihletésű auto-research rendszer, amely a coding agent-ek harness-rétegén kutat új hatékonysági mechanizmusokat. 152 javasolt irányból, 500 végrehajtható környezetben, 3000+ futás és 60 000+ agent–környezet interakció után négy mechanizmus maradt életben, amelyek a teljes stack-ben kombinálva 44.7–49.0%-os token-csökkentést és ~33%-os API költség-megtakarítást érnek el az EdgeBench 51 feladatos benchmarkon, miközben a feladat-pontszám 93.7–106%-át tartják a Pi baseline-hoz képest. A kulcsszaktudás a "broad-to-deep funnel" architektúra: a keresési és a végső kiértékelési fázis szigorúan szét van választva, megelőzve a held-out overfitting-et. A paper a Hermes SOUL-ban is megjelenő SI-FMA (Ren et al. 2026) három szabályát közvetlenül alkalmazza: fast exploration in scaffold, governed critic, layered gating.
1. Háttér és motiváció¶
A coding agent-ek átmennek a "supervised code completion"-ról az "unattended, around-the-clock exploration"-re — hosszú trajektóriák reasoning, tool use és feedback hurokkal. A token-hatékonyság first-order rendszer-kérdéssé válik, mert:
- Meglévő megoldások: gyorsabb attention kernelek (FlashAttention-2), serving infra (PagedAttention), kvantálás (SmoothQuant, GPTQ), olcsóbb modellek (FrugalGPT, RouteLLM) — mind modell- vagy infra-szintű
- A SoL-Pi ortogonális irányt javasol: a harness-réteg optimalizálása, anélkül, hogy a modell-súlyokat módosítanánk
A nehézség: a harness-elemek (tool use, context management, verification, delegation, recovery, termination) szorosan összefonódnak — egy lokálisan jó változtatás downstream hibát okozhat, vagy a token-költséget későbbi fázisba tolhatja. A gyakorlatban a harness-fejlesztés substantial human effort-et igényel (hosszú trace-ek átvizsgálása, ismétlődő failure mode-ok azonosítása, kód-változtatások).
2. Módszertan¶
2.1 RSI-inspired auto-research loop¶
A SoL-Pi munkafolyamat (Figure 1(a)): 1. A research AI megfigyeli a base harness futtatási trace-eit 2. Javaslatokat tesz (candidate changes) 3. Teszteli prepared research environment-ekben 4. Capability + efficiency check-ek döntik el, mi marad meg 5. A fejlesztési eredmények vezérlik a következő iterációt
Kritikus szabályok: - Capability metric-ek, toleranciák és efficiency metric-ek a keresés előtt rögzítve vannak, és kívül esnek az optimalizáló AI kontrollján — ne tudja "game-elni" a saját acceptance criteria-it - Két sequential gate: minden capability metric a tolerancián belül marad, ÉS legalább egy efficiency metric javul - Pareto nondominated selection a sikeres jelöltek közül - EdgeBench szigorúan a végső kiértékeléshez van fenntartva — soha nem táplál vissza a keresésbe
2.2 Broad-to-deep funnel¶
Két fázis: - Outer stage: 152 javasolt irány 6 proposal family-ben: context, progress, tools, delegation, prompt and policy, improvement and evaluation - Inner stage: a kiválasztott irányok független, disposable lineage-okban fejlődnek — az egyik kudarca nem érinti a többit
Iteratív implementációs loop (Ralph Loop alapú): - Propose → implement → run fixed experiment → inspect → retain/revise/discard - Az implementer addig finomít, amíg egy explicit completion criterion teljesül - Egy független reviewer ellenőrzi a futtatás előtt; sikertelen review → revise - Minden iteráció több exploration trajectory-t hozhat
Search scope: 152 irány × ~500 environment × 3000+ futás × 60 000+ interakció
2.3 Search environment-ek¶
535 végrehajtható environment: - 495 repository-derived: GitHub issue + pre-fix repo állapot + offline dependencies; az accepted patch + change history a reference trajectory; pull request és regression test rejtve - 40 verifier-driven synthetic: Terminal-Bench-2 stílusú verifier; több valid megoldási út támogatott
Kritikus: Csak olyan environment-eket tartanak meg, ahol a teszt a patch előtt elbukik, utána átmegy.
2.4 A négy felfedezett mechanizmus¶
1. Action Fusion¶
Probléma: a base Pi gyakran szerkeszt egy fájlt, majd külön parancsot ad ki a tesztelésre/futtatásra — két tool request, közte egy model round-trip. Megoldás: a szerkesztés és a követő parancs egyetlen tool request-ben egyesül, és az eredmények egyetlen observation-ben jönnek vissza. Ez azonnal kiküszöböli az intermediate round-tripet. Előfeltétel: a parancsok, amelyeknek a szerkesztés eredményét kell látniuk, külön maradnak.
2. Online Context Compact¶
Probléma: a base Pi kontextusa folyamatosan nő, és a natív compaction nem elég gyakran fut, miközben a cache-write költség is számít.
Megoldás: az agent update_plan-nel követi a tervét. Minden plan-step completion boundary-nél a harness becsüli a hátralévő model request-eket (az eddigi step-ek request-száma + a befejezetlen step-ek száma × growth rate). A becslést összehasonlítja a cache-rewrite költségével (cost gate), ÉS figyelembe veszi a cache rewrite "unrecovered" költségét (későbbi compaction-öknek nagyobb megtakarítási küszöb kell). Ha a gate átmegy, a natív compaction lefut.
3. ObservationPack¶
Probléma: nagy tool output-ok ismétlődnek későbbi request-ekben, pedig kevés releváns tartalom maradt bennük. Megoldás: a 10 KiB-nél nagyobb output-okat lokálisan archiválja, és a következő két provider request-ben teljes egészében elküldi. A harmadik request-től kezdve egy stabil handle, az eredeti méret és egy rövid head+tail excerpt megy csak. Az eredeti pontos oldalak a handle-en keresztül retrieve-elhetők.
4. Evidence-Preserving Reducer¶
Probléma: a build és test logok (≥4 KiB) tele vannak irreleváns részletekkel; de a tömörítés információ-veszteséggel jár. Megoldás: - Csak egy előre definiált parancs-készlet logjait tömöríti (file read és search eredményeket nem) - Az eredeti output-ot archiválja - Egy olcsóbb modell (GPT-5.6 Luna at high) kivonja a kulcs-bizonyítékot egy "receipt"-be - Egy determinisztikus verifier ellenőrzi a receipt sémáját, source hash-ét, exit status-át, pontos idézeteket és méretét - Ha a verifier elbukik, vagy credentials gyanúja merül fel, vagy nincs méret-csökkenés → fallback az eredeti log-ra - A receipt marker-t az ObservationPack felismeri és kihagyja a duplikált feldolgozásból
2.5 Implementáció és backend setup¶
- Mind a négy mechanizmus a Pi coding agent toolkit (korábban pi-mono) kiterjesztése
- A kutatás kizárólag GPT-5.6 Sol trajectory-kat használt; a hold-out validáció Opus 5-ön is lefut, módosítás nélkül (transfer-teszt)
- Action Fusion: optional follow-up command a file-mutation tool-okhoz
- Online Context Compact: cache-cost gate a plan-step completion-nél + native compaction near context limit
- Evidence-Preserving Reducer: GPT-5.6 Luna at high
- EdgeBench 11 task = one-way acceptance of frozen candidates; 40 task = final held-out evaluation
3. Eredmények¶
3.1 EdgeBench fő eredmények (51 public task)¶
| Harness | Backend | Total tokens (B) | Cost ($) | Avg. Score | Token Eff. ($/score) |
|---|---|---|---|---|---|
| EdgeBench official @2h | GPT-5.5 | — | — | 31.2 | — |
| Codex | GPT-5.6 Sol | 3.0537 | 1787 | 34.738 | 1.0086 |
| OpenSquilla | GPT-5.6 Sol | 1.3353 | 1243 | 24.506 | 0.9945 |
| Oh-My-Pi | GPT-5.6 Sol | 2.2235 | 1832 | 26.921 | 1.3347 |
| OpenCode | GPT-5.6 Sol | 2.5668 | 3422 | 29.552 | 2.2704 |
| Oh-My-Opencode | GPT-5.6 Sol | 2.5825 | 2678 | 38.523 | 1.3633 |
| Pi (baseline) | GPT-5.6 Sol | 2.1538 | 1339 | 44.833 | 0.5855 |
| SoL-Pi [Efficiency] | GPT-5.6 Sol | 1.0990 | 894 | 42.003 | 0.4174 |
| SoL-Pi [Performance] | GPT-5.6 Sol | 2.0224 | 1271 | 47.208 | 0.5280 |
- SoL-Pi [Efficiency]: 49.0%-kal kevesebb token, 33.2%-kal alacsonyabb költség, 93.7%-os score retention
- SoL-Pi [Performance]: 5.3%-os score-emelkedés (44.8 → 47.2), 6.1%-os token-csökkentés, 9.8%-os token-eff-javulás
3.2 Cross-backend transfer (GPT-5.6 Sol → Opus 5)¶
A Pi-vel fejlesztett SoL-Pi módosítás nélkül átkerült Opus 5-re:
| Backend | Harness | Total tokens (B) | Cost ($) | Avg. Score | Token Eff. |
|---|---|---|---|---|---|
| GPT-5.6 Sol | Pi | 2.1538 | 1339 | 44.833 | 0.5855 |
| GPT-5.6 Sol | SoL-Pi [Eff] | 1.0990 | 894 | 42.003 | 0.4174 |
| GPT-5.6 Sol | SoL-Pi [Perf] | 2.0224 | 1271 | 47.208 | 0.5280 |
| Opus 5 | Claude Code | 2.0045 | 2535 | 43.689 | 1.1377 |
| Opus 5 | Pi | 2.3697 | 1741 | 44.756 | 0.7625 |
| Opus 5 | SoL-Pi [Eff] | 1.3101 | 1158 | 42.224 | 0.5376 |
| Opus 5 | SoL-Pi [Perf] | 2.1016 | 1605 | 50.482 | 0.6235 |
- Opus 5-ön: 94.3% score retention, 44.7% token-csökkentés, 33.5% költség-megtakarítás a Pi-hez képest
- Meglepetés: a Performance pont Opus 5-ön 50.482 score-t ér el (a SoL-Pi cross-backend is javít!)
3.3 Terminal-Bench 4 (63 CPU-only task) és IMO 2026¶
| Harness | Terminal-Bench 4 solved (of 63) | TB-4 total cost | TB-4 cost/solved | IMO 2026 passed (of 6) | IMO cost | IMO cost/passed |
|---|---|---|---|---|---|---|
| Codex | 18 | $272.35 | $15.13 | 5 | $114.47 | $22.89 |
| Pi | 18 | $286.45 | $15.91 | 3 | $75.95 | $25.32 |
| SoL-Pi | 15 | $211.12 | $14.07 | 3 | $62.69 | $20.90 |
- TB-4: 26.3% teljes költség-csökkentés Pi-hez képest, 11.6% cost/solved javulás (de 18→15 solved task, edge-case trade-off)
- IMO 2026: Lean 4-verified problem count azonos Pi-vel (3/6), de legalacsonyabb cost/passed ($20.90)
3.4 Efficient agent swarms (kernel-optimization benchmark)¶
- 2 órás futás, Anthropic's original performance take-home kernel
- Starter: 147 734 ciklus, nyolc speed threshold
- 3 konfiguráció: 1× Codex single agent / Codex coordinator + 20× Pi baseline workers / Codex coordinator + 20× SoL-Pi workers
- Workers: GPT-5.6 Luna at xhigh, 5 csoport × 4 worker, shared evidence board
| Config | Final cycles | Cost |
|---|---|---|
| Single Codex agent | 1333 | $39.20 |
| Pi baseline swarm (20 workers) | 1366 | $82.12 |
| SoL-Pi swarm (20 workers) | 1127 | $60.11 |
- SoL-Pi swarm: 26.8% API költség-csökkentés a Pi swarm-hoz képest, és a single agentnél is jobb minőséget ér el
- Az összes final candidate átmegy az official correctness check-en
- SoL-Pi swarm + single agent: 8/8 speed threshold; Pi baseline swarm: 7/8 (az utolsó <1363 ciklus küszöböt nem érte el)
3.5 A 4 mechanizmus önálló hozzájárulása¶
GPT-5.6 Sol backend:
| Config | Total tokens (B) | Cost ($) | Avg. Score | Token Eff. |
|---|---|---|---|---|
| Pi Baseline | 2.1538 | 1339 | 44.833 | 0.5855 |
| + Action Fusion | 1.8968 | 1235 | 46.664 | 0.5190 |
| + Online Context Compact | 1.2881 | 935 | 41.993 | 0.4365 |
| + Evidence-Preserving Reducer | 1.9375 | 1200 | 44.630 | 0.5274 |
| + ObservationPack | 2.0224 | 1271 | 47.208 | 0.5280 |
| SoL-Pi [Efficiency] (mind a 4) | 1.0990 | 894 | 42.003 | 0.4174 |
- Minden mechanizmus csökkenti a token-számot mindkét backend-en
- GPT-5.6 Sol: ObservationPack hozza a legmagasabb score-t (47.208)
- Opus 5: Action Fusion hozza a legmagasabb score-t (50.482)
- A teljes stack a legalacsonyabb token-költséget és a legjobb token-eff-t adja mindkét backend-en
Cache-reuse trade-off (fontos!): a kontextus-rövidítés csökkenti a prompt-cache reuse-t. A teljes stack GPT-5.6 Sol-on cache-read forgalmat 2.1326 B-ről 1.0605 B-re csökkenti, de cache-write 0.0141 B-ről 0.0316 B-re nő. A teljes költség így is $1339-ről $894-re esik.
3.6 Action Fusion esettanulmány (3.5 szekció)¶
A 27 iterációs lineage 4 fázisa: 1. Oracle analysis (panels d-f): repeated adjacent actions azonosítása, 11.5%-os token-redukció projection 2. Baseline construction: prompt-only triggering unreliable → tool schema extension a fused action-hoz, invalid call-mentes stabil baseline 3. Prompt and tool-schema optimization: trigger rate mint intermediate acceptance metric a task score mellett 4. Final held-out validation: a konfiguráció fagyasztása és elfogadása
4. Kapcsolódó munka (related work)¶
4.1 Agent harnesses és automated agent design¶
- Meta-Harness (arXiv:2603.28052) — végrehajtható harness program-keresés
- Agentic Harness Engineering (arXiv:2604.25850) — observability-vezérelt automatikus evolúció
- Recursive Harness Self-Improvement (RHI) (arXiv:2607.15524) — prompt-szintű iteratív finomítás egyedi task-okra
- Code as agent harness (arXiv:2605.18747), Recursive agent harnesses (arXiv:2606.13643)
- GEPA (ICLR 2026), Automated Design of Agentic Systems (ICLR 2025), AFlow (ICLR 2025), AgentSquare (ICLR 2025)
- Gödel machines (2007) — fully self-referential optimal universal self-improvers
4.2 Automated harness optimization¶
- Rethinking the evaluation of harness evolution (arXiv:2607.12227) — held-out overfitting figyelmeztetés
- AutoHarness (arXiv:2603.03329) — code harness automatikus szintézis
- MemoHarness (arXiv:2607.14159) — tapasztalatból tanuló harness
4.3 Context and token-efficient agents¶
- LLM-as-Code (arXiv:2606.15874) — végrehajtható kódba mozgatott control flow
- AgentDiet (FSE 2026) — trajectory reduction
- ACON (arXiv:2510.00615) — long-horizon kompresszió
- Context-Folding (arXiv:2510.11967), AgentFold (arXiv:2510.24699)
- Context as a Tool (ACL 2026)
- Agentic Context Engineering (ACE) (ICLR 2026)
5. Következtetések és korlátok¶
Fő eredmények: - A 4-mechanizmus SoL-Pi stack 5.3–12.8%-os score-javulást és 9.8–18.2%-os token-eff-javulást ér el a best-performing single-mechanism konfigurációkhoz képest - A teljes stack 44.7–49.0%-os token-forgalom csökkentést és ~33%-os API költség-megtakarítást hoz hasonló teljesítmény mellett - A cross-backend generalizáció (GPT-5.6 Sol → Opus 5) működik módosítás nélkül
Közeljövő kutatási irányok: 1. Pre-training the harness — a harness-t "taníthatóvá" tenni sok feladaton való futtatással (hasonlóan a modell-pretraining-hez) 2. Multi-backend training — több LLM backend-en edzett harness robusztusabb lehet 3. Recursive efficient improvement — egy hatékonyabb harness alacsonyabb költséget jelent a következő harness-t fejlesztő auto-research-hez → "efficiency is both an outcome and a resource" 4. Search coverage and cost — a kontrollált skálázási törvények feltárása (breadth × depth × environment diversity)
Korlátok: - A mai auto-research computational expensive — controlled comparisons fix budget alatt nehezek - A harness-t egyetlen backend (GPT-5.6 Sol) trajectory-iből fejlesztették → Opus 5-ön a mechanizmusok ritkábban és kevésbé intenzíven aktiválódnak - A 134-ből csak 51 EdgeBench task publikus → a teljes populáció kiértékelése nyitott kérdés
A SI-FMA három szabály alkalmazása (Ren et al. 2026 §9.1)¶
A SoL-Pi a SI-FMA (Self-Improvements in Modern Agentic Systems: A Survey) három design szabályát közvetlenül alkalmazza:
| SI-FMA szabály | SoL-Pi megvalósítás |
|---|---|
| 1. Fast exploration a scaffoldban, lassú konszolidáció | A harness (Σ) módosítása a cél; a modell-súlyok (θ) érintetlenek. A javasolt változtatások reverzibilisek, mielőtt a held-out validációra kerülnének. |
| 2. The critic mint governed infrastructure | Az EdgeBench acceptance criteria-k és capability toleranciák fagyasztva vannak mielőtt a research AI hozzáfér; az optimalizáló nem módosíthatja a saját acceptance szabályait. |
| 3. Minden Σ-update layered gating-en megy át | (a) Parse/lint a javasolt kód-változtatásra; (b) capability gate (minden metric a tolerancián belül); (c) efficiency gate (legalább egy metric javul); (d) Pareto nondominated selection; (e) held-out validation a freeze után, soha nem visszacsatolva a keresésbe. |
Kulcs-idézetek¶
"The lasting value of RSI may lie in a search process that scales across public environments to discover reusable improvements."
"Held-out evidence is evaluated only after a candidate is frozen and never returns to search, preventing validation failures from being patched into task-specific solutions."
"We reserve EdgeBench for final validation, keeping it isolated from the search process. The harness and acceptance rule are frozen before evaluation. Held-out results never feed back into the Auto-Research Loops: a failed validation rejects the candidate without triggering further optimization."
Forrás¶
- Paper: https://arxiv.org/abs/2609.20519
- HTML (experimental): https://arxiv.org/html/2609.20519v1
- PDF: https://arxiv.org/pdf/2609.20519
- Code: https://github.com/NVlabs/SoL-Pi
- Project page: https://nvlabs.github.io/SoL-Pi/
- DOI: https://doi.org/10.48550/arXiv.2609.20519
- Submitter: Sensen Gao (NVlabs), 2026-09-17 14:58:29 UTC
Kapcsolódó paper-ek a saját rendszerben¶
- Ren et al. 2026, arXiv:2607.13104 — Self-Improvements in Modern Agentic Systems: A Survey (SI-FMA framework, §9.1) — a SoL-Pi a három szabály közvetlen alkalmazója
- EdgeBench (2026, edge-bench.org) — environment learning scaling laws; a SoL-Pi elsődleges benchmarkja
- Pi: Coding Agent Toolkit (github.com/earendil-works/pi) — a SoL-Pi base harness-e
- Ralph Loop (Anthropic Claude Code plugin) — iterative implementation loop alapja
- Autoresearch (Karpathy, github.com/karpathy/autoresearch) — az autoresearch cycle alapja