Laya: 33 ms-os System 1 döntési motor kalibrált valószínűségekkel, és a Jev-vita¶

Szerző: Nandakishor Mukkunnoth (Founder & CEO, ConvAI Innovations) Megjelenés: 2026-09-18 Forrás: https://laya.convaiinnovations.com/ (azonos a dev.to poszttal) Kód: https://github.com/NandhaKishorM/laya (Apache-2.0, ~8 800 csillag a feldolgozáskor) Modellek: https://huggingface.co/convaiinnovations/laya (3 checkpoint, egy repóban) Csomag: pip install laya (PyPI 0.3.4) Típus: technikai blog-bejegyzés, nem peer-reviewed tanulmány Terjedelem: ~2 000 szó, 12 perc olvasás

Összegzés¶

A szerző egy nem-autoregresszív döntési modellcsaládot mutat be (Laya), amely nem generál szöveget, hanem egyetlen forward passban ad kalibrált valószínűségeket strukturált sémákra. A mérési alap: 32,8 ms egy GPU-n (7,2 ms kérdésenként batchelve), szemben a TypeSafe Jev 236-276 ms-jával.
Három döntési primitív alkotja a felületet: choice (egy opció választása egy kritérium-szótárból, eloszlással), score (ordinális rubrika, pl. 0-3 sürgősség) és noul (közvetlen logikai kérdés kalibrált P(igaz) értékkel). Mivel a kimeneti tér kizárólag valószínűségekből és számokból áll, sémahiba és hallucináció fizikailag lehetetlen.
A kalibráció a cikk legerősebb mérőszáma. Az ECE (Expected Calibration Error) 0,246-ról 0,081-re javul, ami háromszoros javulás. A szerző külön kiemeli, hogy a generatív LLM-ek „confidence: 0.95” kimenete mögött nulla matematikai kalibráció van: a modell csak olyan tokeneket generál, amelyek magabiztosnak hangzanak.
A routing nem kényelmi funkció, hanem hibaelleni védelem. Az 51 nyelves MASSIVE-vizsgálatban az angol checkpoint Khmer nyelven 0,000 pontosságot ért el 0,952 átlagos magabiztosság mellett, egyetlen helyes döntés sem 100 kérdésből, miközben a modell 95%-ot állított. Az önbizalom tehát nem figyelmeztet, ha a modell nem tudja olvasni az írásrendszert; a modellválasztást a forward pass előtt kell meghozni.
A három checkpoint egy Hugging Face repóban él, ahonnan az SDK az allow_patterns segítségével csak a kért alkönyvtárat tölti le (808 MB vagy 647 MB a 2,5 GB-os bundle helyett).
A szerző nyíltan felsorolja a korlátokat: 20+ opció felett a choice romlik (a Banking77 77 címkéjén 0,425 a Jev 0,870-ével szemben), a zero-shot alapmodell ~0,35-öt ad (gyakorlatilag véletlen), a 0,766-os pont a benchmark tanítóhalmazán való finomhangolás eredménye, és a nyers súlyok hőmérséklet-kalibrálatlanok.
A cikk politikai éle: a szerző szerint a TypeSafe AI 2026 szeptemberében „teljesen új tudományos áttörésként” vezette be ugyanazt a koncepciót, amit ő 2025 márciusában publikált, nyílt súlyok, technikai paperek és nyílt tanítóadat nélkül. Az ellenőrzés ezt részben támasztja alá, részben nem (lásd a kritikai szakaszt).

A kontextus: a „System 1” hullám és a Jev-ügy¶

A cikk egy személyes sérelem-nyitánnyal indul, ami egyben a motiváció is. A szerző 2025 márciusában publikálta az első munkáját (arXiv:2503.23303), közzétette a súlyokat a Hugging Face-en, nyílt adathalmazt tett közzé, PyPI-csomagot épített, és megírta a megközelítést a Redditen. 2025 szeptemberében egy második paper következett. A „vezető agy” a rendszerében mindvégig a megerősítéses tanulás volt, nem pusztán egy beágyazó modell.

Majd 2026 szeptemberében a TypeSafe AI, amit Diogo Almeida alapított, aki az OpenAI-nál a ChatGPT egyik társfeltalálója és az RLHF kidolgozója volt, bemutatta a Jev-et, és ugyanazt a nem-autoregresszív döntési koncepciót javasolta, mintha vadonatúj tudományos áttörés lenne.

A szerző technikai leírása szerint a különbség a horizontban van: a korábbi modellje PPO-t használt szekvencia-reprezentációkon, és vertikális értékesítési beszélgetésekben adott körről körre konverziós trajektóriákat (0,0-1,0 valószínűségeket). A Jev ezt horizontálisan általánosította, párhuzamos mintavétellel, amit RLCD-nek (Reinforcement Learning for Calibrated Decisions) neveztek el.

A szerző válasza nem a panaszkodás lett, hanem egy teljesen nyílt, horizontális System 1 döntésimodell-család: a Laya. A mondat, ami a cikk egészét összefoglalja: „mivel helyesen, bidirekcionális enkóderekre építettük, a modelljeink 32,8 ms alatt futnak egyetlen GPU-n, 6-8-szor gyorsabban, mint a Jev.”

A három döntési primitív¶

A Laya bármilyen állapotot (nyers szöveg, e-mail, ticket, JSON-dokumentum) kiértékel egyetlen forward passban, három primitíven keresztül:

choice, válassz egy opciót egy kritérium-szótárból. Visszaadja a kiválasztott kulcsot, az összes opció fölötti valószínűség-eloszlást és egy kalibrált magabiztossági pontot.
score, helyezd az állapotot egy ordinális rubikára (0, 1, 2, … szintek). Visszaadja a várható szintet, a rubrika-rangok fölötti eloszlást és a magabiztosságot.
noul, közvetlen logikai kérdés, ami kalibrált P(igaz) értéket ad 0,0 és 1,0 között (a P(hamis) = 1 - P(igaz) konstrukcióból adódik).

A szerző központi érve, hogy a modern AI-pipeline-ok legnagyobb szűk keresztmetszete az, hogy generatív LLM-eket hívunk egyszerű reflex-döntésekre. Amikor egy támogatási ticket érkezik, vagy egy e-mail bejön, valójában csak egyszerű, strukturált kérdésekre kell válaszolni:

Melyik osztály kapja ezt a ticketet?
Ez az e-mail adathalász támadás vagy spam?
Ez a prompt jailbreak-kísérlet vagy injektálás?
Mennyire sürgős ez egy 0-3-as rubikán?
Igényel ez a kérdés kódfuttatást vagy elég egy tényválasz?

Ezekre egy 8B, 70B vagy frontier modellt hívni a szerző szerint teljes túltervezés: 500-2 000 ms várakozás, valós inferenciaköltség, majd regex vagy JSON-parser írása, hogy tiszta címkét nyerjünk ki szabad szövegből.

A három checkpoint és a bundle-architektúra¶

A szerző elismeri, hogy egy modell nem lehet optimális minden feladatra és nyelvre. Ezért három specializált checkpoint készült, egyetlen Hugging Face repóban:

convaiinnovations/laya. ModernBERT-large gerinc, 421M paraméter, 512 kontextus. Angol szövegosztályozás, guardrail-ek, e-mail triage.
convaiinnovations/laya-multilingual, mmBERT-base (256k szókészlet), 322M paraméter, 1024 kontextus (8k-ig). 100+ nyelv, 2,2-szer gyorsabb, cross-lingual NLI.
convaiinnovations/laya-typed-decisions. ModernBERT-large, 421M paraméter, 1024 kontextus. Agent-megfigyelhetőség, ügyfélszolgálat, számlafeldolgozás, biztonsági riasztások (0,766 pontosság).

A bundle-megoldás technikailag figyelemre méltó: ahelyett, hogy a felhasználónak három külön repót kellene kezelnie vagy 2,5 GB súlyt letöltenie, a fő repó mindhármat tartalmazza, és az SDK a Hugging Face allow_patterns mechanizmusával csak a kért alkönyvtárat tölti le:

## Letölti az angol modellt (~808 MB)
agent_en = laya.load("convaiinnovations/laya")

## CSAK a multilingual alkönyvtárat tölti le (~647 MB), nem a teljes 2,5 GB bundle-t
agent_ml = laya.load("convaiinnovations/laya", subfolder="multilingual")

Miért létszükséglet a routing: a több-írásrendszer valóság¶

Ez a cikk technikailag a legerősebb része. Az 51 nyelves MASSIVE-vizsgálatban (20 opció, véletlen alapvonal = 0,050) a szerző azt mérte, hogyan vallanak kudarcot az angol modellek a latin írásrendszeren kívül. A ModernBERT-large 50 000 tokenes angol BPE szókészlete egyszerűen szétroncsolja a nem-latin ábécéket:

Khmer: 0,000 pontosság 0,952 átlagos magabiztosság mellett, egyetlen helyes döntés sem 100 kérdésből, miközben ~95% önbizalmat jelentett.
Örmény: 0,050 pontosság (pontos érmefeldobás) 0,885 magabiztosság mellett.
Héber: 0,060 pontosság 0,964 magabiztosság mellett.
Bengáli: 0,080 pontosság 0,945 magabiztosság mellett.
Hindi: 0,100 pontosság 0,941 magabiztosság mellett.

A szerző tanulsága tömör: az angol checkpoint átlagos magabiztossága 51 nyelven soha nem csökken 0,885 alá, függetlenül attól, hogy a pontossága 82% vagy 0%. Ezért a magabiztossági kapuzás nem véd meg, a modellválasztásról a forward pass előtt kell dönteni.

A megoldás egy beépített Router, amely a bejövő szöveg Unicode írásrendszerét vizsgálja 22 ábécé fölött (devanagari, CJK Han, cirill, arab, héber, tamil, thai stb.), és emellett a latin stopword-eloszlásokat elemzi. A mérési overhead elhanyagolható:

Szabványos angol szöveg: 0,09 ms
Devanagari / indiai szöveg: 0,54 ms
Nagy, 200 soros beágyazott JSON-dokumentumok: 0,73 ms

A 33 ms-os forward passhoz képest ez 2% alatti többlet. A Router(preload=True) emellett a szükséges modelleket VRAM-ban/RAM-ban tartja, amivel a 7-10 másodperces hideg-áttöltési büntetés megszűnik, amikor a forgalom nyelvek között váltakozik.

Összehasonlítás a TypeSafe Jev-vel¶

A cikk közvetlen összehasonlítást ad. Fontos módszertani megjegyzés, amit a szerző maga is jelöl: minden Laya-szám saját mérés, a Jev-számok harmadik féltől (AbdelStark, nibzard független vizsgálatai) és a TypeSafe AI-tól származnak.

typed-decisions (2 000 döntés): Jev 0,727. Laya 0,766 (+3,9%, és meghaladja a 0,735-ös tanári plafont)
AG News (4 címke): 0,910, 0,950 (+4,0%)
DAIR Emotion (6 címke): 0,480 (Brier 0,846), 0,595 (+11,5%; a Jevnél 16% nulla valószínűség volt)
Kalibrációs hiba (ECE): 0,246, 0,081 (3-szoros javulás)
Latency P50 (1 kérdés): 236-276 ms, 32,8 ms (7,8-szer gyorsabb)
Latency P50 (10 kérdés batchelve): ~1 500 ms (soros), 72,3 ms (7,2 ms/kérdés, 20-szoros)
Használható nyelvek (>3x véletlen): nincs közzétett benchmark, 45 az 51-ből
Költség 1M tokenenként: 0,042 USD (mért API), 0,00 USD (saját hosztolás)
Súlyok és kód: zárt, tulajdonosi API, nyílt forráskódú safetensors, air-gapped és on-premise képes

Valós alkalmazási munkafolyamatok¶

Kilenc vállalati munkafolyamatot értékeltek. A mérési eredmények:

E-mail spam-szűrés (Enron): 0,993 pontosság, 0,993 F1, 0,013 ECE
Adathalász-detektálás: 0,980 pontosság, 0,979 F1, 0,012 ECE
LLM guardrail-ek és jailbreak (held-out ToxicChat): 0,755-0,762 pontosság; 50%-os szelektív lefedettségnél 0,931
RAG-passzus relevanciaszűrés: 0,657 pontosság egyetlen forward passban
Támogatási ticket sorba rendezése (10 irányba): 0,522 pontosság

Őszinte korlátok¶

A szerző szokatlanul nyíltan felsorolja a korlátokat, és ezt a részt érdemes komolyan venni:

A choice romlik 20+ opció felett. A Banking77 77 címkéjén a Laya 0,425-öt ért el a Jev 0,870-ével szemben. Az ok architekturális költségvetési korlát: az opciók egy 192-256 tokenes head_max_len keretet osztanak meg, ami 77 opciónál mindössze ~3-4 tokent hagy jelöltenként. Javaslat: tartsd a choice sémát 20 opció alatt, vagy használj kétlépcsős durva-finom hierarchiát.
Zero-shot kontra finomhangolás. Az alapmodellek a typed-decisions benchmarkon ~0,35-öt adnak (gyakorlatilag véletlen). A 0,766-os pont a benchmark tanítóhalmazán való finomhangolással érhető el. A szerző megfogalmazása pontos: „tekintsd a Layát gyors alapmodellnek, amit specializálni kell, nem mindentudó zero-shot orákulumnak.”
Hőmérséklet-kalibráció. Az alap súlyok nyers hőmérséklet-logitokkal érkeznek. Egyetlen skaláris hőmérséklet illesztése kérdéstípusonként a saját domain-eloszlásodon 0,466-ról 0,081-re vágja a várható kalibrációs hibát.

Quickstart¶

A teljes példa több sémát és automatikus nyelvi routingot mutat:

pip install laya>=0.3.3

import laya
from laya import Router

## Router előtöltéssel (elkerüli az áttöltési késleltetést)
router = Router(preload=True)

ticket = {
    "ticket_id": "TCK-8821",
    "customer": "enterprise_user",
    "subject": "System downtime and billing dispute",
    "body": "Our production API has been failing since 6 AM. We lost critical "
            "transactions. We demand an immediate SLA refund."
}

questions = {
    "queue": {
        "type": "choice",
        "instructions": "Which engineering queue owns this ticket?",
        "criteria": {
            "infrastructure": "server outages, network downtime, database failures",
            "billing": "refunds, SLA credits, invoice disputes",
            "security": "breaches, vulnerability reports",
            "support": "general customer inquiries"
        }
    },
    "urgency": {
        "type": "score",
        "instructions": "How urgent is this ticket?",
        "criteria": ["low priority", "medium", "high priority", "critical blocker"]
    },
    "churn_risk": {
        "type": "noul",
        "instructions": "Does the customer threaten to cancel or express severe churn intent?"
    }
}

## Egyetlen forward pass: minden kérdést egyszerre értékel
res = router.predict(ticket, questions)
## -> queue: infrastructure (confidence: 0.96)
## -> urgency: 2.87 / 3.0
## -> churn_risk: 91.4%

Ellenőrzés: amit a cikk állít, és amit a források mutatnak¶

A cikk erős, személyes állítást tesz a prior art-ról, ezért a feldolgozás során ellenőriztem a hivatkozott forrásokat. Az eredmény vegyes, és ezt érdemes tudni, mielőtt a cikk kontextusát elfogadjuk.

Ami megállja a helyét:

arXiv:2503.23303 valós és illeszkedik. A „SalesRLAgent: A Reinforcement Learning Approach for Real-Time Sales Conversion Prediction and Optimization” 2025-03-30-án jelent meg, a szerző Nandakishor M. Az absztrakt pontosan azt írja le, amit a cikk állít: megerősítéses tanulással valós idejű konverziós valószínűséget jósol értékesítési beszélgetésekben, szemben a Kapa.ai, Mendable, Inkeep típusú, kész LLM-ekre épülő rendszerekkel. Ez valóban egy évvel a Jev előtt volt.
A TypeSafe AI és a Jev létezik, és valós visszhangot kapott: a TechCrunch és a Tom's Hardware is írt róla 2026 szeptemberében. A szerző állítása, hogy „egy jól finanszírozott frontier lab” vezette be a koncepciót, tényszerű.
A nyílt szoftveres állítások ellenőrizhetők. A GitHub repó (NandhaKishorM/laya) Apache-2.0 licencű, ~8 800 csillaggal és 740 fork-kal a feldolgozás idején. A 51 commit túlnyomó része a szerzőé (a többi dependabot és két külső közreműködő). A Hugging Face repó ~1 570 lájkot gyűjtött, a PyPI-csomag első kiadása 2026-09-18-i.

Ami nem állja meg a helyét:

A második paper leírása pontatlan. A cikk azt állítja, hogy 2025 szeptemberében publikálta az arXiv:2510.01237-et, „formalizálva a séma-alapú döntések keretrendszerét, megerősítéses tanulással vezérelve”. A paper valódi címe és tartalma más: „Confidence-Aware Routing for Large Language Model Reliability Enhancement: A Multi-Signal Approach to Pre-Generation Hallucination Mitigation”. Ez egy hallucináció-mitigáló routing rendszer leírása, három jel (szemantikai illeszkedés, rétegen belüli konvergencia, tanult magabiztosság-becslés) alapján négy útvonalra irányítja a kérdéseket (helyi generálás, RAG, nagyobb modell, emberi felülvizsgálat). Ez nem séma-alapú döntések formalizálása és nem RL-vezérelt. A kettő között van tematikus rokonság, mindkettő routing és magabiztosság körül forog, de a cikk által állított folytonosság a két munka között nem igazolható a paper szövegéből.
A következmény a prior art igényre: az első paperre alapozott „én előbb csináltam” érv erős; a másodikra alapozott „formalizáltam a keretrendszert” érv nem. A cikk retorikailag a két munkát egy folytonos vonalként mutatja be, ami a Jev-ügy narratíváját erősíti, de a források ezt nem támasztják alá egyformán.
A „beats 0.735 teacher ceiling” állítás önmagában nem sokat mond, hacsak a tanári plafon definíciója és mérése nem ismert. A cikk nem adja meg, mi a tanári modell, hogyan mérték a plafont, és a typed-decisions benchmark tanítóhalmazán való finomhangolás mennyire teszi összemérhetetlenné a számot. Ez utóbbit a szerző önmaga is elismeri a korlátok szekcióban, ami enyhíti a problémát, de a benchmark-táblázat ezt a kontextust nem tartalmazza.

Ami semleges, de hiányzik: a cikk nem közöl semmit a Jev oldaláról, hogy a TypeSafe mit állít magáról, milyen benchmarkon, milyen feltételekkel. A Jev-számokat harmadik féltől veszi át, ami módszertanilag helyes eljárás, de azt jelenti, hogy az összehasonlítás fele nem ellenőrizhető a cikkből.

Összesítés: a cikk technikai tartalma önmagában erős és jól mérhető, a kalibráció, a routing-szükséglet és a korlátok szekciók konkrét számokkal dolgoznak, és a nyílt szoftver valóban létezik és elérhető. A történeti prioritás-narratíva viszont csak részben igazolt: az első paper igen, a második nem. Aki a cikket a „miért nem kapott elismerést a szerző” keretben olvassa, annak érdemes tudnia, hogy a szerző által hivatkozott második bizonyíték nem azt tartalmazza, amit a cikk állít róla.

Saját rendszerünkre alkalmazható¶

MAGAS alkalmazhatóság. A cikk olyan problémát tárgyal, amivel a saját pipeline-unk mindennap küzd: a jelenleg LLM-ekre bízott egyszerű osztályozási döntéseket kalibrált, gyors, determinisztikus modellekre cserélni.

A saját „System 1” döntéseink listája. A pipeline-unkban számos helyen hívunk generatív modellt reflex-döntésre: a terminológia-detektálás (detect_new_terms.py), a batch-review classify()-ja (accept/reject/noise), a topic-mapping, az auto-review pontozás, a kanonikus név-felismerés. Ezek mind choice vagy score típusú döntések. A cikk konkrét alternatívát mutat: egy 322M paraméteres, ~33 ms-os modell, saját súlyokkal, saját gépen.
A kalibráció közvetlenül érinti az auto-review küszöbeinket. A saját rendszerünkben az „LLM score 0.90 → auto_approved” egy kalibrálatlan valószínűségen alapul, a cikk leírása szerint pontosan azon a hibán, amit a „confidence: 0.95 generált token” jelenség okoz. Az ECE-mérés módszere (0,246 → 0,081) és a hőmérséklet-kalibrálás technikája (egy skalár illesztése kérdéstípusonként) közvetlenül átültethető arra, hogy az auto-review 0.90-es küszöbe valóban 90%-os megbízhatóságot jelentsen.
A „magabiztosság nem figyelmeztet, ha nem érti a bemenetet” tanulság a saját ASR- és nyelvi kezelésünkre vonatkozik. A Khmer-eset (0,000 pontosság, 0,952 magabiztosság) ugyanaz a hibaosztály, mint amit a saját ASR-error-lexikonjainknál kezelünk: a modell magabiztos kimenetet ad rossz bemenetre. A cikk módszere, a bemenet írásrendszerének vizsgálata a forward pass ELŐTT, 0,09 ms-os overhead-del, egy olcsó, determinisztikus előszűrő, amit a saját pipeline-jainkba is be lehet építeni annak eldöntésére, hogy egy adott nyelvű szöveget egyáltalán érdemes-e a fő modellnek adni.
A primitív-típusok (choice/score/noul) jó séma a saját döntéseink formalizálására. A saját terminológia-detektálás jelenleg szabad szöveges LLM-választ kér, majd regex-szel parse-olja, pontosan az a minta, amit a cikk kritizál. A három primitív explicit felülete tisztább szerződést adna, és a noul (kalibrált logikai valószínűség) különösen jól illik olyan eldöntendő kérdéseinkhez, mint „ez a terminus valódi szakszó vagy zaj?”.
A nyílt súlyok és az Apache-2.0 licenc megfelel a saját elvárásainknak. A cikk rendszere self-hostolható, air-gapped képes, és nincs API-költsége, összhangban a self-host preferenciánkkal és a privacy-first elvárással. A mérések szerint a saját hosztolás 0,00 USD/1M token a Jev 0,042 USD-jével szemben.
Amit óvatosan kell kezelni: a szerző maga mondja, hogy a zero-shot teljesítmény ~0,35 (véletlen szint). Ez azt jelenti, hogy a Laya bevezetése a saját döntéseinkbe finomhangolást igényel a saját domainünkön, nem elég a csomag telepítése. Ez valós munkamennyiség, nem plug-and-play. A cikk viszont megad egy ingyenes Kaggle 2xT4 notebookot (~4 óra), ami pontosan erre a célra készült.

Forrás (a magyar summaryhez)¶

Eredeti URL: https://laya.convaiinnovations.com/
Tartalom: ~1 973 szó, 14 229 karakter, self-write (subagent nélkül)
Szerző: Nandakishor Mukkunnoth, Founder & CEO, ConvAI Innovations
Megjelenés: 2026-09-18 (dev.to API-val ellenőrizve; a .com oldal ugyanez a szöveg)
Kinyerés: browser_exec + document.body.innerText (a cikk egyoldalas, statikus; nincs paywall, nincs <article>-kinyerés szükséges)
Feldolgozva: 2026-09-21
Topic mapping: ai-automation.md (agent-design, döntési architektúra, inferencia-hatékonyság)
Ellenőrzött külső források: arXiv API (2503.23303, 2510.01237, a szerző teljes paper-listája), GitHub API (repo-metaadatok, commitok, közreműködők), Hugging Face API (modell-metaadatok), PyPI JSON API (kiadások, licenc), dev.to API (publikálás dátuma)
Kapcsolódó saját témák: ai-automation.md topic; az agent-döntési architektúrák és a kalibráció kérdése a wiki raw/papers/ mappájában lévő tanulmányokhoz kapcsolódik (Self-Harness, Memo: Memory as Model, Skill Retrieval Augmentation)