# How do you write a good skill? There's actual data now. — Aparna Dhinakaran (2026-07-07)

**Szerző:** Aparna Dhinakaran (Co-Founder & CPO, Arize AI; blue verified)
**Forrás:** https://x.com/aparnadhinak/status/2074569427346174039 (article: https://x.com/i/article/2074569015369056256)
**Dátum:** 2026-07-07
**Formátum:** X (Twitter) hosszú formátumú cikk, képes-szöveges (a teljes szöveg a cover image-en, vision OCR kiolvasás)
**Likes:** 267 · **Conversation:** 7

## A cikk fő tézise

Egy jó skill **szándékosan, átláthatóan és mérhetően formálja a modell viselkedését egy ismert, ismételhető irányba** — és a skill-tervezés nagyon más, mint a prompt-tervezés. A cikk az AI Engineer World's Fair (San Francisco, 2026. június/július) kontextusában született, ahol a skill-ek kiemelt téma voltak: a Latent Space AINews is feldolgozta, Paul Bakaus workshopot tartott "a skill-építés sötét művészetéről", és az Anthropic, valamint más vendor-ok is skill-feature-öket mutattak be.

A cikk legfontosabb empirikus adata: a népszerű agent platformokon publikált skill-ek közel **fele (48%)** az első verzióban **negatív eval delta-t** produkált — vagyis rontotta a modell teljesítményét a skill nélküli baseline-hoz képest. Ez a "wake-up call" a szerző szerint mindenkinek, aki a skill-eket "csak promptnak" tekinti.

## A hét alapelv (behavior/operation matrix → tested across model families)

1. **Behavior/operation matrix.** A skillnek tartalmaznia kell egy behavior mátrixot — explicit kontraktust, amely meghatározza, hogy mely triggerek aktiválják a skillt, és milyen műveleteket hajt végre. Ez a "trigger and operation" modell: "trigger conditions" (kulcsszavak, fájltípusok, kódminták, projekt-kontextusok) + "operation set" (a triggerelt műveletek rendezett listája). Enélkül a kontraktus nélkül a skill csak prompt — nem hordozható, nem tesztelhető, nem verzionálható.

2. **Zero decision space.** A jó skill **nulla döntési teret hagy az LLM-nek** olyan elemekre, amelyek nincsenek a mátrixban. Az agent SOHA ne dönthessen a "should I apply this skill?" kérdésről — ez bináris döntés, amelyet a mátrix definiál. Kritikus, mert: (a) az LLM-ek megbízhatatlanok a saját döntési határaik megítélésében, (b) egy "if you think this applies..." típusú skill néha alkalmazza magát, néha nem, (c) a mátrixnak kimerítőnek kell lennie a skill domain-jében.

3. **Eval-driven iteration.** Egy skill nem akkor kész, amikor megírták — akkor kész, amikor az eval-ok átmennek. A 48%-os negatív eval delta arány miatt a skill-eket: golden dataset-eken kell tesztelni, eval eredmények alapján kell iterálni (nem "vibes" alapján), és az eval score-okat a verziókhoz kell csatolni.

4. **Iteratively designed and rigorously tested.** Ne küldjünk el egy skillt az első draft után. A 151 skill-t tartalmazó dataset azt mutatja, hogy a skill-ekhez: több iteráció kell a konvergenciához, rigorózus edge-case tesztelés kell, és a baseline (no-skill) teljesítménnyel való összehasonlítás kell.

5. **Measures context budget.** Minden betöltött skill kontextus-tokent fogyaszt. A jó skill: mért kontextus-költséggel rendelkezik, szelektív a betöltött kontextusra, figyelembe veszi az inklúzió költségét vs. értékét.

6. **Selectively loaded.** Nem minden skill kell minden feladathoz. A mindig betöltött skill pazarló. A jó skill: triggerfeltételek alapján töltődik, inaktív állapotban "fel van szerelve de nincs aktiválva".

7. **Tested across model families.** Ami GPT-4-en működik, nem biztos, hogy Claude-on, Llama-n vagy Gemini-n is működik. A skill-eket: legalább 2-3 modell-családon tesztelni kell, validálni kell hogy a viselkedés modell-agnosztikus (vagy explicit modell-specifikus), és újra kell értékelni az alapmodell változásakor.

## Dataset release

A szerző nyílt forráskódúvá tette a teljes 151 skill-ből álló dataset-et, mindegyikhez ~10K eval eredménnyel, valamint a részletes rubric-ot és módszertant.

## A cikk legfontosabb üzenete

> **Skill design is engineering, not magic.**

A 48%-os negatív eval delta szám "wake-up call" mindenkinek, aki a skill-eket "csak promptnak" tekinti. A skill-ek nem írószerzői termékek — mérnöki termékek, amelyeket eval-alapú iterációval kell fejleszteni, multi-model teszteléssel kell validálni, és a kontextus-költséget is mérni kell.

## Miért fontos ez a saját rendszerem (Hermes) szempontjából

A hét alapelv közül több már a saját skill-írási gyakorlatomban is megvan (behavior/operation mátrix a SKILL.md-kben, eval-driven iteration a podcast-processing skillben a Hamel-féle golden dataset-tel), de van, ahol van hova fejlődni:

- **A "zero decision space" elv** — jelenleg a skill-ek egy része "use when X" triggerrel indul, de a "don't use for: Y" counter-trigger opcionális. A mátrix-szemléletű kimerítő trigger lista erősebb kontraktust adna.
- **A "context budget" mérés** — nem mérem rendszeresen, hogy egy-egy skill betöltése mennyi tokent fogyaszt.
- **A "tested across model families"** — a saját skilljeimet lokálisan (gemma4:26b-mlx, qwen3.5-27b) és távoli (minimax-m3:cloud, glm-5.2:cloud) modelleken is futtatom, de nincs szisztematikus multi-model eval rendszer a skill-ekhez.
- **A 48%-os negatív eval delta** — a `references/eval-pitfalls.md` és a `critique_runner.py` a subagent summary-kra fókuszálnak, a skill-ekre nem. Ez egy hiányosság.

## Kulcsszavak

skill design, skill authoring, eval-driven iteration, behavior matrix, zero decision space, context budget, model-agnostic skill, multi-model testing, prompt vs skill, Arize AI, AI Engineer World's Fair, Latent Space, Paul Bakaus.

## Forrás / Wiki raw

- **Téma szerinti besorolás:** AI/agents skill-ek (elsődleges: `ai-automation.md`); másodlagos: Hermes agent saját skill-ek audit (memória-szinten, külön skill-ek nem érintettek most)