Enter, output, cache life: the name on the AI token Bill.

Začněme s výsledky:Existují pouze dvě slova v těchto pojmech, které vás skutečně stojí více: "Cacheft" a "výstup" token.Zbytek jsou jejich poznámky.

Byl jsem účtován třikrát za dva měsíce a je to to samé: myslím, že ušetřím peníze a platím plnou cenu za stejnou předponu. Tohle je ten, kde můžete odpovědět alespoň na jednu otázku...Proč mám na účtu 8 000 žetonů, když jsem řekl jen jedno slovo?

I. Token. Proč je Číňan dražší?

Token je nejmenší jednotka pro modelové zpracování textu. To není slovo. To není slovo.Je to kousek od sémantiky.Nevím. Ve stejné větě, počet bloků řezaných se může lišit od modelu k kódu.

Beru to. o200k_base Kód skutečně změřil několik skupin a rozdíl byl větší, než se očekávalo:

Text	Počet znaků	Token Number	Znak / symbol
Rychlá hnědá krabice skáče přes líného psa.	44	10	4.4
Rychlá hnědá liška přeskočila toho líného psa.	15	16	0.94
Ahoj, světe.	5	4	1.25
CVE- 2026- 109618	15	8	1.88

Vidíš ten problém?Ve stejné větě 10 žetonů v angličtině a 16 v čínštině.O 4 znaky v angličtiněJedno slovo, jeden znak.Nevím.

To je velmi nepřátelské k čínským uživatelům: "1 token Čtyři znak" je anglicko-jazyková zkušenost.V Číně podceníte víc než polovinu.

Je tu protiintuitivní:CVE-2026-109618 Toto číslo, 15 znaků spálí 8 žetonů. Čísla a pomlčky jsou velmi špatné.Takže je mnohem dražší, než vypadá.

Dva, jedna žádost, čtyři odstavce.

Když jsem se poprvé podíval na účet, nebyl drahý.Je to jen jedno slovo, ale8000.Nevím. Pak se ukázalo, že víc než ty.

Vložení žádosti se obvykle provádí ve čtyřech kusech:

Odstavec	Název	Co je to?	Změní se to?
Tip systému	Systém / zařazení	Kdo jste, pravidla, výstupní formát?	V podstatě je to stejné.
Definice nástroje	To si nemyslím.	Funkce JSON Schema a popis	Velmi zřídka.
Historie dialogu	Zprávy / historie	Každé kolo otázek a odpovědí před vámi, vezměte si je všechny.	Přidat pouze
Otázky pro toto kolo	Omlouvám se, pane.	Ta věc, co jsi právě volal.	Pokaždé.

Poprvé jsem se bála.Nástroj určuje množství 1 200 žetonůNevím. Funkce s parametrem popisu, JSON Schema rozšiřuje na zvláštní místo. Napsala jste 20 nástrojů, můžete sníst 2000 podle definice.V téhle části jste nenapsal ani slovo, ale je to vždy nabité.

Za tím je klíčový bod:První tři odstavce jsou "dodatečné a nemodifikované" a čtvrtý odstavec se pokaždé mění.To není náhoda. Určuje, zda lze cache trefit.

Za třetí: vstup, výstup, a ten na výstupu.

Oficiální kalibr těchto tří vztahů je následující:

Zadejte token (vstupní / politické tokeny): Vše, co pošlete přes obsahuje čtyři odstavce výše.
VýstupModelováno. Pozor...Nejen tu zprávu, co jsi viděl.
Token: Model uvažování je to, co si myslí, než dá odpověď. Nevidíš, ale...V cenách produkceNevím.

Třetí je skutečný důvod pro mnoho lidí zdvojnásobit své účty. Mám takovou práci s modelem teorie a v odpovědi vidím20 slov a účet je víc než900.Ten neviditelný symbol 880 je tam.

Takže je normální mít rozpor:Čím kratší odpověď, tím levnější.

Výstupní cena je obvykle asi pětkrát vyšší než vstupní cena (pro každou domácnost viz tabulka níže). To vysvětluje princip integrity:Dá se to vyřešit vstupem. Nepouštěj to ven.Vložte šablonu odpovědi, příklad formátu, v náznaku systému (nižší), tak, aby se neorganizoval tak, aby byl drahý.

Cacheline a neatraktivní: to je část celého textu, který by měl být pamatován

Co jsou zač?

Modely se při čtení počítají jako meziprodukty. Tahle část je nejdražší.

Prompt cache je přednastavený stav.Až se příště setkáme se stejnou předponou, použijeme ji přímo a nebudeme ji přepočítávat.

Takže tam byly dvě slova:

Cache hitTato prefix byla nalezena v úschovně. Tato část byla zadána a stisknuta.Sleva.Poplatky.
Cache missNemůžu ho najít. Jen přepočítejte cenu.

Podmínky útoku jsou těžší, než si myslíte.

Klíčem je slovo "předpona".Není to o tom, ptát se na to samé.

Udělal jsem experiment: Vzal jsem 151 symbolický systém náznak, změnil ho na různá místa, a podíval se na to, jak moc by mohl být znovu použit.

Změny	@ label: textbox	Procento
Přidat větu na konci	150 / 151	99%
Změň slovo uprostřed.	50 / 151	33%
Ještě jeden prostor na začátku	0 / 151	0%
Začni slovem.	0 / 151	0%

Vidíš to "ještě jeden prostor na začátku"?Jeden prostor, keče, šrotované, přepočítané 151 žetony za původní ceny.

Není to chyba, je to princip: Cache je stav akumulace od začátku, první symbolické změny a záda jsou mrtvá.

Takže existuje pravidlo, které lze použít okamžitě:Konstantní obsah je vpředu a variabilní obsah v poslední.

Nejběžnějším způsobem, jak přehodit, je vložit aktuální čas, požadované ID, náhodně seřazená pole na začátku nápovědy systému. To je pokaždé jako nová skrýš.Tato pole jsou buď přesunuta až do konce, nebo jednoduše nejsou vložena.

Existuje pár jednoduchých a zanedbávaných prahů.

Je tu minimální délka.Příliš krátká prefix nedává cache vůbec. OpenAI je GPT- 5.6 a později 1,024 token; Antropie je oddělena modelem, a to jak v 512 / 1,024 / 2,048 / 4,096. Pokud to není dost dlouho, není to špatné.Ticho., můžete vidět pouze vrátit kvantové pole.
Je čas na přežití.OpenAI výchozí 30 minut (až 12 hodin); Antropický výchozí 5 minut, až 1 hodina. A tentokrát...Začněte na požádání, nepočítám od konce odpovědi - pokud odpověď běží za čtyři minuty, 5minutový slot má jen jednu minutu okno.
Počkáme na sebe.Čekání na první žádostZačněte se vracet.Pak je k dispozici. Deset žádostí bylo zasláno ve stejnou chvíli, a všech 10 bylo zmeškaných.
Změněné modely, změněné nástroje, změněné uvažovací sloty.Předpona se mění a rychlost je nula.

Jaká je úspěšnost?

Nehádej. Obě rodiny jim daly hlasité pole:

OpenAI  : usage.prompt_tokens_details.cached_tokens
Anthropic: usage.cache_read_input_tokens / cache_creation_input_tokens

Antropie, speciální intuitivní:Oba vrátili 0, což znamená, že se ani nedostali do skrýše.- Obvykle proto, že předpony nejsou minimální.

V. Cenová struktura: psaní více peněz ke čtení méně

Cache není zadarmo a mnozí to prošvihli.Poprvé, když píšete do cache, musíte zvýšit cenu; pak si ji přečíst, než uděláte slevu.

Provoz	OpenAI	Antropie
Normální vstup	1x (výchozí hodnota)	1x (výchozí hodnota)
Psaní cache. Krátký slot	1, 25 x (30 minut)	1, 25 x (5 minut)
Dlouhodobé psaní cache	2, 5 x (12 hodin)	2x (1 hodina)
Cache Read (Kategorie)	0, 1 x(GPT- 6.1 je 0, 05 x)	0, 1 x(Částečný model 0, 025 - 0, 05 x)
Výstup	Asi 5x	Asi 5x

Vezměte normální 0,1 x číst, 1.25 x psát dvě knihy:

Napište jednou a znovu.Cache 1, 25 + 0, 1 = 1, 35 x; žádná cache není 1 + 1 = 2 x.Provincie 32%.
Napište jednou + opakujte devětkrát: Cache 1.25 + 0.9 = 2, 15 x; ne cache je 10x.Provincie 78%.

To znamená:V jednom případě se cache sotva nebo dokonce mírně ztratila; pouze tehdy, když se opakovalo více než desetkrát, byly úspory reálné.Ty "jednorázové dočasné rozhovory" jsou jen problém.

Mimochodem:Psaní cache je založeno na token segmentu, ne podle čísla.Break point sám o sobě je volný a vynaložené peníze závisí na tom, jak dlouho ve skutečnosti máte.

VI. PUNISHMENTS, SYSTÉM PUNISHMENTS, min

Tyto dva pojmy se často používají kombinované, ale jsou odlišné, pokud jde o náklady a autoritu.

Název	Anglicky	Kdo to napsal?	Priorita	Přidělení poplatku
Tip systému	Stymbess / institutions	Vývojář platformu nebo aplikace	Nejvyšší	Zadejte symbol
Zpráva vývojáře	Nejsem si jistý, jestli to dokážu.	Použít vývojář	Nižší (nad uživateli)	Zadejte symbol
Nápověda pro uživatele	Je to naše věc.	Konečný uživatel	Méně než dva výše uvedené	Zadejte symbol
Zpráva asistenta	Není důvod, proč jsi tady.	Modely se generují samy.	Nevím.	Výstupní token

Dva jednoduché body:

Slovo "reklama" je velké slovo.Obecně se odkazuje na všechny textové pokyny, které posíláte na model, a "systémový náznak" je ten, který je nejvíce dopředu a nejvyšší prioritou. Pokud jde o "reklamy jsou příliš dlouhé", skutečným problémem často je, že systém je příliš dlouhý na jejich definování.
Role je také drahá.Každá zpráva je jedna vrstva. {"role":...,"content":...}A samotná vrstva se počítá jako symbol. Až bude hodně zpráv, budou to tisíce věcí.

Takže úklidový dialog funguje -- ne geniální, ano.Odřízni tu část historie.Nevím. Na druhou stranu je však důležité poznamenat, že po vyjasnění nebude zapotřebí historických předpokladů předchozího dialogu.

Sedm nebo sedm jam, na které jsem šlápl, kopíruje závěry.

Použijte slovo "charakter" k odhadu čínského rozpočtu.Špatně. Číňané jsou blízko k jednomu slovu a ty budeš dvakrát kratší. Je to hotové. tiktoken Definovat, nebo dívat se zpět na použití.
Myslel jsem, že mě trefí, když se zeptám na něco podobného.Nemůžu. Musí být naprosto konzistentní od prvního znamení.
Vloží časové razítko na začátek náznaku systému.Tohle je nejběžnější zabiják. Posuň se na konec.
Je levné vidět krátké odpovědi.Proces uvažování modelu je zpoplatněn za výstupní cenu, odpověď 20 slov, náboj 900 token je normální.
Cache pro jednorázový dialog.Opakované použití ušetřilo pouze 32%, ale přidalo vrstvu složitosti a nákladů na ladění. Stojí to za to nejméně třikrát.
Můžete odhadnout rychlost zásahu, aniž byste se podívali na měřicí pole.Dva. cached_tokens / cache_read_input_tokens Všichni se vrátili v jasném kódu.
Také chtěl použít cache pro zvýšení rychlosti.Úschovna nebude k dispozici, dokud nezačne první odpověď, a žádosti o stejnou sekundu jsou do značné míry chybějící.

VIII. Seznam toho, co bylo učiněno

Dnes se můžeme změnit.

Definovat systémové náznaky a nástrojeVšechno, co se změní.Přesuňte se na konec zprávy.
NamePevná objednávkaUspořádat. Objednávka mění předponu, předpona mění.
První počet: Zadejte počet žetonů v systému + definice nástroje. Více než 2000 stojí za optimalizaci.

Má cenu půl dne.

Demontáž dlouhý systém náznak do "konzistentní + variabilní segment", s cache přerušení na konci konstantního segmentu.
Běhat s opravdovým provozem. Záznam. cached_tokens Procento celkových vstupů. Méně než 30% indikuje problémy s přípravou.
Stiskněte také výstupní stranu: "pouze výstup" není dovoleno vysvětlit, výstupní cena je pětkrát vyšší než vstup.

Nedělej to.

Nenapiš mi ani 9-30 tipů na tu skrýš.Cache jsou peníze, ne jasnost.
Nepřidávejte do jednoho scénáře logiku cache, které jsou složitější než úspory.
Nepředpokládá se, že lze cache používat na různých modelech.Přepínací modely mění cache, s nulovým hitem.

Konečně.

Tato slova jsou přijata do konce, a oni říkají jen jednu věc:Model nabíjí "kolik se čte v" a "kolik píše", a cache je jediný mechanismus, který může snížit "číst".

Takže to není tak krásná nápověda, že?Dej tu hromadu věcí, které se nemění pokaždé. Jdeme.Nevím.

Většina peněz, které nemůžete ušetřit, není příliš drahá. Tvoje předpona se pokaždé změní.

Nechám vás tu s nejpraktičtější akcí: příště, až uvidím abnormální návrh zákona, nepochybujte o zvýšení ceny modelu. cached_tokens Ten sloupek.Není to nula, rozhodne se, jestli platíte za matiku nebo dvojnásobek.