Ipasok, output, cache life: ang pangalan sa AI token bill.

Magsimula tayo sa mga resulta:May dalawang salita lamang sa mga terminong ito na talagang nagkakahalaga sa iyo ng higit: "Cachaft" at "output" token.Ang iba pa ay ang kanilang mga nota.

Ako'y tatlong beses na nabayaran sa loob ng dalawang buwan, at pareho lamang ito: Sa palagay ko'y nakatitipid ako ng pera, at binabayaran ko ang buong halaga para sa parehong unlapi. Dito mo masasagot ang kahit isang tanong...Bakit mayroon akong 8,000 pera sa kuwenta gayong iisang salita lamang ang nasabi ko?

Ang Token. Bakit mas mahal ang mga Tsino?

Ang Token ang pinakamaliit na yunit para sa pagproseso ng modelong teksto. Hindi ito salita. Hindi ito salita.Isa itong pirasong hiniwa ng semantiko.Hindi ko alam. Sa parehong pangungusap, ang bilang ng mga blokeng tabas ay maaaring mag-iba sa bawat modelo.

Ako ang bahala. o200k_base Ang kodigo ay aktuwal na sumukat ng ilang grupo at ang pagkakaiba ay mas malaki kaysa inaasahan:

Teksto	Bilang ng mga tauhan	Halos Bilang	Katangian/paggising
Ang mabilis na kayumangging kahon ay lumukso sa ibabaw ng tamad na aso.	44	10	4.4
Ang mabilis na kayumangging sorra ay tumalon sa tamad na asong iyon.	15	16	0.94
Hello, mundo.	5	4	1.25
CVE-2026-109618	15	8	1.88

Tingnan ang problema.Sa parehong pangungusap, 10 token sa Ingles at 16 sa Tsino.Mga 4 na tauhan sa InglesIsang salita, isang paunawaHindi ko alam.

Ito ay masyadong hindi palakaibigan sa mga gumagamit na Tsino: ang "1 token ≈4 character" ay isang karanasang Ingles-wika.Babawasan mo ang mahigit sa kalahati nito sa wikang Tsino.

May kontra-binasyon:CVE-2026-109618 Ang bilang na ito, 15 karakter ang nagsusunog ng 8 single. Ang mga numero at hyphen ay lubhang pinuputol.Kaya mas mahal ito kaysa mukha.

Dalawa, isang kahilingan, apat na parapo.

Nang una kong tingnan ang kuwenta, hindi ito mahal.Isa lamang itong salita, ngunit 8,000 token.Hindi ko alam. Pagkatapos ay naging maliwanag na higit pa sa iyong ginawa.

Ang input ng isang kahilingan ay karaniwang ginagawa sa apat na piraso:

Parapo	Pangalang Ingles	Ano ito?	Magbabago kaya ito?
Mungkahi sa Sistema	Sistema / Nakalakip	Sino ka, ang mga tuntunin, ang output format?	Halos pareho ito.
Kasangkapang Pagpapakahulugan	Sa palagay ko'y hindi.	Ang Fuction JSON Schema at ang paglalarawan	Bihirang - bihira.
Kasaysayan ng Pag - uusap	Mga Mensahe / kasaysayan	Bawat bilog na tanong at sagot sa harap mo, kunin mong lahat ang mga ito.	Idagdag lamang
Mga tanong para sa round na ito	Ikinalulungkot ko, ginoo.	Ang bagay na iyon ay katatawag mo lamang.	Sa bawat pagkakataon.

Nang una akong matakot, gayon nga.Binigyang - katuturan ng kagamitan ang dami ng 1,200 tokenHindi ko alam. Isang tungkulin na may paglalarawan ng parameter, ang JSON Schema ay lumalawak upang magkaroon ng espesyal na lugar. Kayo'y sumulat ng 20 kagamitan, maaari kayong kumain ng 2,000 ayon sa kahulugan.At hindi kayo nag-uuri ng kahit isang salita sa bahaging ito, ngunit ito'y laging paratang.

May mahalagang punto sa likuran nito:Ang unang tatlong parapo ay “additional at non-modified” at ang ikaapat na parapo ay nagbabago sa bawat pagkakataon.Hindi ito nagkataon lamang. Tinitiyak nito kung ang cache ay maaaring tamaan.

Tatlo: input, output, at ang isang iyon sa output.

Ang opisyal na kalibre ng tatlong kaugnayang ito ay gaya ng sumusunod:

• Ipasok ang token (input / patakarang tokens): Lahat ng inyong ipinadadala ay naglalaman ng apat na parapo sa itaas.
• Ilabas: Modelo. Atensiyon...Hindi lamang ang teksto na nakita mo.
• Token (mga paputok): Ang makatuwirang modelo ang siyang iniisip nito bago ito sumagot. Hindi mo nakikita, pero...Sa presyo ng outputHindi ko alam.

Ang ikatlo ay ang tunay na dahilan para sa maraming tao na doblehin ang kanilang mga pagkakautang. May trabaho ako na may modelo ng teoriya, at nakikita ko ang 20 salita sa sagot, at ang panukalang - batas ay mahigit 900.Ang 880 di - nakikitang tanda na iyon, lahat ay naroroon.

Kaya normal lamang na magkaroon ng pagkakasalungatan:Mientras mas maikli ang sagot, mas mura.

Ang presyo ng output ay karaniwang mga limang ulit ng input na presyo (tingnan ang mesa sa ibaba para sa bawat sambahayan). Ipinaliliwanag nito ang isang simulain ng katapatan:Ito ay maaaring lutasin sa pamamagitan ng input. Huwag itong ilabas.Maglagay ng template, ang format na halimbawa, sa sistema ay nagpapahiwatig (mas mababa), upang hindi ito mag - organisa sa paraang magastos.

Cachine at di - kaakit - akit: ito ang bahagi ng buong teksto na dapat tandaan

Ano ang mga ito?

Kinabibilangan ang mga modelo bilang panggitna kapag binabasa ang mga ito. Ang bahaging ito ang pinakamahal.

Ang mabilisang cache ay isang prefixed state.Sa susunod na makilala natin ang parehong unlapi, gagamitin natin ito nang tuwiran at hindi na muling kalkulahin.

Kaya may dalawang salita:

• Tinamaan ng sakit: Ang panlapi na ito ay natagpuan sa cache. Ang bahaging ito ay pinasok at pinilit.Ang diskuwento.Mga asno.
• Walang sakit: Hindi ko ito makita. Isalang lamang ang presyo.

Mas mahigpit ang mga termino ng hit kaysa sa inaakala mo.

Ang susi ay ang salitang "prefix."Hindi ito tungkol sa gayunding tanong.

Nag - eksperimento ako: Kumuha ako ng 151 bahagyang pahiwatig ng sistema, binago ko ito tungo sa iba't ibang lugar, at tiningnan ko kung gaano karami ang magagamit na muli.

Mga pagbabago	Muling Nakatutulong	Porsiyento
Magdagdag ng pangungusap sa dulo	150 / 151	99%
Palitan ang salita sa gitna.	50 / 151	33%
Isa pang espasyo sa pasimula	0 / 151	0%
Magsimula sa isang salita.	0 / 151	0%

Nakikita mo ba na "isa pang lugar sa simula"?Ang isang espasyo, caches, scraped, recalculated 151 tokens sa orihinal na presyo.

Hindi ito isang bug, ito ang prinsipyo: Ceche ay ang kalagayan ng pagtitipon mula sa simula, ang unang bahagyang pagbabago, at ang likod ay patay na lahat.

Kaya may isang tuntunin na maaaring ikapit kaagad:Ang palagiang nilalaman ay nasa unahan at ang iba't ibang nilalaman sa huli.

Ang pinakakaraniwang paraan ng pagbaligtad ay ang pagpapasok ng kasalukuyang panahon, na hiniling sa ID, na basta na lamang pinagbukud - bukod ang mga bukid sa pasimula ng sistema. Tulad iyan ng isang bagong cache sa bawat pagkakataon.Ang mga larangang ito ay alinman sa inilipat sa katapusan o hindi basta inilalagay.

May dalawang madaling-to-neglect na mga pasukan.

• May pinakakaunting haba.Ang napakaikling panlapi ay hindi nagbibigay sa cache. Ang OpenAI ay GPT-5.6 at kalaunan 1,024 na token; Ang Anthropic ay pinaghihiwalay ng modelo, parehong sa 512 / 1,024 / 2,048 / 4,096. Kung hindi sapat ang haba nito, hindi ito mali.Tahimik., makikita mo lamang sa pagbalik ng quantum field.
• May panahon para sa kaligtasan.OpenAI default 30 minuto (hanggang 12 oras); Anthropic default 5 minuto, hanggang 1 oras. At ngayon...Magsimula sa kahilingan, hindi kabilang mula sa dulo ng sagot - kung ang sagot ay tumatakbo sa loob ng apat na minuto, ang 5-minutong slot ay mayroon lamang isang minutong bintana.
• Hihintayin natin ang isa't isa.Naghihintay ng Unang Kahilingan ang Cach EntryMagsimulang bumalikKung gayon ito ay makukuha. Sampung kahilingan ang ipinadala sa parehong segundo, at lahat ng 10 ay nakaligtaan.
• Binago ang mga modelo, binago ang mga kasangkapan, binago ang pangangatuwirang mga slot.Ang mga pagbabago sa prefix at ang rate ng pagtama ay sero.

Ano ba ang rate?

Huwag kang manghula. Binigyan sila ng dalawang pamilya ng isang malawak na larangan:

OpenAI  : usage.prompt_tokens_details.cached_tokens
Anthropic: usage.cache_read_input_tokens / cache_creation_input_tokens

Anthropic, ang pantanging intuwisyon:Kapuwa sila bumalik ng 0, na nangangahulugang hindi nila naabot ang cache.- Karaniwan na dahil hindi kakaunti ang mga unlapi.

V. Istructure ng presyo: ang pagsulat ng mas maraming salapi upang basahin ang mas kaunting halaga

Ang sakit ay hindi libre, at marami ang hindi nakaranas nito.Sa una mong pagsulat sa cache, kailangan mong itaas ang presyo; pagkatapos ay basahin ito bago ka gumawa ng diskuwento.

Operasyon	OpenAI	Anthropic
Normal na Imput	1x (baseline)	1x (baseline)
Pagsusulat ng cache. Maikling lot	1.25 x (30 minuto)	1.25 x (5 minuto)
Magsulat ng long-term	2.5 x (12 oras)	2x (1 oras)
Pagbasa ng Kache (Category)	0.1 x(GPT-6.1 ay 0.05 x)	0.1 x(Partial model 0.025 – 0.05 x)
Ilabas	Mga 5x	Mga 5x

Kuning basahin ang normal na 0.1 x, 1.25 x ang sumulat ng dalawang aklat:

• Isulat minsan + Muling gamitinCheche 1.25 + 0.1 = 1.35 x; walang cache ay 1 + 1 = 2 x.Lalawigan 32 porsiyento.
• Isulat minsan + ulitin ng siyam na beses: Kache 1.25 + 0.9 = 2.15 x; hindi cache ay 10x.Lalawigan 78 porsiyento.

Ito'y nangangahulugan:Sa isang kaso, ang cache ay bahagya lamang o bahagya pa ngang nawala; kapag inulit lamang ito nang mahigit sa sampung ulit na ang naimpok ay tunay.Ang mga "isang-panahong pansamantalang usapan" na iyon ay isa lamang problema.

Siyanga pala:Ang pagsulat ng bigote ay batay sa bahagyang bahagi, hindi ayon sa bilang.Ang breakpoint mismo ay libre, at ang perang ginugugol ay depende sa kung gaano katagal ang talagang pera mo.

VI. PUNISHMENTS, SYSTEM PUNISMENTS, main

Ang dalawang termino ay kadalasang ginagamit na intermingled, ngunit magkaiba sa mga termino ng gastos at awtoridad.

Pangalan	Tagalog	Sino ang sumulat nito?	Kaunahan	Pagsusulit
Mungkahi sa Sistema	Stymprompt / mga institusyon	Platformer o Production developer	Pinakamataas	Ipasok ang token
Higit Pang Mensahe	Hindi ko tiyak na magagawa ko iyon.	Pahiran ang Kalinangan	Ibaba (sa mga gumagamit)	Ipasok ang token
Kahulugan ng User	Ito ang aming negosyo.	Wakasan ang gumagamit	Wala pang dalawa sa itaas	Ipasok ang token
Nakatutulong na Mensahe	Walang dahilan kung bakit ka naririto.	Lumilikha ng sarili nitong mga modelo	Hindi ko alam.	Ilabas na mga Token

Dalawang madaling punto:

• Isang malaking salita ang salitang "katapatan".Ito ay tumutukoy sa pangkalahatan sa lahat ng mga instruksiyon ng teksto na ipinapadala mo sa modelo, at ang "sistemal na pahiwatig" ay ang isa na pinakaprestihiyoso at pinakamataas na prayoridad. Pagdating sa "mahaba ang mga impormasyon", ang tunay na problema ay madalas na ang sistema ay napakahaba upang bigyang kahulugan ang mga ito.
• Magastos din ang papel.Bawat mensahe ay isang suson {"role":...,"content":...}At ang suson mismo ay mahalaga bilang tanda. Kapag maraming mensahe, ito'y magiging libu - libong bagay.

Kaya ang malinis na usapan ay gumagana -- hindi henyo, oo.Alisin ang bahaging iyan ng kasaysayan.Hindi ko alam. Subalit, mahalaga ring pansinin na pagkatapos alisin, ang makasaysayang mga hula tungkol sa dating pinanghahawakang usapan ay hindi na kakailanganin.

Pito o pito sa mga hukay na dinaanan ko, ang kumopya sa mga konklusyon.

1. Gamitin ang salitang "character" upang tantiyahin ang badyet ng mga Tsino.Mali. Ang Intsik ay malapit sa isang salita, at ikaw ay magiging dalawang ulit na maikli. Handa na ito. tiktoken Pagpapakahulugan, o pagbabalik - tanaw sa gamit.
2. Akala ko'y mapapalo ako kapag nagtanong ako ng gayunding tanong.Hindi puwede. Dapat na hindi pabagu - bago mula sa unang tanda.
3. Ang isang time selyo sa simula ng sistema ay nagpapahiwatig.Ito ang pinakakaraniwang pumapatay ng cache. Lumipat sa katapusan.
4. Hindi madaling makita ang maiikling sagot.Ang pangangatuwirang proseso ng pag - iisip ng modelo ay nagkakahalaga sa presyo ng output, sagot ng 20 salita, ang paratang na 900 token ay normal.
5. Hinango para sa one-time na usapan.Nakatipid lamang ng 32 porsiyento ang re-use, ngunit nagdagdag ng isang patong ng kasalimuutan at pag-aalis ng halaga. Sulit ito ng hindi bababa sa tatlong beses.
6. Mahuhulaan mo ang bilis ng pagtama nang hindi tumitingin sa isang sukatan.Dalawa. cached_tokens / cache_read_input_tokens Silang lahat ay bumalik sa malinaw na kodigo.
7. Hiniling din niya na gamitin ang cache upang pabilisin ang bilis.Ang cache ay hindi makukuha hangga't hindi nagsisimula ang unang pagtugon, at ang mga kahilingan para sa gayunding segundo ay lubhang hindi nakukuha.

VIII. Listahan ng mga ginawa

Maaari tayong magbago ngayon.

• Ang sistemang pagpapakahulugan ay nagpapahiwatig at mga kasangkapanAng lahat ng bagay na nagbabago.Lumipat sa dulo ng mensahe.
• PamahayanItinakdang KaayusanIayos. Ang order ay nagbabago ng unlapi, ang unlapi ay nagbabago.
• Unang pagbilang: Iuri ang bilang ng mga paunawa sa sistema + kasangkapang pagpapakahulugan. Mahigit na 2,000 ang karapat - dapat na maging kapaki - pakinabang.

Ito'y nagkakahalaga ng kalahating araw.

• Ang isang mahabang-sistema ay nagpapahiwatig sa isang "consistent + variable segment" , na may cache break sa dulo ng constant segment.
• Tumakbo sa palibot na may tunay na trapiko. Sumulat. cached_tokens Percentage ng kabuuang input. Wala pang 30% ang nagpapakita ng mga problema sa disenyo ng panlapi.
• Pipitin din ang panig ng output: ang "output lamang" ay hindi pinapayagang ipaliwanag, ang presyo ng output ay limang ulit ng input.

Huwag mong gawin.

• Huwag magsulat ng siyam-napung dulo para sa cache.Ang cache ay pera, hindi malinaw.
• Huwag idagdag sa isang-off script ang lohika ng caches, na mas komplikado kaysa sa ipon.
• Hindi ipinalalagay na ang mga cache ay maaaring gamitin sa kabila ng iba't ibang modelo.Binabago ng mga modelong switch ang mga cache, na may sero na tama.

Sa wakas.

Ang mga salitang ito'y nangatapos, at isang bagay lamang ang kanilang sinasabi:Pinararatangan ng modelo ang "kung gaano karami ang nababasa nito" at "kung gaano karami ang naisulat nito," at ang cache ay ang tanging mekanismo na maaaring ipagwalang-bahala ang "basahin."

Kaya hindi nga ba kung gaano kaganda ang pahiwatig, di ba?Ilagay ang buntong iyon ng mga bagay na hindi nagbabago sa tuwina. Tayo na.Hindi ko alam.

Ang karamihan ng salaping hindi mo maaaring ipunin ay hindi napakamahal. Nagbabago ang iyong prefix sa bawat pagkakataon.

Iiwan kita sa pinakapraktikal na pagkilos: sa susunod na makakita ako ng isang di - normal na kuwenta, huwag mong pag - alinlanganan ang pagtaas ng presyo ng modelo. cached_tokens Yung kolum.Hindi sero, magpasiya kung nagbabayad ka para sa matematika o doble.