Masukkan, keluarkan, cache kehidupan: nama pada tagihan tanda AI.

Mari kita mulai dengan hasilnya:Hanya ada dua kata dalam istilah-istilah ini yang benar-benar biaya Anda lebih: "Cacheft" dan "output" token.Sisanya catatan mereka.

Saya telah ditagih tiga kali dalam dua bulan, dan itu adalah hal yang sama: saya pikir saya menabung uang, dan saya membayar harga penuh untuk awalan yang sama. Ini adalah salah satu di mana Anda dapat menjawab setidaknya satu pertanyaan...Mengapa saya memiliki 8.000 token pada tagihan ketika saya hanya mengatakan satu kata?

I. Token. Mengapa Cina lebih mahal?

Token adalah unit terkecil untuk pengolahan teks model. Ini bukan kata. Ini bukan kata.Ini adalah sepotong dipotong oleh semantik tersebut.Aku tidak tahu. Dalam kalimat yang sama, jumlah potongan blok dapat berbeda dari model ke kode.

Aku akan mengambilnya. o200k_base Kodenya sebenarnya mengukur beberapa kelompok dan perbedaannya lebih besar dari yang diharapkan:

Teks	Jumlah karakter	Nomor Token	Karakter / token
Kotak coklat cepat melompati anjing malas.	44	10	4.4
Rubah coklat cepat melompat di atas anjing malas.	15	16	0.94
Halo, dunia.	5	4	1.25
CV-2026- 109618	15	8	1.88

Lihat masalahnya.Dalam kalimat yang sama, 10 token dalam bahasa Inggris dan 16 dalam bahasa Cina.Tentang 4 karakter dalam bahasa InggrisSatu kata, satu tokenAku tidak tahu.

Ini sangat tidak ramah bagi para pengguna Cina: "1 token = 4 karakter" adalah pengalaman bahasa Inggris.Anda akan meremehkan lebih dari setengah di Cina.

Ada sebuah kontraintuitif:CVE-2026-109618 Nomor ini, 15 karakter membakar 8 token. Nomor dan tanda hubung dipotong sangat buruk.Jadi ini jauh lebih mahal daripada kelihatannya.

Dua, satu permintaan, empat paragraf.

Pertama kali aku melihat tagihan, itu tidak mahal.Hanya satu kata, tapi 8,000 token.Aku tidak tahu. Kemudian menjadi jelas bahwa lebih dari yang Anda lakukan.

Masukan permintaan biasanya dibuat dalam empat bagian:

Paragraf	Nama Inggris	Apa itu?	Akankah itu berubah?
Petunjuk Sistem	Sistem / penyertaan	Siapa kau, aturan, format keluaran?	Pada dasarnya sama.
Definisi Alat	Kurasa tidak.	Fungsi Skema dan deskripsi JSON	Sangat jarang.
Sejarah dialog	Pesan / riwayat	Setiap putaran pertanyaan dan jawaban sebelum Anda, membawa mereka semua.	Tambah saja
Pertanyaan untuk putaran ini	Maaf, Pak.	Hal yang baru saja kau sebut.	Setiap kali.

Pertama kali aku takut, itu.Alat ini mendefinisikan jumlah 1.200 tokenAku tidak tahu. Sebuah fungsi dengan deskripsi parameter, JSON Skema mengembang untuk mengambil tempat khusus. Anda menulis 20 alat, Anda bisa makan 2.000 menurut definisi.Dan Anda tidak mengetik kata di bagian ini, tapi selalu dibebankan.

Ada titik kunci di belakangnya:Tiga paragraf pertama adalah "tambahan dan tidak dimodifikasi" dan paragraf keempat berubah setiap kali.Ini bukan kebetulan. Ini menentukan apakah cache dapat dipukul.

Tiga: masukan, keluaran, dan yang itu di keluaran.

Kaliber resmi dari ketiga hubungan ini adalah sebagai berikut:

Masukkan token (token masukan / kebijakan)Segala sesuatu yang Anda kirimkan berisi empat paragraf di atas.
KeluaranDipotong. Perhatian...Bukan hanya SMS yang kau lihat.
Token (token resoning)Model penalaran adalah apa yang dipikirkan sebelum memberikan jawaban. Kau tidak bisa melihat, tapi...Pada harga keluaranAku tidak tahu.

Yang ketiga adalah alasan sebenarnya bagi banyak orang untuk menggandakan tagihan mereka. Aku menjalankan semacam pekerjaan dengan model teori, dan aku melihat 20 kata dalam jawabannya, dan tagihan lebih dari 900.Itu 880 tanda tak terlihat, itu semua di sana.

Jadi wajar untuk memiliki kontradiksi:Semakin pendek jawabannya, semakin murah semakin sedikit.

Harga keluaran biasanya sekitar lima kali harga masukan (lihat tabel di bawah ini untuk setiap rumah tangga). Ini menjelaskan prinsip integritas:Hal ini dapat diselesaikan dengan masukan. Jangan biarkan keluar.Letakkan template jawaban, contoh format, dalam petunjuk sistem (lebih rendah), sehingga tidak mengatur sendiri sedemikian sehingga mahal.

Cacheline dan tidak menarik: ini adalah bagian dari seluruh teks yang harus diingat

Apa itu?

Model dihitung sebagai perantara ketika mereka membaca. Bagian ini yang paling mahal.

Prompt cache adalah keadaan prefixed.Lain kali kita bertemu awalan yang sama, kita akan menggunakannya secara langsung dan tidak lagi menghitung ulang.

Jadi ada dua kata:

Cache kena: Prefiks ini ditemukan dalam singgahan. Bagian ini dimasukkan dan ditekan.Diskon.Fees.
Cache missAku tidak bisa menemukannya. Hanya menghitung ulang harga.

Istilah pembunuhan lebih sulit dari yang kau kira.

Kuncinya adalah kata "awalan".Ini bukan tentang menanyakan pertanyaan yang sama.

Saya melakukan percobaan: saya mengambil petunjuk sistem 151 token, mengubahnya ke lokasi yang berbeda, dan melihat berapa banyak itu dapat digunakan kembali.

Perubahan	Prefiks Dapat Kembali	Persentase
Tambahkan sebuah kalimat di akhir	150 / 151	99%
Ubah kata di tengah.	50 / 151	33%
Satu ruang lagi di awal	0 / 151	0%
Mulailah dengan sebuah kata.	0 / 151	0%

Lihat bahwa "satu ruang lagi di awal"?Satu ruang, cache, dihapus, dihitung ulang 151 token pada harga asli.

Ini bukan bug, itu prinsip: Cache adalah keadaan akumulasi dari awal, token pertama berubah, dan kembali semua mati.

Jadi ada aturan yang dapat diterapkan segera:Konten konstan berada di depan dan isi variabel di yang terakhir.

Cara yang paling umum untuk flip adalah untuk memasukkan waktu saat ini, ID yang diminta, ruas terurut acak pada awal dari petunjuk sistem. Itu seperti cache baru setiap kali.Bidang ini dipindahkan ke akhir atau tidak dimasukkan ke dalamnya.

Ada beberapa tempat aman untuk mengabaikan batas.

Ada panjang minimum.Terlalu pendek sebuah awalan tidak memberikan cache sama sekali. OpenAI adalah GPT-5.6 dan kemudian 1.024 token; Anthropic dipisahkan oleh model, baik dalam 512 / 1.024 / 2.048 / 4.096. Jika tidak cukup lama, itu tidak salah.Diam., Anda hanya dapat melihat dengan kembali bidang kuantum.
Ada waktu untuk bertahan hidup.OpenAI standar 30 menit (hingga 12 jam); Anthropic default 5 menit, hingga 1 jam. Dan kali ini...Mulai dari permintaan, tidak menghitung dari akhir jawaban - jika jawabannya berjalan dalam empat menit, slot 5 menit hanya memiliki satu menit jendela.
Kita akan menunggu satu sama lain.Cache Entry Waits for First RequestMulai kembaliMaka itu tersedia. Sepuluh permintaan dikirim dalam detik yang sama, dan semua 10 yang hilang.
Model berubah, alat-alat berubah, slot penalaran berubah.Prefiks-nya berubah dan ratingnya nol.

Berapa nilainya?

Jangan menebak. Kedua keluarga memberi mereka bidang volume:

OpenAI  : usage.prompt_tokens_details.cached_tokens
Anthropic: usage.cache_read_input_tokens / cache_creation_input_tokens

Anthropic, Intuisi khusus:Keduanya kembali 0, yang berarti mereka bahkan tidak mencapai cache.- Biasanya karena prefix tidak minimal.

struktur V. Harga: menulis lebih banyak uang untuk membaca kurang

Cache tidak gratis, dan banyak yang melewatkannya.Pertama kali Anda menulis dalam cache, Anda harus menaikkan harga, kemudian membacanya sebelum Anda membuat diskon.

Operasi	OpenAI	Anthropic
Masukan Normal	1x (baseline)	1x (baseline)
Cache menulis. Slot pendek	1,25 x (30 menit)	1,25 x (5 menit)
Cache menulis lama-term	2,5 x (12 jam)	2x (1 jam)
Cache Baca (Kategori)	0.1 x(GPT-6.1 adalah 0.05 x)	0.1 x(Partial model 0.025 - 0.05 x)
Keluaran	Sekitar 5x	Sekitar 5x

Ambil normal 0.1 x membaca, 1.25 x menulis dua buku:

Tulis sekali + gunakan ulang sekaliCache 1.25 + 0.1 = 1,35 x; tidak ada cache adalah 1 + 1 = 2 x.Provinsi 32 persen.
Tulis sekali + ulangi sembilan kali: Cache 1.25 + 0.9 = 2.15 x; bukan cache adalah 10x.Provinsi 78 persen.

Ini berarti:Dalam satu kasus, cache hampir atau bahkan sedikit hilang, itu hanya ketika diulang lebih dari sepuluh kali bahwa tabungan itu nyata.Mereka "satu kali percakapan sementara" hanya masalah.

By the way:Tulisan cache didasarkan pada segmen token, bukan dengan nomor.Breakpoint itu sendiri gratis, dan uang yang dihabiskan tergantung pada berapa lama Anda benar-benar miliki.

VI. PUNISHMENTS, SISTEM PUNISHMENTS, min

Dua istilah sering digunakan bercampur, tetapi mereka berbeda dalam hal biaya dan otoritas.

Nama	Inggris	Siapa yang menulisnya?	Prioritas	Fee attration
Petunjuk Sistem	Stymprompt / lembaga	Pengembang Platformr atau Aplikasi	Tertinggi	Masukkan token
Pesan Pengembang	Aku tak yakin bisa melakukannya.	Terapkan Pengembang	Turunkan (di atas pengguna)	Masukkan token
Petunjuk pengguna	Ini urusan kita.	Akhir pengguna	Kurang dari dua di atas	Masukkan token
Pesan Asisten	Tidak ada alasan mengapa kau di sini.	Model menghasilkan sendiri	Aku tidak tahu.	Token Keluaran

Dua poin mudah:

Kata "iklan" adalah kata besar.Ini mengacu secara umum untuk semua instruksi teks yang Anda kirim ke model, dan "petunjuk sistematis" adalah salah satu yang paling maju dan prioritas tertinggi. Ketika datang ke "iklan terlalu lama", masalah sebenarnya sering bahwa sistem terlalu lama untuk mendefinisikan mereka.
Peran juga mahal.Setiap pesan adalah satu lapis {"role":...,"content":...}Dan lapisan itu sendiri dianggap sebagai token. Ketika ada banyak pesan, itu akan menjadi ribuan hal.

Jadi dialog pembersihan berhasil -- bukan jenius, ya.Potong bagian sejarah itu.Aku tidak tahu. Tapi pada gilirannya, penting untuk dicatat bahwa setelah membersihkan, prefiks sejarah dari dialog sebelumnya diselenggarakan tidak akan diperlukan.

Tujuh atau tujuh lubang aku melangkah, menyalin kesimpulan.

Gunakan kata "karakter" untuk memperkirakan anggaran Cina.Salah. Cina dekat dengan satu kata, dan Anda akan dua kali lebih pendek. Sudah siap. tiktoken Mendefinisikan, atau melihat kembali pada penggunaan.
Saya pikir saya akan mendapatkan hit jika saya meminta pertanyaan yang sama.Tidak bisa. Harus benar-benar konsisten dari token pertama.
Memasukkan stempel waktu pada awal sistem petunjuk.Ini adalah cache killer yang paling umum. Pindah ke akhir.
Ini murah untuk melihat jawaban singkat.Proses pemikiran model penalaran adalah biaya harga output, jawaban 20 kata, biaya 900 token adalah normal.
Cache untuk satu dialog waktu.Gunakan kembali hanya disimpan 32 persen, tetapi menambahkan lapisan kompleksitas dan biaya debug. Ini layak setidaknya tiga kali.
Anda dapat menebak tingkat hit tanpa melihat lapangan pengukuran.Dua. cached_tokens / cache_read_input_tokens Mereka semua kembali dengan kode yang jelas.
Dia juga meminta untuk menggunakan cache untuk meningkatkan kecepatan.Cache tidak akan tersedia sampai respon pertama dimulai, dan permintaan untuk detik yang sama sebagian besar tidak terjawab.

VIII. Daftar apa yang telah dilakukan

Kita bisa berubah hari ini.

Tentukan hints dan alat sistemSegala sesuatu yang berubah.Pindah ke akhir pesan.
Alat TekanUrutan TetapAtur. Urutan mengubah awalan, awalan berubah.
Cacah pertama: Ketikkan jumlah token dalam definisi sistem + tool. Lebih dari 2.000 layak dioptimalkan.

Ini bernilai setengah hari.

Disassembly sebuah long-system petunjuk ke dalam sebuah "konsisten + variabel segmen", dengan cache istirahat di akhir dari segmen konstan.
Jalankan putaran dengan lalu lintas nyata. Rekor. cached_tokens Persentase masukan total. Kurang dari 30% menunjukkan masalah awalan desain.
Tekan sisi keluaran juga: "hanya keluaran" tidak diperbolehkan untuk menjelaskan, harga keluaran adalah lima kali input.

Jangan lakukan itu.

Jangan menulis tip sembilan puluh tiga puluh untuk cache.Cache adalah uang, bukan kejelasan.
Jangan menambahkan satu - off script logika cache, yang lebih rumit daripada tabungan.
Hal ini tidak diasumsikan bahwa cache dapat digunakan di model yang berbeda.Mengubah model berubah cache, dengan nol hits.

Akhirnya.

Kata-kata ini diambil sampai akhir, dan mereka mengatakan hanya satu hal:Model biaya "berapa banyak yang dibaca dalam" dan "berapa banyak itu menulis", dan cache adalah satu-satunya mekanisme yang dapat diskon "membaca".

Jadi itu tidak persis seberapa indah petunjuk, bukan?Menempatkan tumpukan hal-hal yang tidak berubah setiap waktu. Ayo pergi.Aku tidak tahu.

Sebagian besar uang Anda tidak dapat menyimpan tidak terlalu mahal. Prefiks Anda berubah setiap kali.

Aku akan meninggalkan Anda dengan tindakan yang paling praktis: lain kali saya melihat RUU abnormal, jangan ragu kenaikan harga model. cached_tokens Kolom itu.Ini bukan nol, memutuskan apakah Anda membayar untuk matematika atau ganda.