Nhập, đầu ra, cuộc sống bộ nhớ tạm: tên trên tờ ủy nhiệm AI.

Hãy bắt đầu với kết quả:Chỉ có hai từ trong những từ này thực sự tốn kém hơn: "Cacheft" và "offput".Phần còn lại là ghi chú của họ.

Tôi đã được tính 3 lần trong 2 tháng, và cũng như vậy: tôi nghĩ tôi đang tiết kiệm tiền, và tôi đang trả giá đầy đủ cho cùng một tiền vốn. Đây là câu trả lời cho ít nhất một câu hỏi...Tại sao tôi lại có $8,000 trong khi tôi chỉ nói một từ?

I. Token. Tại sao Trung Quốc lại đắt hơn?

Token là đơn vị nhỏ nhất để xử lý văn bản mô hình. Đó không phải là một từ. Đó không phải là một từ.Đó là một đoạn cắt bởi ngữ nghĩa.Tôi không biết. Trong cùng một câu, số khối có thể khác nhau từ mô hình đến mã hóa.

Tôi sẽ nhận. o200k_base Mã số đo được nhiều nhóm và sự khác biệt lớn hơn mong đợi:

Văn bản	Số Ký tự	Số dòng	Ký tự/ họa
Nhanh chóng hộp màu nâu nhảy qua con chó lười biếng.	44	10	4.4
Con cáo màu nâu nhanh chóng nhảy qua con chó lười biếng đó.	15	16	0.94
Chào cả thế giới.	5	4	1.25
CVE-26-109618	15	8	1.88

Thấy vấn đề chưa.Cùng câu đó, 10 biểu tượng tiếng Anh và 16 bằng tiếng Trung.Khoảng 4 ký tự tiếng AnhMột từ, một vật kỷ niệm.Tôi không biết.

Điều này là rất không thân thiện với người dùng Trung Quốc: "1 tượng trưng ký tự 4" là một kinh nghiệm tiếng Anh.Anh sẽ đánh giá thấp hơn một nửa số đó bằng tiếng Trung Quốc.

Có một phản trực quan:CVE-2026-109618 Số này, 15 kí tự đốt 8 huy chương. Số liệu và dấu gạch nối bị cắt rất tệ.Nó đắt hơn nhiều so với bề ngoài.

Hai, một yêu cầu, bốn đoạn.

Lần đầu tiên tôi xem dự luật, nó không đắt tiền.Nó chỉ là một từ, nhưng là 8,000.Tôi không biết. Sau đó mọi thứ trở nên rõ ràng hơn những gì anh đã làm.

Đầu vào của một yêu cầu thường được thực hiện thành bốn mảnh:

Đoạn văn	Tên tiếng Anh	Cái gì vậy?	Nó sẽ thay đổi chứ?
Gợi ý hệ thống	Hệ thống/ Cấu hình	Anh là ai, luật lệ, định dạng đầu ra?	Cơ bản là giống nhau.
Định nghĩa công cụ	Tôi không nghĩ vậy.	Hàm JSON Schema và mô tả	Rất hiếm khi.
Lịch sử đối thoại	Comment	Từng câu hỏi và câu trả lời trước mặt anh, hãy mang tất cả chúng đi.	Chỉ thêm
Câu hỏi cho hiệp này	Tôi xin lỗi, thưa ngài.	Cái thứ anh vừa gọi ấy.	Lần nào cũng vậy.

Lần đầu tiên tôi sợ.Công cụ định nghĩa số lượng 1200 tờTôi không biết. Một chức năng miêu tả tham số, ông JSON Schema mở rộng vai trò đặc biệt. Bạn đã viết 20 công cụ, bạn có thể ăn 2000 theo định nghĩa.Và anh không gõ một từ nào trong phần này, nhưng nó luôn sạc.

Có một điểm mấu chốt đằng sau nó:Ba đoạn đầu tiên là “sự thay đổi liên tục và không được sửa đổi trong mỗi lần.Đó không phải là trùng hợp ngẫu nhiên. Nó xác định xem bộ nhớ tạm có thể bị tấn công hay không.

Ba: đầu vào, đầu ra, và một trong các đầu ra.

Đường kính chính thức của ba mối quan hệ này là như sau:

Hãy nhập hiệu bài (dấu chấm / biểu tượng chính sách): Mọi thứ bạn gửi qua đều chứa bốn đoạn ở trên.
Xuất: Modelled. Chú ý...Không chỉ là tin nhắn cậu thấy.
Token (dấu hiệu đối thoại): Mô hình lý luận là những gì nó nghĩ trước khi nó đưa ra câu trả lời. Anh không thể thấy, nhưng nó...Giá xuấtTôi không biết.

Thứ ba là lý do thực sự khiến nhiều người tăng gấp đôi hóa đơn. Tôi làm việc với một mô hình lý thuyết, và tôi thấy 20 từ trong câu trả lời, và dự luật hơn 900.880 vật vô hình, tất cả ở trong đó.

Vì vậy, nó là bình thường để có một mâu thuẫn:Câu trả lời càng ngắn thì càng rẻ.

Giá xuất thường gấp năm lần giá đầu vào (xem bảng dưới đây cho mỗi gia đình). Điều này giải thích một nguyên tắc thanh liêm:Nó có thể được giải quyết với đầu vào. Đừng để nó lộ ra.Đặt mẫu trả lời, ví dụ định dạng, trong gợi ý hệ thống, để nó không tự tổ chức theo cách mà nó đắt tiền.

Lát và không hấp dẫn: đây là phần của toàn bộ văn bản cần nhớ

Chúng là gì?

Mô hình được coi là trung gian khi đọc. Phần này đắt nhất.

Bộ nhớ tạm nhắc nhở là trạng thái tiền tố.Lần tới chúng ta gặp cùng một tiền tố, chúng ta sẽ sử dụng trực tiếp và không tính toán lại nữa.

Có hai từ:

Comment: Tiền tố này được tìm thấy trong bộ nhớ tạm. Phần này đã được nhập và ép.Giảm giá.Fees.
Nhớ bộ nhớTôi không tìm thấy. Chỉ cần tính lại giá.

Điều kiện của cú đánh khó hơn anh nghĩ.

Chìa khóa là từ "tiền tố".Vấn đề không phải là cùng một câu hỏi.

Tôi đã làm một thí nghiệm: tôi lấy dấu hiệu hệ thống 151, chuyển nó thành những địa điểm khác nhau, và xem nó có thể được tái sử dụng bao nhiêu.

Thay đổi	Tiền tố phục hồi được	Phần trăm [%]
Thêm câu cuối	150 / 151	99%
Thay đổi từ ở giữa.	50 / 151	33%
Một khoảng trống nữa lúc đầu	0 / 151	0%
Bắt đầu bằng một từ.	0 / 151	0%

Thấy "một không gian nữa vào lúc bắt đầu" không?Một không gian, bộ nhớ tạm, phế thải, tính lại 151 biểu tượng với giá gốc.

Nó không phải là một con bọ, đó là nguyên tắc: Cache là tình trạng tích lũy ngay từ đầu, sự thay đổi tượng trưng đầu tiên, và mặt sau đã chết.

Vì vậy có một quy tắc có thể được áp dụng ngay lập tức:Nội dung hằng số nằm ở phía trước và nội dung biến trong cuối cùng.

Cách thông thường nhất để lật là chèn thời gian hiện tại, yêu cầu ID, sắp xếp ngẫu nhiên trường đầu của gợi ý hệ thống. Lần nào cũng thế.Những cánh đồng này được chuyển đến cuối hoặc đơn giản là không được đặt vào.

Có vài ngưỡng dễ bị phá.

Có chiều dài tối thiểu.Quá ngắn một tiền tố không cung cấp cho bộ nhớ tạm ở tất cả. OpenAI là GPT-5.6 và sau đó 1.024 plate; Antropic bị phân biệt theo mô hình, cả hai trong 512 / 1.024 / 2.048 / 4.096. Nếu không đủ lâu thì cũng không sai.Im lặng.Anh chỉ có thể thấy bằng cách trả lại trường lượng tử.
Vẫn còn thời gian để sống sót.OpenAI default 30 phút (lên đến 12 giờ); Antropic default 5 phút, đến 1 giờ. Và lần này...Bắt đầu từ yêu cầuKhông đếm từ cuối câu trả lời -- nếu câu trả lời chạy trong 4 phút, khe 5 phút chỉ có 1 phút.
Chúng ta sẽ đợi nhau.Mục lục đợi yêu cầu đầu tiênBắt đầu quay vềVậy thì nó có sẵn. Mười yêu cầu được gửi đến cùng lúc, và tất cả 10 yêu cầu đều bị bỏ sót.
Thay đổi mô hình, thay đổi công cụ, thay đổi vị trí lý luận.Tiền tố thay đổi và tỷ lệ trúng là 0.

Tỉ lệ trúng là bao nhiêu?

Đừng đoán. Cả hai gia đình đều cho họ một cánh đồng lớn:

OpenAI  : usage.prompt_tokens_details.cached_tokens
Anthropic: usage.cache_read_input_tokens / cache_creation_input_tokens

Antropic, cái trực giác đặc biệt:Cả hai đều về 0, nghĩa là họ thậm chí còn không tới được nơi lưu trữ.- Thường là vì tiền tố không phải là tối thiểu.

Cấu trúc V. Price: viết nhiều tiền hơn để đọc ít hơn

Có nhiều người đã bỏ lỡ sự đau khổ.Lần đầu tiên bạn viết trong bộ nhớ tạm, bạn phải nâng giá lên, sau đó đọc nó trước khi giảm giá.

Thao tác	OpenDI	Chất nhuộm
Nhập chuẩn	1x (dòng cơ bản)	1x (dòng cơ bản)
Viết thư. khe ngắn	1. 25 x (30 phút)	1. 25 x (5 phút)
Chữ ký bộ nhớ tạm	2.5 x (12 giờ)	2x (1 giờ)
Đọc bộ nhớ tạm (phần tư)	0. 1 x(GPT-6. 1 là 0.05 x)	0. 1 x(Một phần mô hình 0.025 – 0.05 x)
Xuất	Khoảng 5x	Khoảng 5x

Lấy 1.25 x bình thường đọc 2 quyển sách:

Ghi một lần và sử dụng lạiCache 1. 25 + 1. 0 = 1.35 x;không có bộ nhớ tạm là 1 + 1 = 2 x.Tỉnh 32 phần trăm.
Viết một lần + lặp lại chín lần: Cache 1. 25 + 0.9 = 2.15 x;không phải bộ nhớ tạm là 10x.Tỉnh 78%.

Nghĩa là:Trong một trường hợp, bộ nhớ tạm hầu như bị mất hoặc thậm chí một chút; chỉ khi nó được lặp đi lặp lại hơn mười lần rằng tiền tiết kiệm là thực tế.Những cuộc nói chuyện tạm thời đó chỉ là vấn đề.

Nhân tiện:Việc ghi tạm được dựa trên phần tượng trưng, chứ không phải số.Điểm ngắt tự nó là miễn phí, và số tiền chi tiêu phụ thuộc vào bạn có bao lâu.

Tài khoản cá nhân, tài khoản cá nhân, phút

Hai từ này thường được dùng lẫn lộn, nhưng về chi phí và thẩm quyền thì khác nhau.

Tên	Tiếng Anh	Ai viết nó?	Ưu tiên	Nhận diện Fee
Gợi ý hệ thống	Stymprompt / tổ chức	Nền tảng hoặc nhà phát triển ứng dụng	Cao	Hãy nhập hiệu
Nhà phát triển thông điệp	Tôi không chắc tôi có thể làm được điều đó.	Áp dụng nhà phát triển	Thấp (trên người dùng)	Hãy nhập hiệu
Gợi ý người dùng	Đó là việc của chúng ta.	Người dùng cuối	Ít hơn hai người trên.	Hãy nhập hiệu
Comment	Không có lý do gì anh ở đây.	Mô hình tự tạo	Tôi không biết.	Phải:

Hai điểm dễ dàng:

Từ "sự thỏa mãn" là một từ lớn.Nó nói chung về tất cả các hướng dẫn văn bản bạn gửi cho các mô hình, và "dấu hiệu hệ thống" là một trong đó là ưu tiên hàng đầu và cao nhất. Vấn đề thường là hệ thống quá lâu để định nghĩa chúng.
Vai trò cũng rất tốn kém.Mỗi thông điệp là một lớp {"role":...,"content":...}Và chính lớp này cũng được tính như một vật tượng trưng. Khi có rất nhiều tin nhắn, nó sẽ là hàng ngàn thứ.

Vậy nên cuộc đối thoại dọn dẹp đã có hiệu quả -- không phải thiên tài.Cắt đứt phần đó của lịch sử.Tôi không biết. Tuy nhiên, điều quan trọng là sau khi dọn dẹp xong, không cần đến những tiền đề lịch sử của cuộc đối thoại trước đây.

Bảy hay bảy cái hố tôi bước vào, sao chép kết luận.

Dùng từ "chacter" để ước lượng ngân sách của Trung Quốc.Sai. Trung Quốc chỉ gần một từ, và anh sẽ ngắn gấp đôi. Xong rồi. tiktoken Định hướng, hoặc nhìn lại cách sử dụng.
Tôi nghĩ tôi sẽ bị bắn nếu tôi hỏi câu tương tự.Không thể. Phải hoàn toàn nhất quán từ vật kỷ niệm đầu tiên.
Chèn một nhãn thời gian vào đầu gợi ý hệ thống.Đây là kẻ giết người tạm trú thông thường nhất. Đi tới cuối.
Nhìn ngắn thì rẻ.Quá trình suy nghĩ của mô hình lý luận được chi phí với giá xuất, trả lời 20 từ, tính phí 900 là bình thường.
Có đau để nói chuyện một lần.Sử dụng lại chỉ tiết kiệm 32 phần trăm, nhưng thêm một lớp chi phí phức tạp và gỡ lỗi. Nó đáng giá ít nhất ba lần.
Bạn có thể đoán tỉ lệ trúng mà không cần phải nhìn vào trường đo lường.Hai. cached_tokens / cache_read_input_tokens Tất cả họ đều trở về trong mã số rõ ràng.
Ông cũng yêu cầu dùng bộ nhớ tạm để tăng tốc độ.Bộ nhớ tạm sẽ không sẵn sàng cho đến khi phản ứng đầu tiên bắt đầu, và yêu cầu cùng một giây sẽ bị bỏ lỡ phần lớn.

VIII. Name

Hôm nay chúng ta có thể thay đổi.

Định nghĩa gợi ý và công cụ hệ thốngMọi thứ thay đổi.Di chuyển đến cuối thông điệp.
Nhấn công cụThứ tự cố địnhSắp xếp đi. Thứ tự thay đổi tiền tố, tiền tố thay đổi.
Số đếm đầu tiên: gõ số hiệu trong hệ thống + công cụ định nghĩa. Hơn 2.000 là giá trị tối ưu.

Nó đáng giá nửa ngày.

Giải mã một gợi ý hệ thống dài thành một đoạn mã + biến ", với một đoạn tạm dừng tại cuối đoạn thẳng.
Chạy vòng vòng với giao thông thực sự. Kỷ lục. cached_tokens Phần trăm đầu vào. Chưa tới 30% cho thấy có vấn đề về thiết kế tiền tố.
Nhấn phần xuất cũng: "chỉ ra" không được phép giải thích, giá xuất gấp năm lần đầu vào.

Đừng làm thế.

Đừng viết một lời khuyên 9 giờ 30 cho bộ nhớ tạm.Cache là tiền, không rõ ràng.
Đừng thêm vào các tập lệnh một lần hợp lý của bộ nhớ tạm, phức tạp hơn tiết kiệm.
Người ta không cho rằng các nơi lưu trữ có thể được sử dụng trên các mô hình khác nhau.Mô hình chuyển đổi đang thay đổi bộ nhớ tạm, không có kết quả.

Cuối cùng.

Những lời này được ghi lại đến cùng, và chỉ nói một điều:Các mô hình sạc "nó đọc được bao nhiêu" và "nó viết bao nhiêu," và bộ nhớ tạm là cơ chế duy nhất có thể giảm giá "đọc".

Vì vậy, nó không phải là chính xác như thế nào đẹp, phải không?Đặt những thứ không thay đổi mỗi lần. Đi thôi.Tôi không biết.

Hầu hết số tiền không thể tiết kiệm được không quá đắt. Tiền tố của bạn thay đổi mỗi lần.

Tôi sẽ để lại cho các bạn một hành động thực tế nhất: lần tới khi tôi thấy một dự luật bất thường, đừng nghi ngờ giá của mô hình tăng. cached_tokens Cột đó.Nó không phải là số không, quyết định bạn đang trả tiền cho toán học hoặc gấp đôi.