เติมผลลัพธ์, แคช: name on the AI signal card
เริ่มจากผลที่ออกมามีคําเพียง 2 คําในศัพท์นี้ ที่ทําให้คุณต้องจ่ายมากกว่า "คาเชฟต์" และ "ออกจําหน่าย"ที่เหลือเป็นบันทึกของพวกเขา
ผมถูกเรียกเก็บเงิน 3 ครั้งในรอบ 2 เดือน และมันก็เหมือนกัน ผมเก็บเงินไว้ นี่คือคําถามที่คุณตอบได้ อย่างน้อยหนึ่งคําถามทําไมฉันมีตั๋ว 8,000 ใบ ในเมื่อฉันเพียงแค่พูดคําเดียว
ฉัน โทเค่น ทําไมจีนถึงแพงกว่านี้?
Token เป็นหน่วยที่น้อยที่สุดสําหรับการประมวลผลข้อความตัวอย่าง มันไม่ใช่คํา มันไม่ใช่คํามันเป็นชิ้นส่วนที่ถูกตัดโดยยาฉันไม่รู้ ใน ประโยค เดียว กัน จํานวน บล็อก ที่ ตัด กัน อาจ แตก ต่าง กัน ไป.
ผมรับเอง o200k_base รหัสวัดได้หลายกลุ่ม และความแตกต่างมากกว่าที่คาดไว้
| ข้อความ | จํานวนตัวอักษรที่จะแทนที่ | เพิ่มจํานวน... | อักขระ/ สัญลักษณ์ |
|---|---|---|---|
| กล่องสีน้ําตาลกระโดดข้ามหมาขี้เกียจ | 44 | 10 | 4.4 |
| สุนัขจิ้งจอกสีน้ําตาลอย่างรวดเร็วกระโดดมากกว่าสุนัขขี้เกียจที่ | 15 | 16 | 0.94 |
| สวัสดี โลก | 5 | 4 | 1.25 |
| CEV-2026-109618 | 15 | 8 | 1.88 |
ดู ปัญหา.ในประโยคเดียวกัน 10 ป้ายในภาษาอังกฤษ และ 16 ในภาษาจีนอักขระประมาณ 4 ตัวในภาษาอังกฤษหนึ่งคํา หนึ่งสัญลักษณ์ฉันไม่รู้
นี่ไม่เป็นมิตรกับผู้ใช้ชาวจีนมาก: "1 ตัวละคร ≈4 ตัว" เป็นประสบการณ์แบบอังกฤษ-ภาษาไทยคุณจะประเมินค่ามากกว่าครึ่งในภาษาจีน
มันมีข้อขัดแย้งตามสัญชาตญาณCVE-2026-109618 จํานวนนี้ 15 ตัวอักษร เขียนได้ 8 เหรียญ ตัวเลขและไฮเฟนถูกตัดมากมันจึงแพงกว่าที่เห็น
สองหนึ่งคําขอ สี่ย่อหน้า
ครั้งแรกที่ผมดูบิล มันไม่แพงแค่คําเดียว แต่ 8 พันเหรียญฉันไม่รู้ แล้วมันก็ชัดเจนมากขึ้นกว่าที่คุณทํา
การป้อนคําร้องขอ มักจะทําเป็นสี่ชิ้น
| ย่อหน้า | ชื่อภาษาอังกฤษ | มันคืออะไร? | มันจะเปลี่ยนไหม? |
|---|---|---|---|
| ความเข้มของระบบ | ระบบ / ผสาน | คุณเป็นใคร กฎ รูปแบบผลลัพธ์ | มันก็เหมือนกัน |
| การปรับค่าเครื่องมือ | ฉันไม่คิดอย่างนั้น | ฟังก์ชัน Json Shetma และคําอธิบาย | แทบจะไม่ |
| ประวัติของกล่องโต้ตอบ | จดหมาย / ประวัติ | คําถามแต่ละรอบและคําตอบก่อนที่คุณจะใช้เวลาทั้งหมด | เพิ่มเท่านั้น |
| คําถามสําหรับรอบนี้ | ขอโทษครับ | สิ่งที่นายเพิ่งโทรมา | ทุกครั้ง |
ครั้งแรกที่ฉันกลัวเครื่องมือ กําหนด ปริมาณ ของ เหรียญ 1,200 เหรียญฉันไม่รู้ ฟังก์ชันที่มีพารามิเตอร์บรรยาย, Json Schema ขยายตัวไปยังสถานที่พิเศษ คุณเขียนเครื่องมือ 20 ชิ้น คุณกิน 2,000 ได้ตามนิยามและคุณไม่ได้พิมพ์คําในส่วนนี้ แต่มันคิดเงินเสมอ
มีจุดสําคัญอยู่ข้างหลังมัน3 ย่อหน้าแรกคือ “การสอนและไม่ดัดแปลง" และข้อที่สี่เปลี่ยนแปลงในแต่ละครั้งมันไม่ใช่เรื่องบังเอิญ มันกําหนดว่าจะให้ใช้แคชได้หรือไม่
สาม: การป้อนข้อมูล, การแสดงผล และหนึ่งในการส่งออก
ความ สัมพันธ์ ทั้ง สาม ดัง ต่อ ไป นี้:
- ใส่เครื่องหมาย (input / policy)ทุกสิ่งที่คุณส่งมา มี 4 วรรคข้างบน
- ส่งออกแบบจําลอง ฟังทางนี้...ไม่ใช่แค่ข้อความที่คุณเห็น
- โทเค่น (เครื่องหมายประกอบ)▪ ตัว อย่าง การ หา เหตุ ผล คือ สิ่ง ที่ มัน คิด ก่อน จะ ให้ คํา ตอบ. คุณมองไม่เห็น แต่มัน...ในราคาผลลัพธ์ฉันไม่รู้
ประการ ที่ สาม เป็น เหตุ ผล แท้ จริง ที่ หลาย คน ต้อง จ่าย เงิน สอง เท่า. ผมทําการเรียงลําดับของงานที่มีโมเดลทฤษฎี และผมเห็น 20 คําในคําตอบ และค่าใช้จ่ายเป็นมากกว่า 900880 เหรียญล่องหน ทั้งหมดอยู่ในนั้น
ดังนั้น มันเป็นเรื่องปกติที่จะขัดแย้งยิ่ง คํา ตอบ สั้น เท่า ไร ก็ ยิ่ง ถูก กว่า.
ราคา ที่ ออก มา มัก จะ เป็น ประมาณ ห้า เท่า ของ ราคา ที่ ใส่ เข้า มา (ดู ตาราง ที่ อยู่ ข้าง ล่าง สําหรับ แต่ ละ ครัว เรือน). นี่ อธิบาย หลัก การ แห่ง ความ ซื่อ สัตย์ มั่นคง ดัง นี้:มันแก้ได้ด้วยการใส่เข้าไป อย่าปล่อยมันออกมาใส่ แม่ แบบ คํา ตอบ ไว้ ใน คําใบ้ ของ ระบบ เพื่อ ว่า มัน จะ ไม่ จัด ระเบียบ ตัว เอง ใน แบบ ที่ แพง กว่า.
แคชเชียร์และปฏิเสธ: นี่คือส่วนของข้อความทั้งหมดที่ควรจะจดจํา
มันคืออะไร?
มี การ นับ รุ่น ต่าง ๆ เป็น ตัว กลาง เมื่อ อ่าน. ส่วนนี้แพงที่สุด
แคชด่วนเป็นสถานะนําหน้าคราวหน้าถ้าเราเจอคํานําหน้าเดิม เราจะใช้โดยตรงและไม่คํานวณใหม่
มีคําสองคํา
- แคชถูกชนพบคํานําหน้านี้ในแคช ส่วน นี้ ถูก ใส่ และ กด.ส่วนลดเฟส
- แคชเชียร์พลาดฉันหามันไม่เจอ แค่คํานวณราคาใหม่
เงื่อนไขของการตียากกว่าที่คุณคิด
กุญแจสําคัญคือคําว่า "prefix"มันไม่เกี่ยวกับคําถามเดียวกัน
ผมทําการทดลอง: ผมเอาคําใบ้ของระบบมา 151 อัน เปลี่ยนเป็นตําแหน่งต่างๆ และดูว่ามันสามารถนํากลับมาใช้ใหม่ได้มากแค่ไหน
| เปลี่ยน | ส่วนนําหน้าที่ใช้งานได้ | ร้อยละ |
|---|---|---|
| เพิ่มประโยคที่ท้ายบรรทัด | 150 / 151 | 99% |
| เปลี่ยนคําตรงกลาง | 50 / 151 | 33% |
| อีกที่นึงตอนเริ่มต้น | 0 / 151 | 0% |
| เริ่มด้วยคําพูด | 0 / 151 | 0% |
ดูที่ "หนึ่งพื้นที่มากขึ้นที่เริ่มต้น"?พื้นที่เดียว, แคช, เศษ, คํานวณ 151 เหรียญ ในราคาเดิม
มันไม่ใช่แมลง มันเป็นหลักการ แคชเชียร์เป็นสถานะของการรวมตั้งแต่เริ่มต้น
มันมีกฏที่ใช้ได้ทันที:เนื้อหาคงที่อยู่ด้านหน้า และตัวแปรเนื้อหาล่าสุด
วิธีที่นิยมที่สุดในการพลิก คือ การแทรกเวลาปัจจุบัน ID ที่ร้องขอมา โดยสุ่มแยกสนาม เหมือนเป็นแคชใหม่ทุกครั้งทุ่ง นา เหล่า นี้ จะ ถูก ย้าย ไป ที่ สุด หรือ ไม่ ก็ ไม่ ได้ ใส่ ไว้.
มีคู่ของที่ง่ายต่อลบ
- มันยาวน้อยที่สุดการเติมคํานําหน้ามากเกินไป ไม่ให้แคชเลย OpenAI is GPT-5-6 และต่อมา 1,024 ป้าย; Antrophic ถูกแยกด้วยรุ่นทั้ง 512 / 1,024 / 2,048 / 4,096. ถ้ามันยังไม่นานพอ มันก็ไม่ผิดเงียบคุณสามารถเห็นได้โดยกลับสนามควอนตัม
- ถึงเวลาเอาตัวรอดแล้วOpenAI ปริยาย 30 นาที (ถึง 12 ชั่วโมง); Anthoric default 5 นาที, ถึง 1 ชั่วโมง และครั้งนี้...เริ่มเมื่อร้องขอไม่นับจากตอนจบของคําตอบ ถ้าคําตอบทํางานภายใน 4 นาที ช่อง 5 นาที มีหน้าต่างเพียง 1 นาที
- เราจะรอกันและกันรายการแคชรอการร้องขอแรกเริ่มการเกิดขึ้นอีกงั้นก็ใช้ได้ มี การ ส่ง คํา ขอ สิบ ครั้ง ใน วินาที เดียว กัน และ ทั้ง 10 คน พลาด ไป.
- โมเดลที่เปลี่ยนไป เครื่องมือที่เปลี่ยน เปลี่ยนช่องเหตุผลค่านําหน้าเปลี่ยนแปลง และค่ายิงเป็นศูนย์
อัตราที่เพิ่มขึ้นคืออะไร?
อย่าเดา ทั้งสองครอบครัวให้สนามเสียงพวกเขา:
OpenAI : usage.prompt_tokens_details.cached_tokens
Anthropic: usage.cache_read_input_tokens / cache_creation_input_tokens
มานุษยวิทยา สัญชาติญาณพิเศษทั้งคู่กลับมา 0 ซึ่งหมายความว่าพวกเขา ไม่ไปถึงแคช- ปกติเพราะคํานําหน้าไม่ได้น้อยที่สุด
V. Price โครงสร้าง: การเขียนเงินมากขึ้นเพื่ออ่านน้อยลง
แคชไม่ฟรี และหลายคนพลาดมันครั้งแรกที่คุณเขียนในแคช คุณต้องเพิ่มราคา แล้วอ่านก่อนที่จะทําส่วนลด
| ปฏิบัติการ | OpenAI | มานุษยวิทยา |
|---|---|---|
| ค่านําเข้าปกติ | 1x (เส้นฐาน) | 1x (เส้นฐาน) |
| การเขียนแคช ช่องว่างแบบสั้น | 1. 25 x (30 นาที) | 1. 25 x (5 นาที) |
| การเขียนแคชระยะยาว | 2.5 x (12 ชั่วโมง) | 2x (1 ชั่วโมง) |
| อ่านแคช (Category) | 0.1 x(GPT-6.1 คือ 0.05 x) | 0.1 x(โมเดลพิเศษ 0.025 – 0.05 x) |
| ส่งออก | ประมาณ 5x | ประมาณ 5x |
ลองอ่าน 0.1 แบบปกติ, 1.25 x เขียน 2 เล่ม:
- เขียนอีกครั้ง + ใช้อีกครั้งหนึ่งครั้งแคช 1.25 + 0.1 = 1. 35 xไม่มีแคช 1+1 = 2xจังหวัด 32 เปอร์เซ็นต์
- เขียนหนึ่งครั้ง +ซ้ําเก้าครั้งแคชเชียร์ 1.25 + 0.9 = 2. 15 xไม่ใช่แคช 10xจังหวัด 78 เปอร์เซ็นต์
นี่ หมายความ ว่า:ใน กรณี หนึ่ง การ เก็บ เงิน ออม แทบ จะ ไม่ สูญ หาย เลย แม้ แต่ เล็ก น้อย ก็ เพียง แต่ เมื่อ มี การ ทํา ซ้ํา มาก กว่า สิบ เท่า ที่ เงิน ออม มี อยู่ จริง.การสนทนาชั่วคราวเหล่านั้นเป็นแค่ปัญหา
อีกอย่างนะการเขียนแคชขึ้นอยู่กับส่วนของสัญลักษณ์ ไม่ใช่ตัวเลขจุดหักเหเองฟรี และเงินที่ใช้ไป ขึ้นอยู่กับว่าคุณอยู่ได้นานแค่ไหน
V. Punishments, SYSTEMPENES, นาที
สอง คํา นี้ มัก ใช้ กัน ใน สอง คํา แต่ คํา นี้ ต่าง กัน ใน ด้าน ค่า ใช้ จ่าย และ อํานาจ.
| ชื่อ | อังกฤษ | ใครเขียน? | สูง | การนําเสนอ |
|---|---|---|---|---|
| ความเข้มของระบบ | สไตมโพรม/ สถาบัน | ผู้พัฒนาแพลตฟอร์มหรือโปรแกรม | สูงที่สุด | ใส่เครื่องหมายเข้า |
| จดหมายผู้พัฒนา | ผมไม่แน่ใจว่าผมจะทําได้ | ผู้พัฒนา | ด้านล่าง (ผู้ใช้มากกว่า) | ใส่เครื่องหมายเข้า |
| คําใบ้ของผู้ใช้ | มันเป็นธุรกิจของเรา | ผู้ใช้สิ้นสุด | น้อยกว่าสองตัวข้างบน | ใส่เครื่องหมายเข้า |
| ต้นแบบจดหมาย | ไม่มีเหตุผลที่คุณมาที่นี่ | รุ่นสร้างตัวมันเอง | ฉันไม่รู้ | ตัวพิมพ์ออก |
สองประเด็นง่ายๆ
- คําว่า "การอนุมาน" เป็นคําใหญ่มันอ้างอิงโดยทั่วไปถึงคําแนะนําทั้งหมด ที่คุณส่งไปยังโมเดล และ "คําใบ้ของระบบ" เป็นคําแนะนําที่ล้ําหน้าและมีความสําคัญสูงสุด เมื่อพูดถึง "การอนุมานนั้นยาวเกินไป" ปัญหาที่แท้จริงก็คือ ระบบนั้นมักจะยาวเกินกว่าจะนิยามมัน
- บทบาทก็แพงด้วยทุกข้อความเป็นหนึ่งชั้น
{"role":...,"content":...}และชั้นเองนับเป็นสัญลักษณ์ เมื่อมีข้อความมากมาย มันจะเป็นพันของสิ่ง
ดังนั้น การสนทนาสะอาด ได้ผล ไม่ใช่อัจฉริยะ ใช่ตัดส่วนหนึ่งของประวัติศาสตร์ฉันไม่รู้ แต่ ส่วน ใหญ่ แล้ว เป็น เรื่อง สําคัญ ที่ จะ สังเกต ว่า หลัง จาก ทํา ความ สะอาด เสร็จ แล้ว คํานํา ทาง ประวัติศาสตร์ ของ การ สนทนา ที่ เคย มี ใน อดีต ก็ ไม่ จําเป็น.
เจ็ดหรือเจ็ดหลุมที่ฉันเหยียบ, คัดลอกข้อสรุป
- ใช้คําว่า "ตัวจัดการ" เพื่อประเมินงบประมาณของจีนผิดแล้ว ภาษาจีนมีคําเกือบคําเดียว และคุณจะสั้นกว่าสองเท่า มันพร้อมแล้ว
tiktokenการต่อต้าน หรือมองย้อนกลับไปถึงการใช้งาน - ฉันคิดว่าฉันจะถูกตี ถ้าฉันถามคําถามคล้ายกันไม่ได้ ต้องสอดคล้องกันอย่างสมบูรณ์ จากเหรียญแรก
- แทรกเวลาในตอนต้นของคําใบ้ของระบบนี่คือนักฆ่าแคช ย้ายไปยังตอนจบ
- มันราคาถูกที่จะเห็นคําตอบสั้นแบบจําลองการให้เหตุผลของกระบวนการคิด มีต้นทุนในราคาที่ออกมา คําตอบ 20 คํา ค่าใช้จ่าย 900 เหรียญเป็นเรื่องปกติ
- แคชสําหรับการสนทนาครั้งเดียวออมแค่ 32 เปอร์เซนต์ แต่เพิ่มระดับความซับซ้อน และค่าใช้จ่ายดีบั๊ก มันมีค่าอย่างน้อยสามครั้ง
- คุณคงเดาได้ว่า อัตราการชนโดยไม่ดูสนามวัดสอง
cached_tokens/cache_read_input_tokensพวกเขากลับมาพร้อมรหัสชัดเจน - เขายังขอใช้แคชเพื่อเพิ่มความเร็วด้วยจะไม่มีแคชจนกว่าการตอบรับครั้งแรกจะเริ่ม และการร้องขอที่สองเดียวกันจะขาดไปมาก
ที่ 8 รายการ สิ่ง ที่ ได้ ทํา ไป แล้ว
วันนี้เราเปลี่ยนกันได้
- กําหนดคําใบ้และเครื่องมือของระบบทุกอย่างเปลี่ยนไปเลื่อนไปยังท้ายจดหมาย
- กดเครื่องมือลําดับความกว้างคงที่เตรียมการ ลําดับเปลี่ยนคํานําหน้า คํานําหน้าเปลี่ยนแปลง
- การนับครั้งแรก: พิมพ์จํานวนของสัญลักษณ์ ในนิยามเครื่องมือของระบบ + มาก กว่า 2,000 คน มี ค่า นิยม ที่ ดี เลิศ.
มันมีค่าครึ่งวัน
- ทําการแยกคําใบ้ของระบบยาวเข้าไปใน "เซกเมนต์ + ตัวแปร" โดยมีการหักแคชที่ปลายสุดของภาคคงที่
- วิ่งไปรอบ ๆ กับการจราจรจริง บันทึก
cached_tokensร้อยละของการป้อนทั้งหมด ไม่ ถึง 30% บ่ง ชี้ ถึง ปัญหา ด้าน การ ออก แบบ แบบ ขั้น ต้น. - กดด้านข้างส่งออกเช่นกัน: "output เท่านั้น" ไม่ได้รับอนุญาตให้อธิบาย ราคาส่งออกเป็นห้าเท่าของค่านําเข้า
อย่าทําแบบนี้
- อย่าเขียนทิป 930 เหรียญแคชเชียร์เป็นเงิน ไม่ใช่ความชัดเจน
- อย่าเพิ่มสคริปต์เดียวเข้าไปอีก ตรรกะของแคชซึ่งซับซ้อนมากกว่าการออมทรัพย์
- ไม่ มี การ คาด คะเน ว่า จะ สามารถ นํา มา ใช้ ได้ โดย ข้าม แบบ จําลอง ต่าง ๆ.การสลับโมเดลเปลี่ยนแคช โดยไม่มีเพลงฮิต
ในที่สุด
คําเหล่านี้ถูกนํามาจนถึงที่สุด และพวกเขากล่าวเพียงสิ่งเดียวโมเดลเรียกเก็บเงินว่า "มันอ่านได้มากแค่ไหน" และ "มันเขียนได้มากแค่ไหน" และแคชเป็นกลไกเดียวที่ลด "อ่าน" ได้
ดังนั้น มันไม่เชิงว่า คําใบ้มันสวยแค่ไหนใช่มั้ยวางกองของที่ไม่เปลี่ยนทุกครั้ง ไปกันเถอะฉันไม่รู้
เงินส่วนใหญ่ที่คุณเก็บไม่ได้ ไม่แพงเกินไป คํานําหน้าของคุณเปลี่ยนไปทุกครั้ง
ผมจะปล่อยคุณไว้โดยปฏิบัติจริงที่สุด ครั้งต่อไปที่ผมเห็นใบแจ้งหนี้ที่ผิดปกติ อย่าสงสัยว่าราคาของโมเดลเพิ่มขึ้น cached_tokens คอลัมน์นั้นมันไม่ใช่ศูนย์ ตัดสินใจว่าคุณจ่ายค่าคณิต หรือ 2 เท่า