Enter, output, cache life: the name on the AI token bill.
لنبدأ بالنتائجهناك كلمتين فقط في هذه المصطلحاتِ التي حقاً كلفتْك أكثر: "السرقة" و"الناتج" تَكُن.البقية هي ملاحظاتهم
لقد تم فواتيري ثلاث مرات خلال شهرين، وهذا هو الشيء نفسه: أعتقد أنني أحتفظ بالمال، وأنا أدفع الثمن الكامل لنفس الرقم القياسي. هذا هو الذي يمكنك الإجابة على سؤال واحد على الأقل...لماذا لدي 8000 دولار على الفاتورة عندما قلت كلمة واحدة فقط؟
I. Token. لماذا الصينيون أغلى؟
Token is the smallest unit for model text processing. إنها ليست كلمة إنها ليست كلمةإنّها قطعة مقطوعة بالسيمانية.لا أعلم وفي الجملة نفسها، يمكن أن يختلف عدد القطع عن النموذج إلى الرمز.
سآخذها o200k_base The code actually measured several groups and the difference was greater than expected:
| النص | عدد الشخصيات | العدد الرمزي | عامل/محطّم |
|---|---|---|---|
| الصندوق البني السريع يقفز فوق الكلب الكسول | 44 | 10 | 4.4 |
| الثعلب البني السريع قفز فوق ذلك الكلب الكسول. | 15 | 16 | 0.94 |
| مرحبا، العالم. | 5 | 4 | 1.25 |
| CVE-2026-109618 | 15 | 8 | 1.88 |
انظر المشكلةIn the same sentence, 10 tokens in English and 16 in Chinese.حوالي 4 شخصيات بالإنكليزيةكلمة واحدة، كلمة واحدةلا أعلم
هذا غير ودي جداً للمستعملين الصينيين "الشخصية المثالية" هي تجربة اللغة الإنجليزيةستستهين أكثر من نصفه بالصينية
هناك مضادCVE-2026-109618 هذا الرقم، 15 شخصية تحرق 8 زوايا الأرقام والهيفينات مقطوعة بشدةإذاً فهو أكثر تكلفة مما يبدو
اثنان، واحد، أربعة فقرات.
المرة الأولى التي نظرت فيها إلى الفاتورة لم تكن مكلفةانها مجرد كلمة واحدة، ولكن 8،000 توك.لا أعلم ثم أصبح واضحا أن أكثر مما فعلت.
وعادة ما تقدم مدخلات الطلب بأربعة أجزاء:
| الفقرة | الاسم | ما الأمر؟ | هل سيتغير؟ |
|---|---|---|---|
| النظام الهين | النظام/الإدماج | من أنت، القواعد، شكل الناتج؟ | الأمر نفسه |
| تعريف العنف | لا أعتقد ذلك | Function JSON Schema and description | نادراً جداً |
| تاريخ الحوار | الرسائل/التاريخ | كل جولة من الأسئلة والأجوبة أمامك، خذهم جميعا. | فقط |
| أسئلة لهذه الجولة | أنا آسف يا سيدي | ذلك الشيء الذي اتصلت به للتو | في كل مرة |
أول مرة كنت خائفة، كان.The tool defines the amount of 1,200 tokensلا أعلم A function with parameter description, JSON Schema expands to take special place. لقد كتبت 20 أداة يمكنك أن تأكل ألفين بتعريفوأنت لم تكتب كلمة في هذا الجزء، لكنّها مُتهمة دائماً.
هناك نقطة رئيسية وراء ذلك:والفقرات الثلاث الأولى هي " غير مشروطة " وتتغير الفقرة الرابعة في كل مرة.إنها ليست مصادفة إنه يحدد ما إذا كان يمكن ضرب المخبأ
ثلاثة: المدخلات، والناتج، وتلك في الناتج.
وفيما يلي السعر الرسمي لهذه العلاقات الثلاث:
- Enter token (input / policy tokens): كل شيء ترسله يحتوي على الفقرات الأربعة أعلاه.
- الناتج: إنتباه...ليس فقط الرسالة التي رأيتها
- Token (resoning tokens): نموذج المنطق هو ما يعتقد قبل أن يعطي الجواب. لا يمكنك أن ترى، ولكن...أسعار الإنتاجلا أعلم
والسبب الثالث هو السبب الحقيقي لكثير من الناس لمضاعفة فواتيرهم. أدير نوعاً من العمل مع نموذج نظري وأرى 20 كلمة في الجواب و الفاتورة أكثر من 900أن 880 غير مرئي، كل شيء في هناك.
لذا من الطبيعي أن يكون هناك تناقضكلما كانت الإجابة أقصر كلما كانت أقل تكلفة
وعادة ما يكون سعر الناتج خمسة أضعاف سعر المدخلات (انظر الجدول أدناه لكل أسرة معيشية). وهذا يفسر مبدأ النزاهة:يمكن حلها بالمدخلات لا تدعه يخرجوضع نموذج الجواب، نموذج الشكل، في تلميح النظام (أقل)، بحيث لا ينظم نفسه بطريقة باهظة الثمن.
Cacheline and unattractive: this is the section of the whole text that should be remembered
ما هي؟
وتُحسب النماذج كنموذج وسيط عند قراءتها. هذا الجزء هو أغلى.
(بلومت كيتش) هو ولاية ثابتةفي المرة القادمة التي نقابل فيها نفس المسابقة سنستخدمها مباشرةً ولن نعيد حسابها
لذا كان هناك كلمتين:
- إصابة كاش: هذا المفترس وجد في المخبأ دخل هذا الجزء وضغط عليهالخصمرسوم.
- كاشلا أستطيع إيجاده فقط أعيد حساب السعر
شروط الضربة أصعب مما تظن
المفتاح هو كلمة "أصلح".الأمر لا يتعلق بسؤال نفس السؤال
لقد قمت بتجربة: لقد أخذتُ تلميحًا لـ151 نظامًا رمزيًا، وغيّرتُه إلى مواقع مختلفة، ونظرتُ إلى كم يمكن إعادة استخدامه.
| التغييرات | Prefix | النسبة المئوية |
|---|---|---|
| يضاف حكم في النهاية | 150 / 151 | 99% |
| غير الكلمة في الوسط. | 50 / 151 | 33% |
| مكان آخر في البداية | 0 / 151 | 0% |
| ابدأ بكلمة | 0 / 151 | 0% |
هل ترى هذا "متسع آخر في البداية"؟مساحة واحدة، كوخ، خردة، إعادة حساب 151 خردة بالأسعار الأصلية.
إنه ليس حشرة، إنه المبدأ، (كاش) هو حالة التراكم من البداية، أول تغيرات رمزية، والظهر كله ميت
وهناك قاعدة يمكن تطبيقها على الفور:المحتوى الدائم في المقدمة والمحتوى المتغير في الأخير
الطريقة الأكثر شيوعاً للقلب هي إدخال الوقت الراهن، وطلب الهوية، والحقول التي تم فرزها عشوائياً في بداية النظام هذا مثل مخبأ جديد في كل مرةوهذه الحقول إما نقلت إلى النهاية أو ببساطة لم توضع فيها.
هناك بضعة عتبات سهلة الإختيار
- هناك حد أدنى طول.قصير جداً لا يعطي المخبأ على الإطلاق أما " فتح " فهو " GPT-5.6 " ، ثم 024 1 توكن؛ أما " Anthropic " فهو موزع حسب النموذج، في 512 /024 / 048 2 / 096 4. إن لم يكن طويلاً بما فيه الكفاية فهو ليس خاطئاًالصمتيمكنك فقط أن ترى عن طريق إعادة الحقل الكمي
- هناك وقت للنجاةالتخلف عن الدفع لمدة 30 دقيقة (حتى 12 ساعة)؛ تقصير الأنثروب 5 دقائق، حتى ساعة واحدة. وهذه المرةبدء عند الطلبلا يحسب من نهاية الجواب - إذا سارت الإجابة خلال أربع دقائق، فتحة 5 دقائق فقط نافذة دقيقة واحدة.
- سننتظر بعضناإنتظار أول طلبابدأوا بالعودةإذاً فهو متاح وأرسلت عشرة طلبات في نفس الثانية، وفاتت جميع الطلبات العشرة.
- نماذج متغيرة، أدوات متغيّرة، تغيّر أماكن التفكير.التغييرات الافتراضية ومعدل الضربة صفر
ما هو معدل ضرب؟
لا تخمن وأعطتهم العائلتان مجالاً كبيراً:
OpenAI : usage.prompt_tokens_details.cached_tokens
Anthropic: usage.cache_read_input_tokens / cache_creation_input_tokens(أنثروبيك) المميز:كلاهما رجع صفر مما يعني أنهم لم يصلوا حتى إلى المخبأ-عادةً لأن المُفترسات ليست ضئيلة
V. Price structure: writing more money to read less
(كاش) ليس حراً، والكثير منهم فقدوه.في المرة الأولى التي تكتبين فيها في المخبأ يجب أن ترفعي السعر ثم تقرأيه قبل أن تقومي بخصم
| العملية | OpenAI | Anthropic |
|---|---|---|
| الناتج العادي | 1x (خط الأساس) | 1x (خط الأساس) |
| كاش يكتب فترة قصيرة | 1.25 x (30 دقيقة) | 1.25 x (5 دقائق) |
| كاش يكتب على المدى الطويل | 2.5 x (12 ساعة) | 2x (1 ساعة) |
| Cache Read (Category) | 0.1 x(GPT-6.1 is 0.05 x) | 0.1 x)النموذج الجزئي |
| الناتج | حوالي 5 | حوالي 5 |
خذ الـ 0.1 × قراءه × 1.25 × اكتب كتابين
- أكتب مرة أخرىCache 1.25 + 0.1 = 1.35 x; No cache is 1 + 1 = 2 x.المقاطعة 32 في المائة
- أكتب مرة واحدة + تكرار تسع مرات: Cache 1.25 + 0.9 = 2.15 xلا يوجد خبزالمقاطعة 78 في المائة
وهذا يعني:وفي حالة واحدة، كان المخبأ قد ضاع بالكاد أو حتى بصورة طفيفة؛ ولم يكن ذلك إلا عندما تكرر أكثر من عشرة أضعاف أن المدخرات كانت حقيقية.تلك "محادثات مؤقتة لمرة واحدة" هي مجرد مشكلة
بالمناسبة:ويستند الكتابة إلى الجزء المكسور، وليس العدد.نقطة الانفصال نفسها حرة والمال المنفق يعتمد على كم من الوقت لديك
VI. PUNISHMENTS, SYSTEM PUNISHMENTS, min
وكثيراً ما يُستخدم المصطلحان معاً، ولكنهما مختلفان من حيث التكلفة والسلطة.
| الاسم | الإنكليزية | من كتبها؟ | الأولوية | الإسناد |
|---|---|---|---|---|
| النظام الهين | المؤسسات/المؤسسات | منبر أو مطور تطبيقات | أعلى | Enter token |
| رسالة مطورة | لست متأكداً أنني سأتمكن من فعل ذلك | مطور تطبيق | أقل (أكثر من المستخدمين) | Enter token |
| تلميح المستخدم | إنه عملنا | المستخدم النهائي | أقل من الاثنين أعلاه | Enter token |
| رسالة مساعدة | ليس هناك سبب لوجودك هنا | النماذج تولد نفسها | لا أعلم | الناتج |
نقطتان سهلتان:
- كلمة "الإعفاء" كلمة كبيرة.يشير بشكل عام إلى كل التعليمات النصية التي ترسلها للنموذج، و "تلميح الطبيعي" هي التي هي الأكثر تقدماً وأعلى الأولويات. عندما يتعلق الأمر بـ "الإعلانات طويلة جداً" المشكلة الحقيقية غالباً أن النظام طويل جداً لتعريفها
- كما أن الدور مكلف.كل رسالة هي طبقة واحدة
{"role":...,"content":...}والطبقة نفسها تُحسب على أنها مكسورة عندما يكون هناك الكثير من الرسائل ستكون آلاف الأشياء
إذاً حوار التنظيف يعمل ليس عبقرياًاقطع هذا الجزء من التاريخلا أعلم ولكن من المهم أن نشير، في المقابل، إلى أنه لن تكون هناك حاجة إلى المقاصد التاريخية للحوار السابق.
سبعة أو سبعة من الحفر التي قمت بها، نسخ الاستنتاجات.
- استخدم كلمة "مصمم" لتقدير الميزانية الصينيةخطأ الصينيون على مقربة من كلمة واحدة، وسوف يكون ضعف قصير. إنه جاهز
tiktokenتحديد، أو النظر إلى الاستخدام. - ظننت أنني سأضرب إذا سألت سؤالاً مشابهاًلا أستطيع لا بدّ أنّه مُتّسق تماماً من أول منحدر.
- في بداية النظامهذا أكثر قاتل مخبأ شيوعاً تحركوا إلى النهاية
- من الرخيص رؤية أجوبة قصيرةعملية التفكير في نموذج التعليل مُكلّفة بسعر الإنتاج، والإجابة على 20 كلمة، والشحنة 900 (توكس) طبيعية.
- (كاش) من أجل الحوار لمرة واحدةولم توفر إعادة الاستخدام سوى 32 في المائة، ولكنها أضافت طبقة من التعقيد وتكاليف التشويه. إنه يستحق ثلاث مرات على الأقل
- يمكنك تخمين معدل ضرب دون النظر إلى مجال القياساثنان
cached_tokens/cache_read_input_tokensجميعهم عادوا برمز واضح - وطلب أيضا استخدام المخبأ لتعزيز السرعة.The cache will not be available until the first response begins, and requests for the same second are largely missed.
ثامنا - قائمة بما تم فعله
يمكننا أن نتغير اليوم
- بيان موجزات وأدوات النظامكل شيء يتغيرانتقل إلى نهاية الرسالة.
- Tool Pressالأمر الثابتغريب الأمر يُغيّر المُعالجة المُسبقة، والتغيّر المُسبق.
- العدد الأول: تحديد عدد الكسور في النظام + تعريف الأدوات. أكثر من 000 2 يساوي أمثل.
إنها تساوي نصف يوم
- تلميح طويل من النظام إلى "متناسقة + متغيرة" مع راحة في نهاية الجزء الدائم
- اركض مع حركة المرور الحقيقية سجل
cached_tokensالنسبة المئوية من مجموع المدخلات. أقل من 30% يشير إلى مشاكل التصميم - اضغط على جانب الناتج أيضاً "الناتج فقط" ليس مسموحاً له أن يشرح، سعر الناتج هو خمس مرات من المدخلات
لا تفعل ذلك.
- لا تكتب معلومة بـ 9: 30 للمخبأ(كاش) هو المال وليس الوضوح
- لا تضيفي إلى النص المفرد منطق المخبأ الذي أكثر تعقيداً من المدخرات
- ولا يُفترض أنه يمكن استخدام المخابئ عبر نماذج مختلفة.نماذج التبديل تُغيّرُ كوخَ، مَع صفر ضرباتِ.
أخيراً
هذه الكلمات مأخوذة حتى النهاية، وهي تقول شيئا واحدا فقط:تُكلف النموذج "كم يقرأ في" و "كم يكتب" والمخبأ هو الآلية الوحيدة التي يمكن أن تخفض "القراءة".
إذاً الأمر ليس كم هو جميل التلميح، أليس كذلك؟ضع كومة الأشياء التي لا تتغير في كل مرة لنذهبلا أعلم
معظم المال الذي لا يمكنك توفيره ليس باهظ الثمن تَتغيّرُ مُسبقَكَ كُلّ مرّة.
سأتركك مع أكثر الإجراءات عملية في المرة القادمة التي أرى فيها فاتورة غير طبيعية لا تشك في زيادة سعر النموذج cached_tokens هذا العمودانها ليست صفر، يقرر ما إذا كنت تدفع لالرياضيات أو الضعف.