B, GGUF, MTP, A3B, E4B: The five characters in the model name, not one. نعم
لنبدأ باختتام ينقذ نصف الارتباكهذه الأشياء الخمسة ليست بنفس الأبعاد(بي) هي الكلمة، (إي 3 بي) و(إي 4 بي) هي "الكمية" و(جي جي إف) هي الحاوية، و(إم بي) هي (البلوجين) في الواقع، يجيبون على سؤال مختلف تماماً
وفيما يلي تقسيم العمل تحديدا:"ب"، "كم كبير"، "A3B"، "كم من العمل"، "E4B"، "كم هو حقاً في الذاكرة" "GGUF"، "ما فيه، "MTP"، "كيف يتسارع".وتظهر أربع أو خمس وثائق في آن واحد لأنها تحتاج إلى التعبير عنها في آن واحد - ولكن الخلط كثيرا ما يحدث عندما تعامل على أنها نفس النوع من المعلومات.
إنه مجرد مليار
(بي) هو (بيليون) مليار7B إنّه مقاس 7 مليار دولار.235B هذا 235 مليار إنّها مجموعة مُسبقات مُحدّدة برمز (جي جي إف)K الآلافM الملايينB مليارT تريليونات الدولاراتQ البلايين
يبدو أن أبسط واحد، في الواقع لديه ثلاثة معاني مختلفة تماما. هذا أول شيء يجب أن يكون واضحا:
| الكتابة | معنى | تقرر ماذا؟ |
|---|---|---|
30B | البارامترات العامة: الوزن الكامل | هل يمكنك اللعب؟(ضباب، مرئي) |
30B-A3B | مجموع 30 باء، تنشيط واحد 3 باء | كم السرعة؟ كم باهظ الثمن؟ |
E4B | البارامترات الحافظة: الوجود الفعلي وقت التشغيل | هل يمكنك الركض على الهاتف؟ |
إذا نظرتم إلى هذه الخطوط الثلاثة معاً، ستتوصلون إلى استنتاج أن نموذج 30B يمكن تشغيل على هاتف خلوي.قد يكون صحيحاً، لكنّه ليس نفس الـ30B الذي ظننته.
II. A3B: General parameters and activation parameters are not a once Yes.
هذا مِنْ MoE. Qwen3 واضح جداً حول أسماء النماذجِ:Qwen3-235B-A22B هو نموذج كبير من "233.5 بليون بارامترات إجمالية، 22 بليون بارامترات مفعمة بالفعّالة" و Qwen3-30B-A3B
تفاصيل تقنية محددة أيضاً: 30B-A3B لها 48 طابقاً، عدد الرأس Q/KV 32/4تم تنشيط 8 من أصل 128 أخصائياالسياق 128K. 235B-A22B is 94th floor, 64/4 head, also 128 experts activated 8.
إذاً، (إي 3 بي)، المعنى الفعلي لهذه العلامة هو:عرض 30B، السرعة 3B.
هذا هو إغراء وزارة التعليم، كل مصادر سوء الفهم.أنت تنقذ المال، وليس الذاكرة.العديد من الناس يرون (إي 3 بي) و يعتقدون أنه نموذج 3B محمل على آلة 4GB، لا شيء من الأوزان صغيرة، ولكن ليس جميع الحسابات الأمامية.
إلى جانب سهولة تجاهل الكتابة: <expertCount>x<count><scale-prefix>♪ And so ♪ 8x7B هذا يسمى "8 خبراء x 7B" لمجموع 56B.هذا إمّا إلتهاب مضاعف أو تضاعفMixtral-8x7B is often misinterpreted as a "7B model" and the actual total parameter is 56B.
ثالثا - E4B: E is effictive, not "smaller"
هذا أسهل من القراءة تماماً وثيقة جيما 3ن واضحة:
علامات البارامترات لنموذج جيما 3 (g. E2B, E4B)أقل منالمبلغ الإجمالي للبارامترات المدرجة بالفعل في النموذج. يُشيرُ الإي بي فيكس إلى هذه النماذجِ يُمْكِنُ أَنْ تُديرَ مَع a مجموعة مِنْ "بُرامتراتِ غير نشطةِ."
إلى أي مدى؟ The document gives the number:وتُنفَّذ معايير E2B عن طريق تحميل أكثر من 5 بلايين بارامترات، والتخطيط، ومخابئ PLE بارامترات لضغط حمولة الذاكرة النشطة إلى 1.91 باء.
ملاحظة الكلمات الرئيسية لهذه الجملة:والنموذج نفسه لم يصبح أصغر حجما، بل أصبح أصغر من حيث وجوده أثناء سيره.
ويمكن تحقيق ذلك من خلال آليتين:
- PLE Cache (Per-Layer Embeding).ويمكن توليد كل طبقة من البارامترات المدمجة بمعزل عن الذاكرة النموذجية، وتأجيرها إلى تخزين محلي سريع، وتضاف إلى كل طبقة عند تشغيلها.هذا مساوٍ لطلب هذا الجزء من البارامترات خارج الذاكرة
- (مات فورمر)وهناك العديد من النماذج الصغيرة المدمجة في نموذج كبير لا يحتاج إلى تفعيل البارامترات الخارجية عند استخلاصها. حتى يمكنك أن تأخذ أي وسط بين 2B و 4B.
This leads to a counterintuitive fact:E4B يحتوي على جميع البارامترات E2B.ليس نموذجين متفردين، واثنين من الطرازات لنفس النموذج الفلكي. لذا المصطلح الدقيق ليس "إي 4B" هو نموذج 4B الصغير لكن "E4B"E4B هو نموذج مرن مع القوة القصوى الذهاب إلى 4B.الأمر ليس كما لو أنني سأذهب لأي مكان
هذا له تأثير كبير على الحكم "هل يمكنني تشغيل معداتي"E4B can run E2B-like on low-equipment equipment and expand to 4B on high-equipment equipment.و (إي 3 بي) ليس لديه هذه المرونة إنها 30 بي إنها مجرد وفورات في التكاليف
انه ليس نموذج انه صندوق نموذجي
The first three are the size of the model, which has changed the dimensions from GGUF:هذا هو شكل الملفTo be precise, GGUUF is a model storage format for GGML and its implementer (llama.cpp).
It replaces GGML, GGMF, GGJT, three-generation format. والأهداف الرسمية للتصميم هي أربعة أهداف يقابل كل منها نقطة ألم في الماضي:
| أهداف التصميم | اتفقنا على ماذا؟ |
|---|---|
| نشر ملفات واحدة | لا حاجة إلى وثائق إضافية، والتوزيع المباشر والتحميل |
| موسعة | لا يؤدي إضافة البيانات الوصفية الجديدة إلى تقويض توافق النماذج القديمة |
mmap التوافق | صورة خريطة، بسرعة |
| معلومات كاملة | كل ما تحتاجه هو في الملف ليس على المستعملين أن يزودوه |
الفرق الرئيسي بينه وبين الجيل الأخير من جي جي جي جي تي هو مجرد جملة واحدة، لكنه المفتاح:ويُغيَّر المقياس الفائق من قائمة القيم دون نوع إلى مفتاح البيانات الفوقية.هذه الخطوة جعلت من الممكن أن يكون هناك تعارض بين الحقل
كيف تهجأت؟
رمز التسمية الرسمي هو:
[].gguf
خذ مثال حقيقي
mtp-Qwen3-27B-v1.0-Q4_K_M.gguf
mtp-• Sidecar (byline module, see next section)Qwen3) BaseName (base model name)27B) SizeLabel (parameter slot)v1.0الإصدار (التحويل)Q4_K_Mالترميز (تزين الوزن/التقدير الكمي)
هناك عنصران لا يبدوان معروفين
- نوع.:
LoRAيعني أنه مكيف وليس نموذج كاملvocabيشير إلى الملف الصوتي - عار:
00003-of-00009يظهر الجزء الثالث من الإهتمامالرقم يبدأ بـ 00001لا
وهناك أيضاً فصل هام في القاعدة:يُدعى "لن يكون قابلاً للانفصال في البرية"لأن ملف الغوغف الحالي متنوع جداًلذا لا تكتبي تخميناً منتظماً لما هو في الملف، تقرأي البيانات الوصفية.File general.basenameلا أعلمgeneral.size_labelلا أعلمgeneral.finetune إنها السلطة
V. Q4 K M: The longest part of the file name is the compression rate
وهذا هو أكثر ما يؤثر على تجربتك في الممارسة العملية، وتلك التي لم يوضحها أحد.إنه يشير إلى مقدار الوزن الذي تم تحديده كمياً
استعملت شركة لاما - 3.1-8B لإجراء دراسة استقصائية وقائعية، واتخذت بضع خطوات (نموذج أولي 32.1 GB):
| الكمية | قطع/حق | حجم الملف | الجينات السرعة |
|---|---|---|---|
| IQ1 S | 2.00 | 1.87 GiB | ٧٩,٧ طنا |
| Q2 K | 3.16 | 2.95 GiB | 79.9 t/s |
| Q3 K | 4.00 | 3-74 GiB | 71.7 t/s |
| Q4 K | 4.89 | 4.58 GiB | 71.9 t/s |
| Q5 K M | 5.70 | 5.33 GiB | 67.2 t/s |
| Q8 0 | 8.50 | 7.95 GiB | 50.9 t/s |
| F16 | 16.00 | 14.96 GiB | 29.2 t/s |
Q4 K M become the community default file for all the reasons in this table:4.89 Bits/ weights, with a backlog of 30% of F16, which is 2.4 times faster.وحتى الرقم 0-8، يضاعف الحجم ويهبط بنسبة 30 في المائة، كما أن تغيرات النوعية التي لا يعرفها معظم الناس؛ ويقل حجمها قليلاً إلى مستوى IQ1 S، كما أن مخاطر النوعية أعلى بكثير.
كيف تقرأ اسمك؟
- الملكة = التحديد الكمي المنتظم؛IQ = مصفوفة الجوهر هي مصفوفة كمية (كمية)، ذات نوعية أفضل وسرعة أبطأ قليلا في نفس الرقم.
- الأرقام = الأرقام المستهدفة. Q4 هو 4 قليلا، Q8 هو 8 قليلا.
- K = الكيلومترات، التحديد الكمي للقطع (بلوك-وزن)، الأكبر سنا
_0/_1السلسلة أكثر تفصيلاً - S/M/L = ضيق/وسيط/كبير، ضيق دقيق مختلط.إم يَلتقطُ بَعْض الجفونِ الحساسةِ لإبْقاءهم عاليين.لذا هو أيضاً Q4, K إم أكبر قليلاً مِنْ K S.
هناك حقيقة أخرى أن العديد من الناس لا يعرفون:ويمكن تكييف الكمية حسب كل حالة على حدة.تدعم الأدوات الرسمية تعيين أنواع مختلفة حسب النوع، مثل: attn_v و ffn_down Sets separately as Q5 K M, while the rest is maintained as Q4 K M; also supports setting by a regular batch number. وهذا هو السبب في أن نفس نوع "Q4 K M" من الملف يختلف عن حجم الملف الذي يمارسه الناس.إنها استراتيجية غير مقصودة، وليس تحديد دقيق.
VI. MTP: A small module called "Guess next word"
إنها الأخيرة التي من السهل استخدامها كنموذج في الواقعFile Role Tagلا أعلم In the GGF document mtp حدد على أنه " سيديكار " (وحدة مصحوبة)، وقال:
Multi-Token Predation Headers, draft module for speculative decodering, designed to be loaded with base models matching structure and versions.
الأمر بسيط:دعنا نخمّن القلة القادمة، وندع النموذج الرئيسي يُدار بالتوازي.التبنّي المباشر الصحيح، هبوط خاطئ. وبما أن التحقق يمكن أن يؤكد دائماً وجود كسور متعددة، ومتوسط الانقطاع في الوقت المكسور - وهذا هو مبدأ التخمين الكامل.
لكن هناك عبارة في الوثيقة يجب أن تُذكر في هذا القسم:"أثقال الـ(إم بي سي) غالباً ما تُحزم مباشرةً في نماذج أساسية، في هذه الحالة لا يوجد ملف منفصل من جانب المقطع"
لذا الفهم الصحيح هو:نعم mtp- Prefixes, indicating that they are on the outside; none seen, does not mean none.هذا هو السبب في البحث عن MTP في القائمة النموذجية في كثير من الأحيان لا توجد - انها بالفعل في الملف الرئيسي.
الجانب الآخر... mmproj(مُسجّل متعدد الوسائط، مُقدّم متعدد الوسائط)، مُحدّد بصري وسمعي بالإضافة إلى طبقة الإسقاط.وهذه عادة وثيقة مستقلة يجب تحميلها بنموذج أساسي.لذا إذا وضعت نموذجاً متعدد الوسائط لـ (جي جي إف) و إكتشفت أنك لا تستطيع رؤية الخريطة
سابعا - القراءة الكاملة لخمسة شخصيات
كل ما سبق هو قراءة كاملة. افترض انك ترى اسم الملف
mtp-Qwen3-30B-A3B-v1.0-Q4_K_M.gguf
| Snippet | أي طابق هو؟ | الشروح |
|---|---|---|
mtp- | File Role | وحدة التحلل المضارب المرفقة تحتاج إلى تطابق النموذج الرئيسي |
Qwen3 | الهوية النموذجية | الاسم النموذجي |
30B | الحجم | مجموع البارامترات قررت ألا أتظاهر |
A3B | الحساب | ثلاثة مليارات مرة كم من السرعة قررت الهرب؟ |
v1.0 | Version | الوزن |
Q4_K_M | التخزين | 4-89 قطع/وزن، ختان خليط متوسط |
.gguf | الحاويات | إلى لاما. |
موجز للوثيقة:وتم الضغط على ما يقرب من 4.9 أماكن في حاوية GGUUF، مع وحدة إضافية لتسريع المضاربة، وذلك بمقياس إجمالي قدره 30 بليون ونموذج متوسطي قدره 3 بلايين وحدة في كل مرة.
ثامنا - أربعة من أكثر الأخطاء شيوعا
- إعتبرْ A3B كنموذج 3B.إنها ليست ذاكرة 30B ليس لديه وزن أقل، و 4GB لا يزال مرئيا.
- E4B كنموذج 4B صغير.إنها أكبر مجموعة من النماذج المرنة E4B يحتوي على جميع البارامترات E2B. Low-fit on it press 2B, not 4B run.
- إستعملْ GGF كنموذج.The same model can be F16, Q8 0, Q4 K M several GGUUFs.GGUF is a container and quantification is content.سؤال "ق4 و جي جي جي جي إف" هو مثل سؤال "الزجاجة والماء الجيد"
- هذه الوظيفة هي جزء من تغطيتنا الخاصة (سورية بروتيس) عام 2011.والبيان الرسمي بأن الصفقة غير مشروعة تماما. لا تكتب القاعدة العادية للوصول إلى البيانات الوصفية للملف بمعلومات دقيقة.
وهناك خامس مخفي:! 8x7B اقرأ 7B.هذا هو "8 خبراء كل 7B". المجموع 56 باء. In GGUF <expertCount>x<count> الـ "إكس" هي التضاعف
تاسعا - الغرض من الاتفاقات العملية
وأخيرا، إعطاء تسلسل يمكن اتباعه. انظر الى اي اسم نموذجي واسأل نفسك بهذا الترتيب
- أول نظرة على الحاويات وقياس كمي
.gguf+Q4_K_Mهذا يعني أنّها نسخة عامة محلية، والجودة والحجم مُحددان بالفعل وقت الإفراج. - اقرأ البارامترات العامة مرة أخرىتقرر ما إذا كان وجودك/الرزم كافيا. إنها عتبة صعبة هذا ليس كافياً
- لنرى إن كان (مو)نعم
A??Bويستند الوصف إلى بارامترات التنشيط، ولكن الذاكرة لا تزال قائمة على بارامترات كاملة. - لنرى ما إذا كان هناك "إي"نعم
EThis indicates that it is an elass model and that the actual presence may be well below the nominal value - this determines whether it can access the cell phone. - آخر نظرة على (سيدكار)نعم
mmproj-تذكر أن تأتي معا؛ نعم.mtp-تذكروا المطابقة ولا يعني ذلك أنه لا يوجد تسارع
الاسم المثالي ليس طاولة بارامتر بل علامة العلامة تعمل لإبعادك عن الملف الخطأ التالي وليس لحساب النتيجة
إنه يركض دائماً لكن لقراءة العلامة بشكل صحيح، على الأقل ستعرف قبل تحميل 15 جي بي أنه لا يمكن تركيبهاووفر هذا الوقت أكثر من أي نقطة مرجعية.