B, GGUF, MTP, A3B, E4B: Cele cinci caractere din numele modelului, nu unul. Da.

Să începem cu o concluzie care salvează jumătate din confuzie:Aceste cinci lucruri nu sunt la toate aceleași dimensiuni.B este cuvântul, A3B și E4B este "quantity," GGUF este containerul, MTP este modulul. De fapt, ei răspund la o întrebare complet diferită.

Diviziunea specifică a muncii este următoarea:"B," "Cât de mare," "A3B," "Cât de mult de lucru," "E4B," "Cât de mult este într-adevăr în memorie," "GGUF," "Ce este în ea," "MTP," "cum se accelerează."Patru sau cinci documente apar simultan, deoarece ele trebuie exprimate simultan, dar confuzia apare adesea atunci când sunt tratate ca același tip de informații.

Unu, B: E doar un miliard.

B este Miliard, un miliard.7B Este un parametru de 7 miliarde de dolari.235B Face 235 de miliarde. Este un set de prefixe de scară în codul de nume GGUF:K MiiM Milioane,B Un miliard.T trilioane de dolari,Q Miliarde.

Se pare că cea mai simplă, are de fapt trei sensuri complet diferite. Acesta este primul lucru care ar trebui să fie clar:

Scriere	Semnificație	Ce să decizi?
30B	Parametrii generali: greutatea totală	Poţi să cânţi?(disc, vizibil)
30B-A3B	Total 30B, activare unică 3B	Cât de repede? Cât de scump?
E4B	Parametrii validi: prezența efectivă la momentul funcționării	Poţi vorbi la telefon?

Dacă te uiți la aceste trei linii împreună, veți obține concluzia că modelul 30B poate rula pe un telefon mobil.Poate că e corect, dar nu e acelaşi lucru cu 30B pe care îl credeai.

II. A3B: Parametrii generali și parametrii de activare nu sunt o singură dată Da.

Acest lucru este de la MoE. Qwen3 este foarte clar despre numele modelelor:Qwen3-235B-A22B este un model mare de "233,5 miliarde de parametri totali, 22 de miliarde de parametri activati," iar Qwen3-30B-A3B este un mic MOE de "30 miliarde de parametri totali, 3 miliarde de parametri activati."

Detalii tehnice sunt, de asemenea, specifice: 30B-A3B are 48 de etaje, Q/KV cap numar 32/48 din 128 de specialisti activati, context 128K. 235B-A22B este etajul 94, 64/4 cap, de asemenea 128 de experți activat 8.

Deci, A3B, sensul real al acestei mărci este:Afişează 30B, viteza 3B.

Asta e toată tentaţia lui MoE, toate sursele neînţelegerilor.Economiseşti bani, nu amintiri.Mulți oameni văd A3B și cred că este un model 3B, încărcat pe o mașină 4GB, și apoi găsi imposibil de încărcat. Nici una dintre greutățile sunt mici, dar nu toate calculele înainte.

Împreună cu o scriere ușor de ignorat: SizeLabel de GGF este <expertCount>x<count><scale-prefix>♪ Și așa ♪ 8x7B Aceasta se numește "8 experți x 7B," pentru un total de 56B.Aceasta este fie o ellipsă de multiplicare sau o multiplicare.Mixtral-8x7B este adesea interpretat greşit ca "model 7B," iar parametrul total real este 56B.

III. E4B:E este eficient, nu "mai mic"

Aceasta este una dintre cele mai ușor de citit complet. Documentul Gemma 3n este clar:

Marcaje de parametri pentru modelul Gemma 3n (de exemplu E2B, E4B)Mai puțin deCantitatea totală de parametri inclusă efectiv în model. Prefixul E indică faptul că aceste modele pot fi rulate cu un set de "parametri activi mai puțin."

În ce măsură? Documentul indică numărul:Standardele E2B sunt implementate prin încărcarea a mai mult de 5 miliarde de parametri, sărind peste și PLE caches după parametri pentru a apăsa sarcina de memorie activă la 1.91B.

Observaţi principalele cuvinte ale acestei propoziţii:Modelul în sine nu a devenit mai mic, el a devenit mai mic în ceea ce privește prezența sa în timp ce rulează.

Acest lucru poate fi realizat prin intermediul a două mecanisme:

• PLE Cache (Per-Layer Embing).Fiecare strat de parametri înglobați poate fi generat separat de memoria modelului, cached la un depozit local rapid, și adăugat la fiecare strat atunci când rulează.Acest lucru este egal cu a cere această parte a parametrului din memorie.
• MatFormer.Există mai multe modele mici încorporate într-un model mare, care nu trebuie să activeze parametrii exteriori atunci când sunt deduse. Deci, puteți lua orice mijloc între 2B și 4B.

Acest lucru duce la un fapt contraintuitiv:E4B conține toți parametrii E2B.Nu două modele independente, două sloturi pentru acelaşi model elastic. Deci termenul exact nu este "E4B este un mic model 4B," ci "E4B."E4B este un model elastic cu putere maximă mergând la 4B.Doar nu plec nicăieri.

Acest lucru are un impact mare asupra hotărârii că "pot rula pe echipamentul meu":E4B poate rula E2B-like pe echipamente mici și se poate extinde la 4B pe echipamente înalte.Și A3B nu are această elasticitate -- este 30B, este doar de economisire a costurilor.

Nu e model, e model.

Primele trei sunt dimensiunea modelului, care a schimbat dimensiunile de la GGUF:Acesta este formatul de fișier.Pentru a fi precis, GGUUF este un model de format de stocare pentru GGML și implementator (lama.cpp).

Acesta înlocuiește GGML, GGMF, GGJT, format de trei generații. Obiectivele de proiectare oficiale sunt patru, fiecare dintre care corespunde unui punct de durere trecut:

Obiective de proiectare	Cu ce?
Implementarea unui singur fișier	Nu sunt necesare documente suplimentare, distribuţie directă şi încărcare
Extensibil	Adăugarea de noi metadate nu aduce atingere compatibilității modelelor vechi
mmap Compatibilitate	Harta de memorie Se încarcă rapid
Informații complete	Tot ce ai nevoie pentru a încărca este în dosar. Utilizatorii nu trebuie să-l furnizeze.

Diferenţa cheie între ea şi ultima generaţie de GGJT este doar o propoziţie, dar este cheia:Hiperparametrul este schimbat de la o listă de valori fără tip la o cheie pentru metadate.Acest pas a făcut posibilă "ada incompatibilitate câmp"

Cum l-ai scris?

Codul oficial de denumire este:

[].gguf

Să luăm un exemplu.

mtp-Qwen3-27B-v1.0-Q4_K_M.gguf

• mtp- • Sidecar (modul byline, vezi secțiunea următoare)
• Qwen3 → Nume de bază (numele modelului de bază)
• 27B → DimensiuneLabel (parametru slot)
• v1.0 Versiune (versiune)
• Q4_K_M Codificare (codificare/cuantificare greutate)

Există două componente care nu par a fi cunoscute:

• Tip.:LoRA Înseamnă că e un adaptor, nu un model complet;vocab indică fișierul vocabular.
• Shad.:00003-of-00009 Arată fracţiunea, 3 din 9 Atenţie.Numărul începe la 00001.Nu 00000.

Există, de asemenea, o renunțare importantă în norma:Se numeşte "nu va fi complet descifrabil în sălbăticie.", pentru că fișierul GGuf existent este prea divers.Deci, nu scrieți o presupunere regulată a ceea ce este în numele fișierului, citiți metadate.Fișier general.basenameNu ştiu.general.size_labelNu ştiu.general.finetune Este autoritate.

V. Q4 K M: Cea mai lungă parte a numelui fișierului este rata de compresie

Acesta este cel care afectează cel mai mult experiența ta în practică, și cel pe care nimeni nu a făcut clar.Aceasta indică câtă greutate a fost cuantificată.

Lama.cpp Oficial README folosit Llama-3.1-8B pentru a face un studiu de fapt, și am luat o pereche de pași (modelul original 32.1 GB):

Cuantificare	biți/dreapta	Mărime fișier	Generează viteza
IQ1 S	2.00	1. 87 GiB	79,7 t/s
Q2 K	3.16	2. 95 GiB	79,9 t/s
Q3 K M	4.00	3. 74 GiB	71, 7 t/ s
Q4 K M	4.89	4. 58 GiB	71,9 t/s
Q5 K M	5.70	5. 33 GiB	67,2 t/s
Q8 0	8.50	7. 95 GiB	50,9 t/s
F16	16.00	14. 96 GiB	29,2 t/s

Q4 K M devine fișierul implicit al comunității din toate motivele din acest tabel:4.89 Biți/greutate, cu un backlog de 30% din F16, care este de 2,4 ori mai rapid.Până la Q8 0 volumul se dublează și scade cu 30%, iar schimbările de calitate cele mai multe persoane nu știu; până la IQ1 S, volumul este un pic mai puțin, iar riscurile de calitate sunt mult mai mari.

Cum îţi citeşti numele?

• Regina = cuantificarea regulată;IQ = Matricea de materialitate este cuantificată (i-quant), cu o calitate mai bună și viteză ușor mai lentă în aceleași cifre.
• Numere = cifre țintă. Q4 este de 4 biți, Q8 este de 8 biți.
• K = k-quant, cuantificarea blocului (în funcție de bloc), mai veche _0 / _1 Seria este mai detaliată.
• S / M / L = slot mic/media/mare, mixt de precizie.M alege câteva capace sensibile pentru a le menţine ridicate.Deci, este, de asemenea, Q4, K M este puțin mai mare decât K S.

Există un alt fapt că mulți oameni nu știu:Cuantificarea poate fi personalizată de la caz la caz.Instrumentele oficiale susțin desemnarea diferitelor tipuri pe tipuri, cum ar fi: attn_v şi ffn_down Setează separat Q5 K M, în timp ce restul este menținut ca Q4 K M; suportă, de asemenea, setarea printr-un număr regulat de lot. Și de aceea același tip de fișier "Q4 K M" este diferit de mărimea fișierului pe care oamenii îl presează.Este o strategie implicită, nu o specificație precisă.

VI. MTP: Un modul mic numit "Ghici următorul cuvânt"

E ultima care e uşor de folosit ca model.Tag rol fișierNu ştiu. În documentul GGF mtp Definit ca Sidecar (modul însoțit), indicând:

Antete multi-Token Predation, proiect de modul pentru decodare speculativă, concepute pentru a fi încărcate cu modele de bază potrivite arhitecturii și versiunilor.

E simplu:Să ghicim următoarele jetoane, şi să lăsăm modelul principal să meargă în paralel.Adopţie directă, scădere greşită. Deoarece verificarea poate confirma întotdeauna mai multe jetoane, scăderea medie a timpului pe jeton - acesta este întregul principiu al decodificării speculative.

Dar există o frază în document care ar trebui să fie cel mai amintit în această secțiune:"Greutățile MTP sunt adesea ambalate direct în modele de bază, caz în care nu există un fișier Mtp-side separat."

Deci înţelegerea corectă este:Da. mtp- Prefixe, indicând faptul că acestea sunt la exterior; nici văzut, nu înseamnă nici unul.Acesta este motivul pentru care căutarea pentru MTP în lista de modele nu este adesea găsit - este deja în fișierul principal.

Celălalt Sidecar este... mmproj(proiector multimodal, proiector multimodular), codor vizual și audio plus strat de proiecție.Acesta este de obicei un document independent care trebuie încărcat cu un model de bază.Dacă pui jos un model multimod al GGF şi afli că nu poţi vedea harta, probabil că lipseşte fişierul mmproj.

VII. Citirea completă a cinci caractere

Toate de mai sus este o lectură completă. Să presupunem că vedeți acest nume de fișier:

mtp-Qwen3-30B-A3B-v1.0-Q4_K_M.gguf

Fragment	La ce etaj este?	Adnotări
mtp-	Rol fișier	Modulul de decodare speculativă atașat trebuie să corespundă modelului principal
Qwen3	Model de identitate	Denumirea modelului de bază
30B	Dimensiune	Parametrul total 30 miliarde Am decis să nu mă prefac.
A3B	Calculează	Trei miliarde de ori. Cât de repede te-ai decis să fugi?
v1.0	Versiune	Versiune greutate
Q4_K_M	Depozitare	4.89 biți/greutate, precizie medie a amestecului
.gguf	Containere	La lama.cpp.

Rezumatul documentului:Un parametru total de 30 de miliarde și un model de MOE de 3 miliarde la un moment dat a fost presat la aproximativ 4,9 locuri în containerul GGUUF, cu un modul de accelerare speculativ suplimentar decodat.

VIII. Patru dintre cele mai frecvente erori

1. Consideră A3B un model 3B.Nu e memorie. 30B nu are greutate mai mică, iar 4GB este încă vizibilă.
2. E4B ca "model mic 4B."Este cel mai mare set de modele elastice. E4B contine toti parametrii E2B. Se potriveste la scazut pe el apasati 2B, nu 4B run.
3. Utilizați GGF ca model.Acelaşi model poate fi F16, Q8 0, Q4 K M mai multe GGUUFs.GGUF este un recipient și cuantificarea este conținut.Să întrebi "Q4 şi GGUF bun" e ca şi cum ai întreba "Bumbacul şi apa sunt bune."
4. Acest post face parte din acoperirea noastră specială împotriva Siriei 2011.Declaraţia oficială conform căreia acordul nu este complet lizibil. Nu scrieți regula regulată pentru a accesa metadatele fișierului cu informații exacte.

Şi există o cincime ascunsă:Pune 8x7B Citeşte 7B.Asta înseamnă "8 experţi fiecare 7B." Total 56B. În GGUF <expertCount>x<count> X este multiplicarea.

IX. SCOPUL AJUSTĂRILOR PRACTICE

În sfârşit, daţi o secvenţă care poate fi urmată. Uită-te la orice nume model şi întreabă-te în această ordine:

1. Mai întâi uită-te la containere şi cuantifică..gguf + Q4_K_M Acest lucru înseamnă că este o versiune locală run-off masă, și calitatea și volumul sunt deja stabilite la momentul de lansare.
2. Citeşte din nou parametrii generali.Decideţi dacă prezenţa/RAM este suficientă. E un prag greu. Nu e de ajuns.
3. Vezi dacă e Moe.Da. A??B Descrierea se bazează pe parametrii de activare, dar memoria este încă bazată pe parametrii totali.
4. Vezi dacă există un prefix E.Da. E Aceasta indică faptul că este un model elastic şi că prezenţa reală poate fi cu mult sub valoarea nominală - aceasta determină dacă poate accesa telefonul mobil.
5. Ultima privire la Sidecar.Da. mmproj- Amintiți-vă să vină împreună; da. mtp- Amintiți-vă de potrivire; nici nu înseamnă că nu există nici o accelerare.

Denumirea modelului nu este un tabel parametru, ci o etichetă. Eticheta funcționează pentru a vă ține departe de următorul fișier greșit, nu pentru a calcula scorul său.

Mereu merge. Dar pentru a citi eticheta corect, cel puțin veți ști înainte de a descărca 15-GB că nu poate fi instalat...Acest lucru a salvat timp, mai mult decât orice scor de referință.