B, GGUF, MTP, A3B, E4B: De fem tegn i modelnavnet, ikke én. Ja.

Lad os starte med en konklusion, der sparer halvdelen af forvirringen:Disse fem ting er slet ikke de samme dimensioner.B er ordet, A3B og E4B er "mængde", GGUF er beholderen, MTP er plugin. De besvarer faktisk et helt andet spørgsmål.

Den specifikke arbejdsfordeling er som følger:"B", "Hvor stor", "A3B", "Hvor meget arbejde", "E4B", "Hvor meget er virkelig i hukommelsen", "GGUF", "Hvad er i det", "MTP", "hvordan gør det accelerere".Fire eller fem dokumenter optræder samtidigt, fordi de skal udtrykkes samtidigt - men forvirring opstår ofte, når de behandles som samme type information.

Det er bare en milliard.

B er en milliard.7B Det er en 7 milliarder-dollar parameter.235B Det er 235 milliarder. Det er et sæt skalapræfikser i GGUF navnekoden:K TusinderM Millioner,B En milliard.T billioner af dollarsQ Milliarder.

Den enkleste har faktisk tre forskellige betydninger. Dette er den første ting, der skal være klart:

Skrivning	Betydning	Beslutte hvad?
30B	Samlede parametre: fuld vægt	Kan du spille det?(disk, synlig)
30B-A3B	I alt 30B, enkelt aktivering 3B	Hvor hurtigt? Hvor dyrt?
E4B	Gyldige parametre: faktisk tilstedeværelse på driftstidspunktet	Kan du løbe i telefonen?

Hvis du ser på disse tre linjer sammen, vil du få den konklusion, at 30B modellen kan køre på en mobiltelefon.Det er måske rigtigt, men det er ikke det samme som 30B, du troede, det var.

II. A3B: Generelle parametre og aktiveringsparametre er ikke en gang Ja.

Dette er fra MoE. Qwen3 er meget klart om navnene på modellerne:Qwen3- 235B- A22B er en stor model af "233,5 milliarder samlede parametre, 22 milliarder aktiverede parametre", og Qwen3- 30B- A3B er en lille MoE på "30 milliarder samlede parametre, 3 milliarder aktiverede parametre".

Tekniske detaljer er også specifikke: 30B- A3B har 48 etager, Q / KV hovedtal 32 / 48 ud af 128 specialister aktiveret, sammenhæng 128K. 235B- A22B er 94th sal, 64 / 4 hoved, også 128 eksperter aktiveret 8.

Så A3B, den egentlige betydning af dette mærke er:Viser 30B, hastighed 3B.

Det er alt fristelsen til MoE, alle kilder til misforståelse.Du sparer penge, ikke hukommelse.Mange mennesker ser A3B og tror, at det er en 3B model, der er indlæst på en 4GB maskine, og derefter finde det umuligt at indlæse. Ingen af vægtene er små, men ikke alle beregninger.

Sammen med en nem at ignorere skrivning: SizeLabel af GGF er <expertCount>x<count><scale-prefix>Og så 8x7B Dette kaldes "8 eksperter x 7B", for i alt 56B.Det er enten en multiplikation ellipsis eller en multiplikation.Mixtral- 8x7B er ofte misforstået som en "7B model" og den faktiske samlede parameter er 56B.

III. E4B: E er effektiv, ikke "mindre"

Dette er en af de nemmeste at læse helt. Gemma 3n 's dokument er klart:

Parametermærker for Gemma 3n-modellen (f. eks. E2B, E4B)UnderDen samlede mængde parametre, der faktisk indgår i modellen. E præfiks angiver, at disse modeller kan køre med et sæt "mindre aktive parametre".

I hvilket omfang? Dokumentet angiver nummeret:E2B standarder implementeres ved at indlæse mere end 5 milliarder parametre, springe over og PLE caches af parametre til at trykke på den aktive hukommelse belastning til 1.91B.

Bemærk de vigtigste ord i dette punktum:Selve modellen er ikke blevet mindre, den er blevet mindre med hensyn til sin tilstedeværelse, mens den kører.

Dette kan opnås gennem to mekanismer:

• PLE Cache (Per- Layer Empeding).Hvert lag indlejrede parametre kan genereres separat fra modelhukommelsen, cachet til en hurtig lokal opbevaring, og tilføjes til hvert lag, når du kører.Det er lig med at bede denne del af parameteren ud af hukommelsen.
• MatRex.Der er flere små modeller indlejret i en stor model, som ikke behøver at aktivere ydre parametre, når de udledes. Så du kan tage enhver midten mellem 2B og 4B.

Dette fører til en kontraintuitiv kendsgerning:E4B indeholder alle E2B parametre.Ikke to selvstændige modeller, to pladser til samme elastiske model. Det nøjagtige udtryk er altså ikke "E4B er en 4B lille model", men "E4B".E4B er en elastisk model med maksimal effekt på 4B.Jeg skal ingen steder.

Dette har stor indflydelse på dommen om, at "kan jeg køre på mit udstyr":E4B kan køre E2B- lignende på lavudstyrsudstyr og udvide til 4B på højudstyrsudstyr.Og A3B har ikke denne elasticitet -- det er 30B, det er bare omkostningsbesparelser.

IV. GGUUF: Det er ikke en model, det er en model boks.

De første tre er modellens størrelse, som har ændret dimensionerne fra GGUF:Dette er filformatet.For at være præcis, GGUUF er en model lagringsformat for GGML og dens implementerer (llama.cpp).

Det erstatter GGML, GGMF, GGJT, tre-generations format. De officielle designmål er fire, som hver især svarer til et tidligere smertepunkt:

Konstruktionsmål	Hvad?
Indsættelse af en enkelt fil	Der kræves ingen yderligere dokumentation, direkte distribution og lastning
Expandable	Tilføjelse af nye metadata underminerer ikke foreneligheden af gamle modeller
mmap Forenelighed	Hukommelseskort Indlæser, hurtigt
Komplette oplysninger	Alt hvad du behøver at indlæse er i filen. Brugerne behøver ikke levere det.

Den vigtigste forskel mellem det og den sidste generation af GGJT er blot én sætning, men det er nøglen:Hyperparameteren ændres fra en liste af værdier uden type til en nøgle til metadata.Dette skridt gjorde det muligt at "tilføje felt uforenelighed" - når et felt var blevet tilføjet, alle gamle løsere skulle ændres.

Hvordan stavede du det?

Den officielle navnekode er:

[].gguf

Tag et rigtigt eksempel.

mtp-Qwen3-27B-v1.0-Q4_K_M.gguf

• mtp- • Sidecar (byline modul, se næste afsnit)
• Qwen3 → BaseName (grundmodelnavn)
• 27B → SizeLabel (parameter slot)
• v1.0 Version (version)
• Q4_K_M Kodning (vægkodning / kvantificering)

Der er to komponenter, der ikke ofte synes at være kendt:

• Type.:LoRA Det betyder, at det er en adapter, ikke en komplet model;vocab angiver ordforrådsfilen.
• Barsk.:00003-of-00009 Viser brøken, 3 ud af 9.Nummerering starter ved 00001Ikke 00000.

Der er også en vigtig ansvarsfraskrivelse i normen:Det hedder "ikke vil være fuldstændig dechiferable i naturen"., fordi den eksisterende gguf fil er for forskelligartet.Så skriv ikke et almindeligt gæt på hvad der er i filnavnet, læs metadata.Fil general.basenameDet ved jeg ikke.general.size_labelDet ved jeg ikke.general.finetune Det er autoritet.

V. Q4 K M: Den længste del af filnavnet er komprimeringshastigheden

Det er den, der påvirker din erfaring mest i praksis, og den, som ingen har gjort klart.Den angiver, hvor meget vægt der er kvantificeret.

llama.cpp Official README brugte Llama -3,1-8B til at foretage en faktuel undersøgelse, og jeg tog et par trin (original model 32.1 GB):

Kvantificering	bit / right	Filstørrelse	Generér hastighed
IQ1 S	2.00	1, 87 GiB	79.7 t / s
Q2 K	3.16	2, 95 GiB	79.9 t / s
Q3 K M	4.00	3, 74 GiB	71, 7 t / s
Q4 K M	4.89	4, 58 GiB	71, 9 t / s
Q5 K M	5.70	5, 33 GiB	67.2 t / s
Q8 0	8.50	7, 95 GiB	50, 9 t / s
F16	16.00	14, 96 GiB	29.2 t / s

Q4 K M bliver den fælles standard fil af alle årsager i denne tabel:4.89 Bits / vægte, med en backlog på 30% af F16, hvilket er 2,4 gange hurtigere.Op til Q8 0, volumen fordobler og falder med 30%, og kvaliteten ændringer de fleste mennesker ikke kender; ned til IQ1 S, volumen er lidt mindre, og kvalitetsrisici er meget højere.

Hvordan læser du dit navn?

• Dronning = Regelmæssig kvantificeringIQ = Materialitetsmatrixen kvantificeres (i- quant) med bedre kvalitet og lidt langsommere hastighed i de samme cifre.
• Antal = målcifre. Q4 er 4 bit, Q8 er 8 bit.
• K = k- quant, blokkvantificering (blokvis), ældre _0 / _1 Serien er mere detaljeret.
• S / M / L = lille / media / stor, blandet præcision slot.M udvælger nogle af de følsomme låg for at holde dem høje.Så det er også Q4, K M er lidt større end K S.

Der er et andet faktum, som mange ikke ved:Kvantificering kan tilpasses fra sag til sag.Officielle værktøjer understøtter udpegningen af forskellige typer efter type, såsom: attn_v og ffn_down Sætter separat som Q5 K M, mens resten vedligeholdes som Q4 K M; understøtter også indstilling med et regelmæssigt batchnummer. Og det er derfor, den samme "Q4 K M" type fil er forskellig fra størrelsen af filen, som folk tryk.Det er en standardstrategi, ikke en præcis specifikation.

VI. MTP: Et lille modul kaldet "Gæt næste ord"

Det er den sidste, der er nem at bruge som model.FilrollemærkeDet ved jeg ikke. I GF- dokumentet mtp Defineret som Sidecar (ledsaget modul) med angivelse af:

Multi- Token Predation Headers, udkast modul til spekulativ dekodning, designet til at blive fyldt med basismodeller matchende arkitektur og versioner.

Det er enkelt:Lad os gætte de næste par tokens, og lad hovedmodellen køre parallelt.Direkte adoption, forkert drop. Fordi kontrol kan altid bekræfte flere tokens, den gennemsnitlige fald i tid per token -- dette er hele princippet om spekulativ dekodning.

Men der er en sætning i dokumentet, der bør huskes mest i dette afsnit:"MTP vægte er ofte pakket direkte ind i grundlæggende modeller, i hvilket tilfælde der er ingen separat mtp-side fil".

Så den korrekte forståelse er:Ja. mtp- Præfikser, der angiver, at de er på ydersiden; ingen set, betyder ikke nogen.Derfor findes der ofte ikke MTP på modellisten -- den er allerede i hovedfilen.

Den anden Sidecar er... mmproj(multimodal projektor, multimodulær projektor), visuel og audio encoder plus projektionslag.Dette er normalt et selvstændigt dokument, der skal indlæses med en basismodel.Så hvis du sætter en multi-mode model af GGF og du finder ud af, at du ikke kan se kortet, det er sandsynligvis mangler mmproj-filen.

VII. Fuld læsning af fem tegn

Alle ovenstående er en komplet læsning. Antag at du ser dette filnavn:

mtp-Qwen3-30B-A3B-v1.0-Q4_K_M.gguf

Snippet	Hvilken etage er det?	Annotationer
mtp-	Filrolle	Den vedlagte spekulative afkodning modul skal matche den vigtigste model
Qwen3	Model for identitet	Grundmodelnavn
30B	Størrelse	Samlet parameter 30 mia. Jeg har besluttet ikke at lade som om.
A3B	Beregn	Tre milliarder om året. Hvor hurtigt du besluttede at løbe?
v1.0	Version	Vægt Version
Q4_K_M	Opbevaring	4.89 bit / vægt, medium blanding præcision
.gguf	Beholdere	Til llama.cpps

Et resumé af dokumentet:En samlet parameter på 30 milliarder og en MoE model på 3 milliarder ad gangen blev presset til omkring 4,9 steder i GGUUF container, med en yderligere spekulativ dekodet acceleration modul.

VIII. Fire af de mest almindelige fejllæser

1. Betragt A3B som en 3B model.Det er ikke hukommelse. 30B har ikke mindre vægt, og 4 GB er stadig synlig.
2. E4B som en "4B lille model".Det er det største sæt af elastiske modeller. E4B indeholder alle parametrene for E2B. Low- fit på det tryk 2B, ikke 4B køre.
3. Brug GGF som model.Den samme model kan være F16, Q8 0, Q4 K M flere GUUF.GGUF er en beholder og kvantificering er indhold.At spørge "Q4 og GGUF godt" er som at spørge "Flasken og vandet godt".
4. Dette indlæg er en del af vores særlige dækning Syrien Protester 2011.Den officielle erklæring om, at aftalen ikke er helt læselig. Skriv ikke den almindelige regel for at få adgang til filens metadata med nøjagtige oplysninger.

Og der er en skjult femte:Put 8x7B Læs 7B.Det er "8 eksperter hver 7B". I alt 56B. I GGUF <expertCount>x<count> x er ganget.

IX. FORMÅL MED PRAKTISKE TILPASNINGER

Endelig give en sekvens, der kan følges. Se på ethvert modelnavn og spørg dig selv i denne rækkefølge:

1. Første kig på containere og kvantificering..gguf + Q4_K_M Det betyder, at det er en lokal run- off masse version, og kvaliteten og volumen er allerede indstillet på tidspunktet for udgivelsen.
2. Læs de overordnede parametre igen.Beslut om din tilstedeværelse / RAM er tilstrækkelig. Det er en hård tærskel. Det er ikke nok.
3. Se om det er Moe.Ja. A??B Beskrivelse er baseret på aktiveringsparametre, men hukommelse er stadig baseret på samlede parametre.
4. Se om der er et E præfiks.Ja. E Dette indikerer, at det er en elastisk model, og at den faktiske tilstedeværelse kan være langt under den nominelle værdi - dette afgør, om det kan få adgang til mobiltelefon.
5. Sidste kig på Sidecar.Ja. mmproj- Husk at komme sammen, ja. mtp- Husk matchning; det betyder heller ikke, at der ikke er nogen acceleration.

Modelnavn er ikke en parameter tabel, men en etiket. Etiketten virker for at holde dig væk fra den næste forkerte fil, ikke for at beregne sin score.

Den løber altid. Men for at læse etiketten korrekt, vil du i det mindste vide, før du downloader 15-GB, at det ikke kan installeres...Dette sparer tid, mere end nogen benchmark score.