B, GGUF, MTP, A3B, E4B: Pět znaků v názvu modelu, ne jeden. Ano.
Začněme závěrem, který zachrání polovinu zmatku:Těchto pět věcí není vůbec stejných rozměrů.B je slovo, A3B a E4B je "množství", GGUF je kontejner, MTP je plugin. Ve skutečnosti odpovídají na zcela jinou otázku.
Specifické rozdělení práce je následující:"B", "Jak velký", "A3B", "Kolik práce", "E4B", "kolik je opravdu v paměti", "GGUF", "Co je v něm", "MTP", "jak to zrychluje."Čtyři nebo pět dokumentů se objevují současně, protože musí být vyjádřeny současně - ale k nejasnostem často dochází, když jsou považovány za stejný typ informací.
Je to jen miliarda.
B je miliarda.7B Je to 7 miliardový parametr.235B To je 235 miliard. Je to sada předpokladů stupnice v GGUF kódu:K TisíceM Miliony,B Jedna miliarda.T biliony dolarů,Q Miliardy.
Vypadá to, že ten nejjednodušší má ve skutečnosti tři zcela odlišné významy. To je první věc, která by měla být jasná:
| Psaní | Význam | Rozhodnout o čem? |
|---|---|---|
30B | Celkové parametry: plná hmotnost | Umíš to zahrát?(viditelný disk) |
30B-A3B | Celkem 30B, jednoduchá aktivace 3B | Jak rychle? Jak drahé? |
E4B | Platné parametry: skutečná přítomnost v době provozu | Můžeš mi zavolat? |
Když se podíváte na tyto tři řádky společně, dojdete k závěru, že model 30B může běžet na mobilu.Možná je to pravda, ale není to stejné jako těch 30 B, o kterých sis myslel.
II. A3B: Obecné parametry a aktivační parametry nejsou jednou Ano.
To je z MoE. Qwen3 je velmi jasné o jménech modelů:Qwen3-235B-A22B je velký model "233,5 miliardy celkových parametrů, 22 miliard aktivovaných parametrů" a Qwen3-30B-A3B je malý model "30 miliard celkových parametrů, 3 miliardy aktivovaných parametrů".
Technické podrobnosti jsou také specifické: 30B-A3B má 48 pater, Q / KV počet hlav 32 / 48 z 128 specialistů aktivováno, kontext 128K. 235B-A22B je 94. patro,64 /4 hlava, také128 odborníků aktivováno8.
Takže A3B, skutečný význam této značky je:Zobrazí 30B, rychlost 3B.
To je všechno pokušení MoE, všechny zdroje nedorozumění.Šetříš peníze, ne paměť.Mnoho lidí vidí A3B a myslí si, že je 3B model, naložený na 4GB stroj, a pak zjistí, že je nemožné načíst. Žádná závaží není malá, ale ne všechny výpočty dopředu.
Spolu s snadno ignorovat psaní: SizeLabel of Agreis <expertCount>x<count><scale-prefix>A tak 8x7B Tomu se říká "8 expertů x 7B", celkem 56B.To je buď násobení elipsy nebo násobení.Mixtral-8x7B je často mylně interpretován jako "model 7B" a skutečný celkový parametr je 56B.
III. E4B: E je efektivní, ne "menší"
Tohle je jeden z nejjednodušších na čtení. Dokument Gemmy 3n je jasný:
Parametry pro model Gemma 3n (např. E2B, E4B)Méně nežCelkový počet parametrů skutečně zahrnutých do modelu. E předpona ukazuje, že tyto modely mohou být spuštěny se sadou "méně aktivních parametrů".
Do jaké míry? Dokument uvádí číslo:Normy E2B jsou implementovány načtením více než 5 miliard parametrů, přeskočením a PLE cache parametry pro stisknutí aktivní paměti na 1.91B.
Poznámka k hlavním slovům této věty:Samotný model se nezmenšil, zmenšil se, pokud jde o jeho přítomnost při běhu.
Toho lze dosáhnout dvěma mechanismy:
- PLE Cache (Per- Layer Embeding).Každá vrstva vložených parametrů může být generována odděleně od paměti modelu, cachována do rychlého lokálního úložiště a přidána do každé vrstvy při běhu.To se rovná požadavku, aby tato část parametru byla mimo paměť.
- Matformer.Uvnitř velkého modelu je několik malých modelů, které nemusí aktivovat vnější parametry, když jsou odvodněny. Takže si můžete vzít jakýkoliv střed mezi 2B a 4B.
To vede k neintuitivnímu faktu:E4B obsahuje všechny parametry E2B.Ne dva samostatné modely, dvě sloty pro stejný elastický model. Přesný výraz tedy není "E4B je 4B malý model", ale "E4B".E4B je elastický model s maximálním výkonem 4B.Já nikam nejdu.
To má velký vliv na úsudek, že "mohu běžet na své vybavení":E4B může spustit E2B- jako na zařízení s nízkým vybavením a rozšířit na 4B na zařízení s vysokým vybavením.A A3B nemá tuto pružnost - je to 30B, je to jen úspora nákladů.
Není to model, je to krabice.
První tři jsou velikosti modelu, který změnil rozměry od GGUF:Tohle je formát souboru.Přesněji řečeno, GGUUF je modelový formát úložiště pro GGML a jeho implementační (lama.cpp).
Nahrazuje formát GGML, GGMF, GGJT, tří generací. Oficiální cíle návrhu jsou čtyři, z nichž každý odpovídá minulému bodu bolesti:
| Cíle návrhu | S čím? |
|---|---|
| Využití jednoho souboru | Nevyžaduje se žádná dodatečná dokumentace, přímá distribuce a zatížení |
| Rozšiřitelné | Přidání nových metadat nenaruší kompatibilitu starých modelů |
mmap Slučitelnost | Načítání paměti, rychle |
| Úplné informace | Všechno, co potřebujete, je ve složce. Uživatelé to nemusí dodávat. |
Klíčový rozdíl mezi ním a poslední generací GGJT je jen jedna věta, ale je to klíč:Hyperparametr se mění ze seznamu hodnot bez typu na klíč k metadatům.Tento krok umožnil "přidat nekompatibilitu pole" - jakmile bylo pole přidáno, musely se změnit všechny staré řešitele.
Jak jste to vyhláskoval?
Oficiální identifikační kód je:
[].ggufVezměte si skutečný příklad.
mtp-Qwen3-27B-v1.0-Q4_K_M.ggufmtp-• Sidecar (obdélníkový modul, viz další část)Qwen3→ BaseName (název základního modelu)27B→ SizeLabel (parametr slot)v1.0Verze (verze)Q4_K_MKódování (kódování hmotnosti / kvantifikace)
Existují dvě složky, které se často nezdá být známo:
- Typ.:
LoRAZnamená to, že je to adaptér, ne kompletní model;vocaboznačuje soubor slovní zásoby. - Shade.:
00003-of-00009Ukazuje zlomek, 3. z 9 Pozor.Číslo začíná na 00001Ne 00000.
K dispozici je také důležité omezení v normě:Říká se tomu "v divočině nebude úplně dešifrovatelný.", protože existující gguf soubor je příliš rozmanitý.Takže nepište pravidelný odhad toho, co je v názvu souboru, čtěte metadata.Soubor general.basenameNevím.general.size_labelNevím.general.finetune Je to autorita.
V. Q4 K M: Nejdelší částí názvu souboru je kompresní rychlost
To je ten, který nejvíce ovlivňuje vaše zkušenosti v praxi, a ten, který nikdo neřekl jasně.Ukazuje, kolik váhy bylo kvantifikováno.
lama.cpp Oficiální README použil Llama -3.1-8B k provedení věcného průzkumu, a já jsem udělal několik kroků (původní model 32.1 GB):
| Kvantifikace | bity / vpravo | Velikost souboru | Generovat rychlost |
|---|---|---|---|
| IQ1 S | 2.00 | 1, 87 GiB | 79, 7 t / s |
| Q2 K | 3.16 | 2. 95 GiB | 79, 9 t / s |
| Q3 K M | 4.00 | 3. 74 GiB | 71, 7 t / s |
| Q4 K M | 4.89 | 4, 58 GiB | 71, 9 t / s |
| Q5 K M | 5.70 | 5. 33 GiB | 67.2 t / s |
| Q8 0 | 8.50 | 7, 95 GiB | 50, 9 t / s |
| F16 | 16.00 | 14, 96 GiB | 29.2 t / s |
Q4 K M se stává komunitním výchozím souborem ze všech důvodů v této tabulce:4.89 Bity / závaží, se sklonem 30% F16, což je 2,4 krát rychlejší.Až do Q8 0 se objem zdvojnásobí a klesne o 30%, a kvalita se mění většina lidí neví, až na IQ1 S, objem je o něco méně, a kvalita rizika jsou mnohem vyšší.
Jak přečteš své jméno?
- Královna = pravidelné kvantifikace;IQ = Matrice významnosti je kvantifikována (i- quant), s lepší kvalitou a mírně pomalejší rychlostí ve stejných číslicích.
- Čísla = cílové číslice. Q4 je 4 bit, Q8 je 8 bit.
- K = k- quant, block kvantification (block- wise), starší
_0/_1Série je podrobnější. - S / M / L = malý / media / velký, smíšený přesný slot.M vybere nějaká citlivá víčka, aby je udržela vysoko.Takže je to také Q4, K M je o něco větší než K S.
Existuje ještě jeden fakt, který mnoho lidí neví:Kvantifikace může být přizpůsobena na základě případů.Oficiální nástroje podporují označení různých typů podle jednotlivých typů, jako jsou: attn_v a ffn_down Nastavuje samostatně jako Q5 K M, zatímco zbytek je udržován jako Q4 K M; také podporuje nastavení podle pravidelného čísla šarže. A to je důvod, proč stejný typ souboru "Q4 K M" se liší od velikosti souboru, na který lidé tlačí.Je to výchozí strategie, ne přesná specifikace.
VI. MTP: Malý modul s názvem "Hádej další slovo"
Je to ten poslední, který se snadno používá jako model.Značka role souboruNevím. V dokumentu mtp Určeno jako Sidecar (doplněný modul), který uvádí:
Multi- Token Predation Headers, návrh modulu pro spekulativní dekódování, navržený tak, aby byl načten základní modely odpovídající architektuře a verzím.
Je to jednoduché:Pojďme hádat dalších pár žetonů, a nechte hlavní model běžet paralelně.Správná přímá adopce, špatný pokles. Protože ověření může vždy potvrdit několik žetonů, průměrný pokles času na jeden token -- to je celý princip spekulativního dešifrování.
Ale v dokumentu je fráze, která by měla být nejvíce pamatována v této sekci:"Váhy MTP jsou často baleny přímo do základních modelů, v takovém případě neexistuje samostatný mtp- side soubor."
Takže správné pochopení je:Jo. mtp- Předpony, které naznačují, že jsou na vnější straně; žádný vidět, neznamená žádný.To je důvod, proč hledání MTP v seznamu modelů není často nalezen - je již v hlavním souboru.
Ten druhý Sidecar je... mmproj(multimodální projektor, multimodulární projektor), vizuální a audio enkodér plus projekční vrstva.Jedná se obvykle o samostatný dokument, který musí být naložen základním modelem.Takže když odložíte multimodální model a zjistíte, že mapu nevidíte, pravděpodobně vám chybí mmproj soubor.
VII. Plné čtení pěti znaků
Vše výše uvedené je kompletní čtení. Předpokládejme, že uvidíte tento název souboru:
mtp-Qwen3-30B-A3B-v1.0-Q4_K_M.gguf| Snippet | Které je to patro? | Annotace |
|---|---|---|
mtp- | Úloha souboru | Přiložený spekulativní modul dekódování musí odpovídat hlavnímu modelu |
Qwen3 | Vzor totožnosti | Název základního modelu |
30B | Velikost | Celkový parametr 30 miliard Rozhodl jsem se nepředstírat. |
A3B | Vypočítejte | Tři miliardy za čas. Jak rychle ses rozhodl utéct? |
v1.0 | Verze | Verze hmotnosti |
Q4_K_M | Skladování | 4.89 bitů / hmotnost, střední přesnost směsi |
.gguf | Nádoby | Na lama.cpp. |
Shrnutí dokumentu:Celkový parametr 30 miliard a model MoE 3 miliardy najednou byl vytlačen na přibližně 4,9 místa do kontejneru GGUUF, s dodatečným spekulativně dekódovaným urychlovacím modulem.
VIII. Čtyři z nejčastějších chybných údajů
- Považuj A3B za model 3B.Není to vzpomínka. 30B nemá menší hmotnost a 4GB je stále viditelná.
- E4B jako "4B malý model".Je to největší sada elastických modelů. E4B obsahuje všechny parametry E2B. Low- fit na ni stiskněte 2B, ne 4B běh.
- Použít jako model.Stejný model může být F16, Q8 0, Q4 K M několik GGUUF.GGUF je kontejner a kvantifikace je obsah.Ptát se "Q4 a GGUF dobré" je jako ptát se "Láhev a voda dobré".
- Tento post je součástí našeho zvláštního pokrytí Syria Protests2011.Oficiální prohlášení, že dohoda není zcela čitelná. Nepište pravidelné pravidlo pro přístup k metadatům souboru s přesnými informacemi.
A je tu skrytá pátá:Put 8x7B Přečti 7B.To je 8 expertů na 7B. Celkem 56B. V GGUF <expertCount>x<count> X je násobení.
IX. ÚČEL PRAKTICKÝCH ÚPRAV
Konečně, dejte sekvenci, která může být následována. Podívejte se na jakékoliv jméno modelu a zeptejte se sami sebe v tomto pořadí:
- První pohled na kontejnery a kvantifikovat.
.gguf+Q4_K_MTo znamená, že je to lokální verze run-off hmotnosti, a kvalita a objem jsou již stanoveny v době uvolnění. - Přečtěte si znovu celkové parametry.Rozhodněte se, zda je Vaše přítomnost / RAM dostatečná. Je to tvrdý práh. To nestačí.
- Uvidíme, jestli je to Moe.Ano.
A??BPopis je založen na aktivačních parametrech, ale paměť je stále založena na celkových parametrech. - Zjisti, jestli tam není předpona E.Ano.
ETo naznačuje, že se jedná o elastický model a že skutečná přítomnost může být výrazně pod nominální hodnotou - určuje, zda má přístup k mobilnímu telefonu. - Poslední pohled na Sidecar.Ano.
mmproj-Nezapomeňte se spojit, ano.mtp-Vzpomeňte si na shodu; ani to neznamená, že není zrychlení.
Název modelu není parametr tabulky, ale štítek. Štítek funguje, aby vás od dalšího špatného souboru, ne pro výpočet jeho skóre.
Pořád běží. Ale pro správné čtení štítku, alespoň budete vědět před stažením 15-GB, že nelze nainstalovat...To ušetřilo čas, více než jakékoliv referenční skóre.