B, GGUF, MTP, A3B, E4B: Mallinimen viisi merkkiä, ei yhtä. Kyllä.

Aloitetaan päätelmällä, joka säästää puolet sekaannuksesta:Nämä viisi asiaa eivät ole lainkaan samoja ulottuvuuksia.B on sana, A3B ja E4B on "määrä," GGUF on kontti, MTP on plugin. Itse asiassa he vastaavat täysin eri kysymykseen.

Työnjako on seuraava:"B," "Kuinka iso," "A3B," "Kuinka paljon työtä," "E4B," "kuinka paljon on todella muistissa," "GGUF," "Mitä siinä on," "MTP," "miten se kiihdyttää."Neljä tai viisi asiakirjaa ilmestyy samaan aikaan, koska ne on ilmaistava samanaikaisesti.

Yksi, B: se on vain miljardi.

B on miljardi, miljardi.7B Se on 7 miljardin dollarin parametri.235B 235 miljardia. Asteikon etuliitteet GGUF-nimessä:K TuhansiaM Miljoonia.B Miljardin.T Miljoonia dollareita.Q Miljardeja.

Yksinkertaisimmalla on kolme täysin erilaista merkitystä. Tämä on ensimmäinen asia, joka pitäisi tehdä selväksi:

Kirjoitetaan	Merkitys	Minkä?
30B	Kokonaisparametrit: täysipainoinen	Osaatko soittaa sitä?(levy, näkyvä)
30B-A3B	Yhteensä 30B, yksittäinen aktivointi 3B	Kuinka nopeasti? Kuinka kallista?
E4B	Voimassa olevat parametrit: todellinen esiintyminen toiminta-aikana	Voitko soittaa?

Jos katsotte näitä kolmea riviä yhdessä, saatte selville, että 30B-malli voi toimia kännykällä.Se voi olla oikein, mutta se ei ole sama kuin 30B luulit.

II. A3B: Yleiset parametrit ja aktivointiparametrit eivät ole kerta Kyllä.

Tämä on MoE. Qwen3 on hyvin selkeä nimiä mallit:Qwen3-235B-A22B on suuri malli "233,5 miljardia kokonaisparametreja, 22 miljardia aktivoituja parametreja," ja Qwen3-30B-A3B on pieni MoE "30 miljardia kokonaisparametreja, 3 miljardia aktivoituja parametreja."

Tekniset tiedot ovat myös tarkkoja: 30B-A3B:ssä on 48 kerrosta, Q/KV:ssä 32/48 128 asiantuntijaa aktivoitu, konteksti 128K. 235B-A22B on 94. kerros, 64/4 pää, myös 128 asiantuntijaa aktivoitu 8.

A3B, tämän merkin todellinen merkitys on:30B, nopeus 3B.

Se on MoE:n houkutus.Säästät rahaa, et muistoja.Monet ihmiset näkevät A3B:n ja luulevat sitä 3B-malliksi, ladattuna 4GB-koneeseen, ja sitten on mahdotonta ladata. Mikään paino ei ole pieni, mutta ei kaikki eteenpäin laskelmat.

Yhdessä helppo sivuuttaa kirjallisesti: SizeLabel GGF on <expertCount>x<count><scale-prefix>Ja niin 8x7B Tätä kutsutaan "8 asiantuntijaa x 7B," yhteensä 56B.Se on joko kertolasku ellipsis tai kertolasku.Mixtral-8x7B tulkitaan usein väärin 7B-malliksi ja todellinen kokonaisparametri on 56B.

III E4B:E on tehokas, ei "pienempi"

Tämä on yksi helpoimmista lukea kokonaan. Gemma 3n asiakirja on selkeä:

Gemma 3n -mallin parametrit (esim. E2B, E4B)AlleMalliin sisältyvien parametrien kokonaismäärä. E-etuliite osoittaa, että näitä malleja voidaan käyttää sarjalla "vähemmän aktiivisia parametreja."

Missä määrin? Asiakirjassa annetaan numero:E2B-standardit toteutetaan lataamalla yli 5 miljardia muuttujaa, ohittamalla ja PLE-välimuistit parametrien avulla, jotta aktiivinen muistikuorma painetaan arvoon 1.91B.

Huomaa tämän virkkeen tärkeimmät sanat:Itse malli ei ole muuttunut pienemmäksi, vaan sen läsnäolo on vähentynyt.

Tähän voidaan päästä kahdella mekanismilla:

• PLE Cache (Per-Layer Upotus).Jokainen kerros sulautettuja parametreja voidaan luoda erillään mallimuistista, piilotettuna nopeaan paikalliseen tallennustilaan ja lisättynä jokaiseen kerrokseen suoritettaessa.Tämä vastaa parametrin tämän osan pyytämistä pois muistista.
• MatFormer.Suuressa mallissa on useita pieniä malleja, joiden ei tarvitse aktivoida ulkoparametreja päätellessään. Joten voit ottaa mitä tahansa keskellä 2B ja 4B.

Tämä johtaa vasta-aiheisiin:E4B sisältää kaikki E2B-parametrit.Ei kahta erillistä mallia, kaksi paikkaa samaan joustavaan malliin. Eli tarkka termi ei ole "E4B on 4B pieni malli" vaan "E4B."E4B on elastinen malli, jonka maksimiteho on 4B.En ole menossa minnekään.

Tällä on suuri vaikutus siihen, että "voin käyttää laitteitani":E4B voi ajaa E2B:n kaltaista matalan laitteiston ja laajentaa 4B korkea-laitteet.Eikä A3B:ssä ole näin joustavaa. Se on 30B.

Se on mallilaatikko.

Ensimmäiset kolme ovat mallin koko, joka on muuttanut GGUF:n mitat:Tämä on tiedostomuoto.Tarkemmin sanottuna GUUF on GGML:n ja sen toteuttajan (llama.cpp) säilytysmuoto.

Sillä korvataan GGML, GGMF, GGJT, kolmen sukupolven muodossa. Viralliset suunnittelutavoitteet ovat neljä, joista jokainen vastaa aiempaa kipupistettä:

Suunnittelutavoitteet	- Minkä kanssa?
Yhden tiedoston käyttöönotto	Ei lisäasiakirjoja, suoraa jakelua ja lastausta
Laajennettavissa	Uusien metatietojen lisääminen ei heikennä vanhojen mallien yhteensopivuutta
mmap Soveltuvuus yhteismarkkinoille	Muistikartta ladataan nopeasti
Täydelliset tiedot	Kaikki mitä tarvitset on kansiossa. Käyttäjien ei tarvitse toimittaa sitä.

Tärkein ero sen ja GGJT:n viimeisen sukupolven välillä on vain yksi lause.Hyperparametri muutetaan ilman tyyppiä olevien arvojen luettelosta metatiedon avaimeksi.Tämä askel mahdollisti "lisää kentän yhteensopimattomuus" . Kun kenttä oli lisätty, kaikki vanhat ratkaisijat oli muutettava.

Miten se kirjoitettiin?

Virallinen nimikoodi on:

[].gguf

Ota esimerkki.

mtp-Qwen3-27B-v1.0-Q4_K_M.gguf

• mtp- • Sivuvaunu (rivimoduuli, katso seuraava osio)
• Qwen3 → BaseName (perusmallin nimi)
• 27B → Kokolaabel (parametri rako)
• v1.0 Versio (versio)
• Q4_K_M Koodaus (painokoodaus/määritys)

On kaksi osaa, jotka eivät usein näytä olevan tiedossa:

• Kirjoita.:LoRA Se tarkoittaa adapteria, ei täydellistä mallia.vocab osoittaa sanaston tiedoston.
• Shad.:00003-of-00009 -Näyttää murto-osan.Numerointi alkaa numerosta 00001Ei tuhatta.

Säännössä on myös tärkeä vastuuvapauslauseke:Sen nimi on "ei tule olemaan täysin tulkittavissa luonnossa.", koska olemassa oleva gguf tiedosto on liian monipuolinen.Joten älä kirjoita tavallista arvausta tiedostonimestä, lue metadataa.Tiedosto general.basenameEn tiedä.general.size_labelEn tiedä.general.finetune Se on auktoriteettia.

V. Q4 K M: Tiedoston nimen pisin osa on pakkausnopeus

Tämä vaikuttaa eniten kokemukseesi käytännössä ja siihen, mitä kukaan ei ole tehnyt selväksi.Se osoittaa, kuinka paljon painoa on määritetty.

llama.cpp Virallinen README käytti Llama-3.1-8B:tä tosiasioiden tutkimiseen, ja otin muutaman askeleen (alkuperäinen malli 32.1 GB):

Määrä	bittiä/oikea	Tiedoston koko	Luo nopeus
IQ1 S	2.00	1. 87 GiB	79,7 tonnia/s
Q2 K	3.16	2,95 GiB	79,9 t/s
Q3 K M	4.00	3. 74 GiB	71,7 t/s
Q4 K M	4.89	4.58 GiB	71,9 t/s
Q5 K M	5.70	5.33 GiB	67,2 t/s
Q8 0	8.50	7.95 GiB	50,9 t/s
F16	16.00	14.96 GiB	29,2 t/s

Q4 K M tulee yhteisön oletustiedosto kaikista tämän taulukon syistä:4,89 bittiä/painoa, 30 prosenttia F16:sta, mikä on 2,4 kertaa nopeampaa.Jopa Q8 0, määrä kaksinkertaistuu ja laskee 30%, ja laatu muuttuu useimmat ihmiset eivät tiedä; IQ1 S, määrä on hieman vähemmän, ja laaturiskit ovat paljon korkeampia.

Miten luet nimesi?

• Kuningatar = säännöllinen määritysÄO = Olennaisuusmatriisi on määrällinen (i-määrä), jossa on parempi laatu ja hieman hitaampi nopeus samoissa numeroissa.
• Numerot = kohdenumero. Q4 on 4 bittiä, Q8 on 8 bittiä.
• K = k-määrä, lohkon määritys (blokkiviisas), vanhempi _0 / _1 Sarja on yksityiskohtaisempi.
• S / M / L = pieni/media/suuri, sekoitettu tarkkuusväli.M poimii joitakin herkkiä kansia pitääkseen ne korkealla.Joten se on myös Q4, K M on hieman suurempi kuin K S.

On toinenkin tosiasia, että monet eivät tiedä:Määrällisyyttä voidaan mukauttaa tapauskohtaisesti.Viralliset välineet tukevat eri tyyppien nimeämistä tyypeittäin, kuten: attn_v sekä ffn_down Asettaa erikseen Q5 K M, kun taas loput säilytetään Q4 K M; tukee myös asetusta säännöllisesti erän numero. Ja siksi sama "Q4 K M" tiedostotyyppi eroaa tiedoston koosta, jota ihmiset painostavat.Se on oletusstrategia, ei tarkka erittely.

VI. MTP: Pieni moduuli nimeltä "Arvaa seuraava sana"

Se on viimeinen, jota on helppo käyttää mallina.Tiedoston roolitagiEn tiedä. GGF:n asiakirjassa mtp Määritelty Sidecariksi (yhdistetty moduuli), jossa ilmoitetaan:

Multi-Token Predication Headers, luonnos moduuli spekulatiivisten dekooderit, suunniteltu ladataan perusmalleja vastaavia arkkitehtuuria ja versioita.

Yksinkertaista.Arvataan seuraavat kuponkia, ja päämalli toimii rinnakkain.Suora adoptio, väärä pudotus. Koska todentaminen voi aina vahvistaa useita rahakkeita, keskimääräinen ajanlasku per rahakke -- tämä on koko periaate spekulatiivinen dekooderi.

Mutta asiakirjassa on sanonta, joka pitäisi muistaa parhaiten tässä osiossa:"MTP-painot on usein pakattu suoraan perusmalleihin, jolloin ei ole erillistä mtp-sivutiedostoa."

Joten oikea käsitys on:Niin. mtp- Etuliitteet, jotka osoittavat, että ne ovat ulkopuolella; ei ole nähty, ei tarkoita mitään.Siksi MTP:n etsimistä mallilistalta ei useinkaan löydy -- se on jo päätiedostossa.

Toinen Sidecar... mmproj(multimodaaliprojektori, monimodaalinen projektori), visuaalinen ja audio-koodaaja sekä projektiokerros.Tämä on yleensä erillinen asiakirja, joka on ladattava perusmallilla.Jos lasket GGF:n monitilamallin ja huomaat, ettet näe karttaa, siitä puuttuu varmaan mmproj-tiedosto.

VII Täysi luku viisi merkkiä

Kaikki edellä on täydellinen luku. Oletetaan, että näet tämän tiedoston nimen:

mtp-Qwen3-30B-A3B-v1.0-Q4_K_M.gguf

Snippet	Mikä kerros se on?	Huomautukset
mtp-	Tiedoston rooli	Liitteenä olevan spekulatiivisen koodinpurkumoduulin on vastattava päämallia
Qwen3	Mallin tunniste	Perusmallin nimi
30B	Koko	Kokonaisparametri 30 miljardia Olen päättänyt olla teeskentelemättä.
A3B	Laske	Kolme miljardia kertaa. Kuinka nopeasti päätit juosta?
v1.0	Versio	Painon versio
Q4_K_M	Varastointi	4,89 bittiä/paino, keskiseoksen tarkkuus
.gguf	Kontit	Malja laamalle.

Tiivistelmä asiakirjasta:Kokonaisparametri 30 miljardia ja MoE-malli 3 miljardia kerrallaan painettiin noin 4,9 paikkaan GUUF-säiliöön, jossa oli ylimääräinen spekulatiivinen kiihdytysmoduuli.

VIII Neljä yleisintä virhettä

1. Pidä A3B:tä 3B-mallina.Se ei ole muisto. 30B on yhtä painava ja 4GB on edelleen näkyvissä.
2. E4B "4B pienmallina."Se on suurin elastisten mallien sarja. E4B sisältää kaikki E2B:n parametrit. Low-fit sen paina 2B, ei 4B ajaa.
3. Käytä GGF:tä mallina.Sama malli voi olla F16, Q8 0, Q4 K M useita GUUF.GGUF on astia ja määrällinen sisältö.Kysyminen "Q4 ja GGUF hyvä" on kuin kysyisi "pullo ja vesi hyvä."
4. Tämä viesti on osa erityistä kattavuuttamme Syyria Protests 2011.Virallinen lausunto siitä, että sopimus ei ole täysin luettavissa. Älä kirjoita säännöllistä sääntöä käyttää tiedoston metatietoja oikeilla tiedoilla.

Ja on piilotettu viidesosa:Laita 8x7B Lue 7B.Se on "8 asiantuntijaa per 7B." Yhteensä 56B. GGUF:ssä <expertCount>x<count> X on kertolasku.

IX KÄYTÄNNÖN MUKAUTUSTEN TARKOITUS

Lopuksi, anna sekvenssi, jota voidaan seurata. Katso mallia ja kysy itseltäsi tässä järjestyksessä:

1. Katso ensin kontteja ja määritä ne..gguf + Q4_K_M Tämä tarkoittaa, että se on paikallinen run-off massaversio, ja laatu ja määrä on jo asetettu julkaisuhetkellä.
2. Lue yleiset parametrit uudelleen.Päätä, riittääkö läsnäolo/RAM. Se on kova kynnys. Se ei riitä.
3. Katso, onko se Moe.Kyllä. A??B Kuvaus perustuu aktivointiparametreihin, mutta muisti perustuu edelleen kokonaisparametreihin.
4. Katso, onko etuliitettä.Kyllä. E Tämä osoittaa, että se on joustava malli ja että todellinen läsnäolo voi olla selvästi alle nimellisarvon - tämä määrittää, voiko se käyttää matkapuhelinta.
5. Viimeinen katse Sidecarissa.Kyllä. mmproj- Muista tulla yhteen. mtp- Muista täsmääminen; se ei myöskään tarkoita kiihtymistä.

Mallin nimi ei ole parametritaulukko, vaan etiketti. Etiketti toimii pitää sinut poissa seuraavan väärän tiedoston, ei laskea sen pisteet.

Se on aina käynnissä. Mutta jos haluat lukea etiketin oikein, ainakin tiedät ennen 15-GB:n lataamista, ettei sitä voi asentaa...Tämä säästi aikaa enemmän kuin mikään vertailutulos.