B, GGUF, MTP, A3B, E4B: Pięć znaków w nazwie modelu, nie jeden. Tak.

Zacznijmy od wniosku, który oszczędzi połowę zamieszania:Te pięć rzeczy nie są w tych samych wymiarach.B jest słowem, A3B i E4B jest "ilość", GGUF jest pojemnik, MTP jest wtyczką. Odpowiadają na zupełnie inne pytanie.

Szczególny podział pracy jest następujący:"B", "How big", "A3B", "How much work", "E4B", "How much is really in the memory", "GGUF", "What is in it", "MTP", "how does it successive".Jednocześnie pojawiają się cztery lub pięć dokumentów, ponieważ muszą one być wyrażone jednocześnie - ale często pojawia się zamieszanie, gdy są traktowane jako ten sam rodzaj informacji.

Po pierwsze, B: to tylko miliard.

B to bilion, miliard.7B Parametr 7 miliardów dolarów.235B To 235 miliardów. To zestaw przedrostków w nazwie GGUF:K TysiąceM Miliony,B Miliard.T biliony dolarów,Q Miliardy.

Wygląda na to, że najprostszy ma trzy zupełnie różne znaczenia. To pierwsza rzecz, która powinna być jasna:

Pisanie	Znaczenie	O czym?
30B	Parametry ogólne: masa całkowita	Możesz to zagrać?(dysk, widoczny)
30B-A3B	Razem 30B, pojedyncza aktywacja 3B	Jak szybko? Jak drogo?
E4B	Ważne parametry: rzeczywista obecność w czasie pracy	Możesz zadzwonić?

Jeśli spojrzycie na te trzy linie razem, wyciągniecie wniosek, że model 30B może działać na komórce.Może i tak, ale to nie to samo co 30B, o którym myślałeś.

II. A3B: Parametry ogólne i parametry aktywacji nie są jednokrotnie tak.

To jest z MoE. Qwen3 jest bardzo jasne o nazwach modeli:Qwen3- 235B- A22B jest dużym modelem "233,5 miliarda parametrów całkowitych, 22 miliardów aktywowanych parametrów", a Qwen3- 30B- A3B jest małym MoE "30 miliardów parametrów całkowitych, 3 miliardy aktywowanych parametrów".

Szczegóły techniczne są również szczegółowe: 30B-A3B ma 48 pięter, Q / KV liczba głowy 32 / 48 ze 128 specjalistów aktywowanych, context 128K. 235B-A22B jest 94. piętro, 64 / 4 głowy, również 128 ekspertów aktywowane 8.

A3B, rzeczywiste znaczenie tego znaku to:Wyświetla 30B, prędkość 3B.

To cała pokusa MoE, wszystkie źródła nieporozumień.Oszczędzasz pieniądze, nie pamięć.Wiele osób widzi A3B i myśli, że jest to model 3B, załadowany na maszynę 4GB, a następnie nie można załadować. Żadna z wag nie jest mała, ale nie wszystkie obliczenia przednie.

Wraz z łatwo ignorować pisanie: SizeLabel z GGF jest <expertCount>x<count><scale-prefix>And so 8x7B Nazywa się to "8 ekspertów x 7B", w sumie 56B.To albo elipsa mnożenia albo mnożenie.Mixtral- 8x7B jest często błędnie interpretowany jako "model 7B", a rzeczywisty parametr całkowity wynosi 56B.

III. E4B: E jest efektywny, a nie "mniejszy"

To jeden z najprostszych do odczytania. Dokument Gemmy 3n jest jasny:

Ślady parametrów modelu Gemma 3n (np. E2B, E4B)Mniej niżCałkowita ilość parametrów rzeczywiście ujętych w modelu. E przedrostek wskazuje, że modele te można uruchomić z zestawem "mniej aktywnych parametrów".

W jakim stopniu? Dokument podaje numer:Standardy E2B są wdrażane poprzez załadowanie ponad 5 miliardów parametrów, pomijanie i bufory PLE przez parametry do naciśnięcia aktywnego obciążenia pamięci do 1.91B.

Zauważcie główne słowa tego zdania:Sam model nie stał się mniejszy, stał się mniejszy pod względem jego obecności podczas biegu.

Można to osiągnąć poprzez dwa mechanizmy:

• PLE Cache (Per- Layer Embeding).Każda warstwa wbudowanych parametrów może być generowana oddzielnie od pamięci modelu, buforowana do szybkiej lokalnej pamięci masowej i dodawana do każdej warstwy podczas pracy.To jest równe wyciągnięciu tej części parametru z pamięci.
• MatFormer.Istnieje kilka małych modeli wbudowanych w duży model, które nie muszą aktywować parametrów zewnętrznych podczas dedukcji. Więc możesz wziąć dowolny środek pomiędzy 2B i 4B.

Prowadzi to do przeciwnej intuicji:E4B zawiera wszystkie parametry E2B.Nie dwa samodzielne modele, dwa gniazda dla tego samego elastycznego modelu. Dokładne określenie to nie "E4B to mały model 4B", ale "E4B".E4B jest elastycznym modelem o maksymalnej mocy do 4B.Przecież nigdzie się nie wybieram.

Ma to ogromny wpływ na osąd, że "mogę uruchomić na moim sprzęcie":E4B może uruchomić E2B- jak na urządzeniach niskiego wyposażenia i rozszerzyć do 4B na urządzeniach wysokiego sprzętu.A A3B nie ma tej elastyczności -- jest 30B, tylko oszczędność kosztów.

To nie model, tylko pudełko.

Pierwsze trzy są wielkości modelu, który zmienił wymiary z GGUF:To jest format pliku.Dokładniej mówiąc, GGUUF jest modelem pamięci masowej dla GGML i jego implementera (llama.cpp).

Zastępuje GGML, GGMF, GGJT, format trzech generacji. Oficjalne cele projektu to cztery, z których każdy odpowiada dawnemu punktowi bólu:

Cele projektu	Z czym?
Wprowadzanie pojedynczych plików	Nie jest wymagana dodatkowa dokumentacja, bezpośrednia dystrybucja i załadunek
Możliwość rozszerzenia	Dodanie nowych metadanych nie podważa zgodności starych modeli
mmap Zgodność	Mapa pamięci Wczytywanie, szybkie
Pełna informacja	Wszystko co musisz załadować jest w aktach. Użytkownicy nie muszą go dostarczać.

Kluczową różnicą pomiędzy nią a ostatnią generacją GGJT jest tylko jedno zdanie, ale jest to klucz:Hyperparametr zmienia się z listy wartości bez typu na klucz do metadanych.Ten krok umożliwił "dodanie niekompatybilności pola" - po dodaniu pola wszystkie stare rozwiązania musiały zostać zmienione.

Jak to przeliterowałeś?

Oficjalnym kodem nazewnictwa jest:

[].gguf

Weź prawdziwy przykład.

mtp-Qwen3-27B-v1.0-Q4_K_M.gguf

• mtp- • Sidecar (moduł bajkowy, patrz następna sekcja)
• Qwen3 → BaseName (nazwa modelu podstawowego)
• 27B → SizeLabel (gniazdo parametru)
• v1.0 Wersja (wersja)
• Q4_K_M Kodowanie (kodowanie wagi / kwantyfikacja)

Istnieją dwa składniki, które nie często wydają się być znane:

• Typ.:LoRA To znaczy, że to adapter, a nie kompletny model.vocab wskazuje plik słownika.
• Shad.:00003-of-00009 Pokazuje ułamek, 3 z 9 Uwaga.Numeracja zaczyna się od 00001Nie 00000.

Istnieje również ważne zastrzeżenie w normie:To się nazywa "nie będzie do końca do odszyfrowania na wolności"., ponieważ istniejący plik gguf jest zbyt zróżnicowany.Więc nie pisz regularnych przypuszczeń co jest w nazwie pliku, przeczytaj metadane.Plik general.basenameNie wiem.general.size_labelNie wiem.general.finetune To autorytet.

V. Q4 K M: Najdłuższą częścią nazwy pliku jest szybkość kompresji

To jest ten, który najbardziej wpływa na twoje doświadczenie w praktyce i ten, którego nikt nie wyjaśnił.Wskazuje, ile masy zostało wyliczone.

Llama.cpp Official README wykorzystał Llama -3.1-8B do przeprowadzenia badania rzeczowego, a ja zrobiłem kilka kroków (oryginalny model 32.1 GB):

Ilości	bity / prawo	Rozmiar pliku	Generuj prędkość
IQ1 S	2.00	1. 87 GiB	79,7 t / s
Q2 K	3.16	2.95 GiB	79,9 t / s
Q3 K M	4.00	3. 74 GiB	71,7 t / s
Q4 K M	4.89	4. 58 GiB	71,9 t / s
Q5 K	5.70	5.33 GiB	67,2 t / s
0	8.50	7, 95 GiB	50,9 t / s
F16	16.00	14, 96 GiB	29,2 t / s

Q4 K M staje się plikiem domyślnym społeczności ze wszystkich powodów w tej tabeli:4.89 Bity / wagi, z zaległości 30% F16, który jest 2,4 razy szybszy.Do Q8 0, objętość podwaja się i spada o 30%, a zmiany jakości większość ludzi nie wie; aż do IQ1 S, objętość jest trochę mniejsza, a ryzyko jakości jest znacznie wyższe.

Jak czytasz swoje imię?

• Królowa = regularna kwantyfikacja;IQ = Matryca materialności jest oznaczona ilościowo (i- quant), przy lepszej jakości i nieco wolniejszej prędkości w tych samych cyfrach.
• Liczby = cyfry docelowe. Q4 to 4 bity, Q8 to 8 bitów.
• K = k- quant, kwantyfikacja bloku (block- wise), starszy _0 / _1 Seria jest bardziej szczegółowa.
• S / M / L = małe / media / duże, mieszane szczeliny precyzyjne.M wybiera czułe pokrywy, by utrzymać je wysoko.Więc to jest również Q4, K M jest nieco większy niż K S.

Jest jeszcze jeden fakt, o którym wielu ludzi nie wie:Ilość może być dostosowana do indywidualnych przypadków.Oficjalne narzędzia wspierają określanie różnych typów według typów, takich jak: attn_v oraz ffn_down Ustawia oddzielnie jako Q5 K M, podczas gdy reszta jest utrzymywana jako Q4 K M; obsługuje również ustawienie przez regularny numer serii. I dlatego ten sam plik "Q4 K M" różni się od rozmiaru pliku, który ludzie naciskają.Jest to domyślna strategia, a nie dokładna specyfikacja.

VI. MTP: Mały moduł o nazwie "Zgadnij następne słowo"

To ostatni, który jest łatwy w użyciu jako model.Znacznik roli plikuNie wiem. W dokumencie GGF mtp Określone jako Sidecar (moduł towarzyszący), określający:

Głowice predacyjne Multi- Token, moduł projekcyjny do dekoderowania spekulacyjnego, przeznaczony do ładowania z modelami bazowymi pasującymi do architektury i wersji.

To proste:Załóżmy, że kolejne kilka żetonów i niech główny model działa równolegle.Prawy bezpośredni adopcja, zły spadek. Ponieważ weryfikacja zawsze może potwierdzić wiele żetonów, średni spadek czasu na żeton -- to jest cała zasada spekulacyjnego dekodowania.

Ale w dokumencie jest zdanie, które powinno być zapamiętane w tej sekcji:"Wagi MTP są często pakowane bezpośrednio w podstawowe modele, w takim przypadku nie ma oddzielnego pliku mtp- side".

Prawidłowe zrozumienie brzmi:Tak. mtp- Prefiksy, wskazujące, że są na zewnątrz; nikt nie widział, nie oznacza żadnego.Dlatego też szukanie MTP na liście modeli często nie jest odnalezione - jest już w głównym pliku.

Drugi Sidecar jest... mmproj(projektor multimodalny, projektor multimodułowy), enkoder wizualny i audio oraz warstwa projekcyjna.Jest to zwykle dokument samodzielny, który musi być załadowany za pomocą modelu podstawowego.Więc jeśli odłożysz wielomodowy model GGF i dowiesz się, że nie możesz zobaczyć mapy, to prawdopodobnie brakuje pliku mmproj.

VII. Pełny odczyt pięciu znaków

Wszystkie powyższe są kompletnym odczytem. Załóżmy, że widzisz nazwę pliku:

mtp-Qwen3-30B-A3B-v1.0-Q4_K_M.gguf

Snippet	Które to piętro?	Przypisy
mtp-	Rola pliku	Dołączony moduł dekodowania spekulacyjnego musi pasować do głównego modelu
Qwen3	Identyfikacja modelu	Nazwa modelu podstawowego
30B	Rozmiar	Parametr całkowity 30 mld Zdecydowałem się nie udawać.
A3B	Oblicz	Trzy miliardy na raz. Jak szybko zdecydowałeś się uciec?
v1.0	Wersja	Wersja wagowa
Q4_K_M	Przechowywanie	4.89 bitów / masa, precyzja mieszanki średniej
.gguf	Pojemniki	Za Lama.cpp.

Streszczenie dokumentu:Całkowity parametr 30 miliardów i model MoE 3 miliardy na raz został wyciśnięty do około 4,9 miejsca w pojemniku GGUUF, z dodatkowym modułem spekulacyjnym dekodowanego przyspieszenia.

VIII. Cztery z najczęstszych błędów

1. Uznaj A3B za model 3B.To nie pamięć. 30B ma nie mniejszą wagę, a 4 GB jest nadal widoczne.
2. E4B jako "mały model 4B".To największy zestaw elastycznych modeli. E4B zawiera wszystkie parametry E2B. Niskie dopasowanie na nim naciśnij 2B, nie 4B uruchomić.
3. Użyj GGF jako modelu.Ten sam model może być F16, Q8 0, Q4 K M kilka GGUUF.GGUF jest pojemnikiem, a kwantyfikacja jest zawartością.Pytanie "Q4 i GGUF dobry" to jak pytanie "Butelka i woda dobra".
4. Ten post jest częścią naszego specjalnego reportażu Syria Protesty 2011.Oficjalne oświadczenie, że umowa nie jest do końca czytelna. Nie pisz reguły regularnej, aby uzyskać dostęp do metadanych pliku z dokładnymi informacjami.

I jest tam ukryta piąta:Put 8x7B Przeczytaj 7B.To "8 ekspertów na 7B". Razem 56B. W GGUF <expertCount>x<count> x jest mnożeniem.

IX CEL PRAKTYCZNYCH DOSTOSOWAŃ

W końcu, podaj sekwencję, którą można śledzić. Spójrz na każdą nazwę modelu i zapytaj siebie w tej kolejności:

1. Najpierw spójrz na kontenery i policz..gguf + Q4_K_M Oznacza to, że jest to lokalna wersja masowa, a jakość i objętość są już ustawione w momencie wydania.
2. Przeczytaj parametry ogólne ponownie.Zdecyduj, czy twoja obecność / RAM jest wystarczająca. To trudny próg. To nie wystarczy.
3. Zobacz, czy to Moe.Tak. A??B Opis opiera się na parametrach aktywacji, ale pamięć nadal opiera się na parametrach całkowitych.
4. Sprawdź, czy jest przedrostek E.Tak. E Oznacza to, że jest to model elastyczny i że rzeczywista obecność może być znacznie poniżej wartości nominalnej - to określa, czy może uzyskać dostęp do telefonu komórkowego.
5. Ostatnie spojrzenie na Sidecar.Tak. mmproj- Pamiętaj, żeby się spotkać; tak. mtp- Pamiętaj dopasowanie; nie oznacza to, że nie ma przyspieszenia.

Nazwa modelu nie jest tabelą parametrów, ale etykietą. Etykieta działa, aby trzymać Cię z dala od następnego złego pliku, a nie do obliczania jego wyniku.

Zawsze działa. Ale aby przeczytać etykietę poprawnie, przynajmniej będziesz wiedział przed pobraniem 15- GB, że nie można go zainstalować...To zaoszczędziło czas, więcej niż jakikolwiek punkt odniesienia.