B, GGUF, MTP, A3B, E4B: Пять символов в названии модели, а не один. Да.
Начнем с вывода, который спасает половину путаницы:Эти пять вещей не являются одинаковыми измерениями.B — это слово, A3B и E4B — это «количество», GGUF — контейнер, MTP — плагин. На самом деле они отвечают на совершенно другой вопрос.
Специфическое разделение труда заключается в следующем:«B», «How big», «A3B», «How much work», «E4B», «How much is really in the memory», «GGUF», «What is in it», «MTP», «How does it accelerate».Четыре или пять документов появляются одновременно, потому что они должны быть выражены одновременно, но путаница часто возникает, когда они рассматриваются как один и тот же тип информации.
Во-первых, Б: Это всего лишь миллиард.
B — это миллиард, миллиард.7B Это параметр в 7 миллиардов долларов.235B Это 235 миллиардов. Это набор префиксов масштаба в коде имени GGUF:K ТысячиM Миллионы,B Один миллиард.T триллионы долларов,Q Миллиарды.
Выглядит как самый простой, на самом деле имеет три совершенно разных значения. Это первое, что должно быть ясно:
| писать | значение | Решать что? |
|---|---|---|
30B | Общие параметры: полный вес | Можешь сыграть?(диск, видимый) |
30B-A3B | Всего 30B, одиночная активация 3B | Как быстро? Как дорого? |
E4B | Действительные параметры: фактическое присутствие в момент работы | Ты можешь бегать по телефону? |
Если вы посмотрите на эти три линии вместе, вы увидите, что модель 30B может работать на мобильном телефоне.Возможно, это и правильно, но это не то же самое, что 30B, как вы думали.
II. A3B: Общие параметры и параметры активации не являются однократными.
Qwen3 очень четко описывает названия моделей:Qwen3-235B-A22B — это большая модель «233,5 млрд общих параметров, 22 млрд активированных параметров», а Qwen3-30B-A3B — это небольшая MoE «30 млрд общих параметров, 3 млрд активированных параметров».
Технические детали также специфичны: 30B-A3B имеет 48 этажей, количество голов Q / KV 32 / 4.Активировано 8 из 128 специалистовКонтекст 128K. 235B-A22B — 94-й этаж, 64/4 голова, также активированы 128 экспертов 8.
Итак, A3B, фактический смысл этого знака:Дисплей 30B, скорость 3B.
Это все искушение МЧС, все источники недопонимания.Ты экономишь деньги, а не память.Многие люди видят A3B и думают, что это 3B-модель, загруженная на машину 4 ГБ, а затем находят ее невозможной для загрузки. Ни один из весов не мал, но не все форвардные расчеты.
Наряду с легко игнорируемым письмом: SizeLabel of GGF <expertCount>x<count><scale-prefix>И так далее 8x7B Это называется «8 экспертов x 7B», в общей сложности 56B.Это либо эллипс умножения, либо умножение.Mixtral-8x7B часто неправильно интерпретируется как «модель 7B», а фактический общий параметр равен 56B.
III. E4B: E является эффективным, а не «меньшим»
Это один из самых простых для чтения полностью. Документ Gemma 3n ясен:
Знаки параметров для модели Gemma 3n (например, E2B, E4B)меньше чемОбщее количество параметров, фактически включенных в модель. Префикс E указывает, что эти модели могут работать с набором «менее активных параметров».
В какой степени? В документе указан номер:Стандарты E2B реализуются путем загрузки более 5 млрд параметров, пропуска и PLE кэша по параметрам для нажатия активной нагрузки на память до 1,91B.
Обратите внимание на основные слова этого предложения:Сама модель не стала меньше, она стала меньше с точки зрения своего присутствия во время работы.
Этого можно достичь с помощью двух механизмов:
- PLE Cache (Per-Layer Embeding).Каждый слой встроенных параметров может генерироваться отдельно от модели памяти, кэшироваться в быстрое локальное хранилище и добавляться к каждому слою при работе.Это равносильно выведению этой части параметра из памяти.
- МатФормер.Существует несколько небольших моделей, встроенных в большую модель, которые не требуют активации внешних параметров при выводе. Вы можете выбрать любую середину между 2B и 4B.
Это приводит к парадоксальному факту:E4B содержит все параметры E2B.Не две автономные модели, а два слота для одной и той же эластичной модели. Таким образом, точный термин не «E4B является маленькой моделью 4B», а «E4B».E4B - это эластичная модель с максимальной мощностью до 4B.Я никуда не собираюсь уходить.
Это оказывает большое влияние на суждение о том, что «могу ли я работать на своем оборудовании»:E4B может работать как E2B на оборудовании с низким уровнем оборудования и расширяться до 4B на оборудовании с высоким уровнем оборудования.И A3B не обладает такой эластичностью - это 30B, это просто экономия средств.
IV. GGUUF: Это не модель, это модельная коробка.
Первые три — размер модели, изменившей габариты от GGUF:Это формат файла.Если быть точным, то GGUUF является модельным форматом хранения для GGML и его разработчика (llama.cpp).
Он заменяет GGML, GGMF, GGJT, формат трех поколений. Официальные цели дизайна - четыре, каждая из которых соответствует прошлой болевой точке:
| Цели проектирования | С чем иметь дело? |
|---|---|
| Единый файл развертывания | Дополнительная документация не требуется, прямое распределение и загрузка |
| расширяемый | Добавление новых метаданных не подрывает совместимость старых моделей |
mmap Совместимость | Карта памяти Загрузка, быстро |
| Полная информация | Все, что вам нужно загрузить, находится в файле. Пользователям не нужно его поставлять. |
Ключевое различие между ним и последним поколением GGJT - это всего лишь одно предложение, но это ключ:Гиперпараметр изменяется от списка значений без типа до ключа к метаданным.Этот шаг позволил «добавить несовместимость поля» — как только поле было добавлено, все старые решатели должны были быть изменены.
Как ты это написал?
Официальный код именования:
[].ggufВозьмем реальный пример.
mtp-Qwen3-27B-v1.0-Q4_K_M.ggufmtp-Боковой автомобиль (байлайн-модуль, см. следующий раздел)Qwen3BaseName (название базовой модели)27BSizeLabel (параметрический слот)v1.0Версия (версия)Q4_K_MКодирование (весовое кодирование / количественное определение)
Есть два компонента, которые не часто известны:
- Тип.:
LoRAЭто означает, что это адаптер, а не полная модель.vocabуказывает словарный файл. - Шэд.:
00003-of-00009Показана фракция, 3-я из 9 Внимание.Нумерация начинается с 00001Не в тысячу.
Существует также важный отказ от ответственности в норме:Она называется "не будет полностью расшифровываться в дикой природе".Потому что существующий файл gguf слишком разнообразен.Так что не пишите регулярные догадки о том, что в имени файла, читайте метаданные.Файл general.basenameЯ не знаю.general.size_labelЯ не знаю.general.finetune Это власть.
V. Q4 K M: самая длинная часть имени файла - скорость сжатия
Это то, что больше всего влияет на ваш опыт на практике, и то, что никто не дал понять.Это указывает на то, сколько веса было подсчитано.
llama.cpp Official README использовал Llama-3.1-8B для проведения фактического опроса, и я сделал несколько шагов (оригинальная модель 32.1 ГБ):
| количественная оценка | bits/правый | Размер файла | генерировать скорость |
|---|---|---|---|
| IQ1 S | 2.00 | 1.87 GiB | 79,7 т/с |
| Q2 K K K K K | 3.16 | 2,95 GiB | 79,9 т/с |
| Q3 K M | 4.00 | 3,74 GiB | 71,7 т/с |
| Q4 KM | 4.89 | 4.58 GiB | 71,9 т/с |
| Q5 KM M | 5.70 | 5.33 GiB | 67,2 т/с |
| Q8 0 | 8.50 | 7,95 GiB | 50,9 т/с |
| F16 | 16.00 | 14.96 GiB | 29.2 т/с |
Q4 K M становится файлом по умолчанию для сообщества по всем причинам в этой таблице:4,89 бит/вес, с отставанием в 30% от F16, что в 2,4 раза быстрее.До Q8 0 объем удваивается и падает на 30%, а изменения качества большинство людей не знают; до IQ1 S объем немного меньше, а риски качества намного выше.
Как вы читаете свое имя?
- Королева Регулярная количественная оценка;IQ Матрица материальности вычисляется количественно (i-квант), с лучшим качеством и немного меньшей скоростью в тех же цифрах.
- Числа = целевые цифры. Q4 — 4 бит, Q8 — 8 бит.
- К. = k-квант, квантирование блока (блок-мудрый), старше
_0/_1Серия более подробная. - S/M/L = малый / средний / большой, смешанный слот точности.М выбирает некоторые из чувствительных крышек, чтобы держать их высоко.Это также Q4, K M немного больше, чем K S.
Есть еще один факт, который многие люди не знают:Количественная оценка может быть настроена на индивидуальной основе.Официальные инструменты поддерживают обозначение различных типов по типам, например: attn_v и ffn_down Устанавливается отдельно как Q5 K M, в то время как остальное поддерживается как Q4 K M; также поддерживает настройку по обычному номеру партии. Вот почему один и тот же тип файла Q4 K M отличается от размера файла, на который люди оказывают давление.Это стратегия по умолчанию, а не точная спецификация.
VI. MTP: Небольшой модуль под названием "Угадай следующее слово"
Это последний, который легко использовать в качестве модели.File Role TagЯ не знаю. В документе GGF mtp Определяется как Sidecar (сопровождаемый модуль):
Multi-Token Predation Headers, проектный модуль для спекулятивного декодирования, предназначенный для загрузки базовыми моделями, соответствующими архитектуре и версиям.
Все просто:Давайте угадаем следующие несколько токенов, и пусть основная модель работает параллельно.Правильное прямое усыновление, неправильное падение. Поскольку проверка всегда может подтвердить несколько токенов, среднее падение времени на токен — это весь принцип спекулятивного декодирования.
Но в документе есть фраза, которую следует запомнить в этом разделе:Массы MTP часто упаковываются непосредственно в базовые модели, и в этом случае нет отдельного файла на стороне mtp.
Правильное понимание это:Ага. mtp- Приставки, указывающие на то, что они находятся снаружи; ни один не виден, не значит ни одного.Вот почему поиск MTP в списке моделей часто не встречается — он уже находится в основном файле.
Другой автомобиль является... mmproj(мультимодальный проектор, мультимодальный проектор), визуальный и аудиокодер плюс проекционный слой.Обычно это отдельный документ, который должен быть загружен базовой моделью.Поэтому, если вы положите многорежимную модель GGF и обнаружите, что не видите карту, вероятно, отсутствует файл mmproj.
VII. Полное чтение пяти персонажей
Все вышеперечисленное является полным чтением. Предположим, вы видите имя файла:
mtp-Qwen3-30B-A3B-v1.0-Q4_K_M.gguf| сниппет | Какой этаж? | Аннотации |
|---|---|---|
mtp- | Роль файла | Прикрепленный модуль спекулятивной декодировки должен соответствовать основной модели. |
Qwen3 | Модель идентичности | Название базовой модели |
30B | Размер | Общий параметр 30 миллиардов Я решил не притворяться. |
A3B | Рассчитать | Три миллиарда раз. Как быстро вы решили бежать? |
v1.0 | Версия | Версия веса |
Q4_K_M | хранение | 4,89 бит/вес, точность средней смеси |
.gguf | контейнеры | На llama.cpp. |
Резюме документа:Общий параметр в 30 миллиардов и модель MoE в 3 миллиарда за раз были сжаты примерно до 4,9 места в контейнере GGUUF, с дополнительным спекулятивным декодированным модулем ускорения.
VIII. Четыре самых распространенных заблуждения
- Рассмотрим A3B как модель 3B.Это не память. 30В имеет не меньший вес, а 4ГБ все еще видны.
- E4B — «маленькая модель 4B».Это самый большой набор эластичных моделей. E4B содержит все параметры E2B. Низкопригодный на нем пресс 2B, а не 4B запускается.
- Используйте GGF в качестве модели.Такая же модель может быть F16, Q8 0, Q4 K M нескольких GGUUF.GGUF - это контейнер, а количественная оценка - это контент.Спрашивать «Q4 и GGUF хорошо» — все равно что спрашивать «Бутылка и вода хороши».
- Эта статья является частью нашей специальной рубрики «Протесты в Сирии 2011».Официальное заявление о том, что сделка не совсем разборчива. Не пишите регулярное правило доступа к метаданным файла с точной информацией.
И есть скрытая пятая:Поставить 8x7B Читать 7б.Это "8 экспертов по 7Б". Всего 56Б. В GGUF <expertCount>x<count> X - это умножение.
IX. ЦЕЛЬ ПРАКТИЧЕСКИХ ПРИНЯТИЙ
Наконец, дайте последовательность, которой можно следовать. Посмотрите на любую модель и спросите себя в этом порядке:
- Сначала рассмотрим контейнеры и подсчитаем.
.gguf+Q4_K_MЭто означает, что это локальная массовая версия, а качество и объем уже установлены на момент выпуска. - Прочитайте общие параметры еще раз.Решите, достаточно ли вашего присутствия / оперативной памяти. Это жесткий порог. Этого недостаточно.
- Посмотрим, Мо.Да.
A??BОписание основано на параметрах активации, но память по-прежнему основана на общих параметрах. - Посмотри, есть ли префикс E.Да.
EЭто указывает на то, что это упругая модель и что фактическое присутствие может быть значительно ниже номинального значения - это определяет, может ли он получить доступ к мобильному телефону. - Последний взгляд на коляску.Да.
mmproj-Не забудьте собраться вместе, да.mtp-Помните, что совпадение не означает, что нет ускорения.
Название модели — это не таблица параметров, а метка. Ярлык работает, чтобы держать вас подальше от следующего неправильного файла, а не вычислять его оценку.
Он всегда работает. Но чтобы правильно прочитать этикетку, по крайней мере, вы будете знать перед загрузкой 15 ГБ, что она не может быть установлена.Это экономит время, больше, чем любой контрольный балл.