A3B, E4B: Lima karakter dalam nama model, bukan satu. Ya. Ya.

Mari kita mulai dengan kesimpulan yang menyelamatkan setengah dari kebingungan:Lima hal ini tidak sama sekali dimensi yang sama.Kampung B adalah kata, A3B dan E4B adalah Kampung", GGUF adalah bekas, MTP adalah pengaya. Bahkan, mereka menjawab pertanyaan yang sama sekali berbeda.

Pembagian spesifik tenaga kerja adalah sebagai berikut:"B," " Seberapa besar," "AA3B," "Berapa banyak pekerjaan," "E4B," " berapa banyak benar-benar dalam ingatan," "GGUF," "WhatApa yang ada di dalamnya," "MTP," "bagaimana ia mempercepat."Empat atau lima dokumen muncul secara bersamaan karena mereka memang perlu dinyatakan secara bersamaan — tetapi kebingungan sering terjadi ketika mereka diperlakukan sebagai jenis informasi yang sama.

Ini hanya satu miliar.

Milyar, satu miliar.7B Ini adalah parameter 7 miliar dolar.235B Itu 235 miliar. Ini adalah set awalan skala dalam kode nama GGUF:K ribuanM Jutaan,B 1 miliar.T (yaitu) triliunan dolar,Q Milyaran.

Sepertinya yang paling sederhana, sebenarnya memiliki tiga arti yang sama sekali berbeda. Ini hal pertama yang harus jelas:

Penulisan	Arti	Memutuskan apa?
30B	Parameter keseluruhan: berat penuh	Kau bisa memainkannya?[ Gambar di hlm.
30B-A3B	Total total 30B, pengaktifan tunggal 3B	Berapa cepat? Berapa mahalnya?
E4B	Parameter yang sah: kehadiran aktual pada saat operasi	Kau bisa menelepon?

Jika Anda melihat ketiga baris ini bersama-sama, Anda akan mendapatkan kesimpulan bahwa model 30B dapat berjalan di ponsel.Mungkin benar, tapi tidak sama seperti 30B yang kau kira.

A3B: Parameter umum dan parameter pengaktifan bukan sekali Ya.

Ini dari MoE. Qwen3 sangat jelas tentang nama model:253-235B-A22B adalah model besar dari "233,5 miliar total parameter, 22 miliar parameter diaktifkan ", dan Qwen3-30B-A3B adalah MoE kecil dari "30 miliar total parameter, 3 miliar parameter diaktifkan".

Rincian teknis juga spesifik: 30B-A3B memiliki 48 lantai, Q/KV head count 32/48 dari 128 spesialis diaktifkan, konteks 128K. 235B-A22B adalah lantai 94, 64/4 kepala, juga 128 ahli diaktifkan 8.

Jadi, A3B, arti sebenarnya dari tanda ini adalah:Tampilan 30B, kecepatan 3B.

Itu semua godaan MoE, semua sumber kesalahpahaman.Kau menyimpan uang, bukan ingatan.Banyak orang melihat A3B dan berpikir itu adalah model 3B, dimuat pada mesin 4GB, dan kemudian menemukan mustahil untuk dimuat. Tak satu pun dari berat yang kecil, tapi tidak semua perhitungan maju.

Bersama dengan mudah mengabaikan tulisan: SizeLabel dari GGF adalah <expertCount>x<count><scale-prefix>♪ And so ♪ 8x7B Ini disebut "8 ahli x 7B", untuk total 56B.Itu baik pendaraban pendaraban atau pendaraban.Mixtral-8x7B sering disalahtafsirkan sebagai model "7B " dan parameter total sebenarnya adalah 56B.

/ III. E4B:E adalah effictive, tidak "lebih kecil"

Ini salah satu yang paling mudah dibaca. Dokumen Guza Gemma 3n jelas:

Parameter index tanda untuk model Gemma 3n (misalnya E2B, E4B)Kurang dariJumlah parameter sebenarnya termasuk dalam model. Awalan Bahasa E menunjukkan bahwa model-model ini dapat dijalankan dengan satu set parameter aktif "kurang".

Sejauh mana? Dokumen tersebut memberikan nomor:Standar E2B ZOZO diimplementasikan dengan memuat lebih dari 5 miliar parameter, melewatkan dan PLE cache melalui parameter untuk menekan beban memori aktif ke 1.91B.

Perhatikan kata-kata utama kalimat ini:Model itu sendiri tidak menjadi lebih kecil, ia telah menjadi lebih kecil dari segi kehadirannya saat berlari.

Ini dapat dicapai melalui dua mekanisme:

• Cache PLE (Per-Layer Embeding).Setiap lapisan parameter terbenam dapat dihasilkan secara terpisah dari memori model, dicache ke penyimpanan lokal yang cepat, dan ditambahkan ke setiap lapisan ketika berjalan.Ini sama dengan meminta bagian dari parameter ini keluar dari memori.
• MatFormer.Ada beberapa model kecil tertanam di dalam model besar, yang tidak perlu mengaktifkan parameter luar ketika dideduksi. Jadi Anda dapat mengambil setiap pertengahan antara 2B dan 4B.

Ini mengarah pada fakta yang berlawanan:Parameter E4B mengandung semua parameter E2B.Bukan dua model berdiri sendiri, dua slot untuk model elastis yang sama. Jadi istilah pastinya bukan "E4B adalah model kecil 4B" tetapi "E4B."E4B adalah model elastis dengan daya maksimum akan 4B.Aku takkan kemana-mana.

Ini memiliki dampak besar pada penilaian bahwa "bisa saya berjalan pada peralatan saya":E4B dapat menjalankan E2B-seperti pada peralatan low-equipment dan memperluas ke 4B pada peralatan berkecepatan tinggi.Dan A3B tidak memiliki elastisitas ini -- 30B, itu hanya hemat biaya.

Ini bukan model, ini kotak model.

Tiga pertama adalah ukuran model, yang telah mengubah dimensi dari GGUF:Ini adalah file format.Tepatnya, GGUUF adalah model format penyimpanan untuk GGML dan pelaksananya (llama.cpp).

Ia menggantikan GGML, GGMF, GGJT, format tiga generasi. Target desain resmi adalah empat, masing-masing sesuai dengan titik sakit masa lalu:

Tujuan desain	Menangani apa?
Pengibaran berkas tunggal	Dokumentasi tambahan tidak diperlukan, distribusi langsung dan pemuatan
Pengendali	Menambah data meta baru tidak melemahkan keserasian model lama
mmap Keserasian	Pemetaan Peta Memori Memory, cepat
Informasi lengkap dari Akafan	Semua yang Anda butuhkan untuk memuat ada dalam file. Pengguna tidak perlu memasoknya.

Perbedaan kunci antara itu dan generasi terakhir GGJT hanya satu kalimat, tapi itu adalah kunci:Hiperparameter itu diubah dari daftar nilai tanpa tipe ke kunci ke metadata.Langkah ini memungkinkan untuk "menambahkan ketidakcocokan lapangan" — setelah suatu bidang telah ditambahkan, semua pemecah lama harus diubah.

Bagaimana kau mengejanya?

Kode penamaan resminya adalah:

[].gguf

Ambil contoh nyata.

mtp-Qwen3-27B-v1.0-Q4_K_M.gguf

• mtp- Kampung Sidecar (bilin modul, lihat bagian berikutnya)
• Qwen3 → BesName (nama model dasar)
• 27B → SizeLabel (Slot parameter)
• v1.0 Versi Vermont (versi)
• Q4_K_M Pengkodean (pengkodean berat/ kuantifikasi)

Ada dua komponen yang jarang terlihat:

• Type.KANTOR:LoRA Maksudnya adalah adapter, bukan model lengkap;vocab Kosa kata menunjukkan berkas kosakata.
• Shad.KANTOR:00003-of-00009 Dia menunjukkan fraksi, 3 dari 9 Perhatian.Nomornya mulai dari 00001Bukan 00000.

Ada juga penyangkalan penting dalam norma:Ini disebut "tidak akan sepenuhnya terurai di alam liar."Karena berkas gguf yang ada terlalu beragam.Jadi jangan menulis tebakan biasa tentang apa yang ada dalam nama berkas, baca data meta.Berkas general.basenameAku tidak tahu.general.size_labelAku tidak tahu.general.finetune Ini otoritas.

V. Q4 K M: Bagian terpanjang dari nama berkas adalah tingkat kompresi

Ini adalah salah satu yang paling mempengaruhi pengalaman Anda dalam praktek, dan orang yang tidak ada yang jelas.Ini menunjukkan berapa banyak berat telah dikuantifikasi.

llama.cpp Resmi README menggunakan Llama-3.1-8B untuk membuat survei faktual, dan saya mengambil beberapa langkah (original model 32.1 GB):

Kuantifikasi	bits/kanan	Saiz Fail XEF	Kecepatan dihasilkan
IQ1 S	2.00	1.87 GiB	79.7 t/s
Q2 K	3.16	2 2.95 GiB	99,9 t/s
Q3 K M	4.00	254 GiB 3,74	71.7 t/s
Q4 K M	4.89	258 GiB	1.9 t/s
Q5 K M	5.70	5.33 GiB	67.2 t/s
Q8 0	8.50	7 7.95 GiB	50.9 t/s
F16	16.00	14.96 GiB	29.2 t/s

OF Q4 K M menjadi berkas standar komunitas untuk semua alasan dalam tabel ini:4894,89 Bit/berat, dengan backlog 30% dari F16, yaitu 2,4 kali lebih cepat.Ke Q8 0, volumenya berlipat ganda dan turun 30%, dan perubahan kualitas yang tidak diketahui kebanyakan orang; turun ke IQ1 S, volumenya sedikit berkurang, dan risiko kualitasnya jauh lebih tinggi.

Bagaimana kau membaca namamu?

• Ratu Nafas = kuantifikasi biasa;♪ IQ Matriks materialitas adalah kuantified (i-quant), dengan kualitas yang lebih baik dan kecepatan yang sedikit lebih lambat dalam digit yang sama.
• Nombor = target digit. Q4 4 bit, Q8 adalah 8 bit.
• KAN = k-quant, kuantifikasi blok (block-wise), lebih tua _0 / _1 Serinya lebih rinci.
• S / M / L XAEL = kecil/media/besar, slot presisi campuran.Aku memilih beberapa tutup sensitif untuk menjaga mereka tetap tinggi.Ia juga Q4, K M sedikit lebih besar dari K S.

Ada fakta lain bahwa banyak orang tidak tahu:Kuantifikasi/Kuantifikasi/Kuantifikasi/Kuantifikasi/Kuantifikasi/Kuantifikasi/Kuantifikasi/Kuantifikasi/Kuantifikasi/Kuantifikasi/Kuantifikasi/Kuantifikasi/Kuantifikasi/Kuantifikasi/Kuantifikasi/Kuantifikasi/Kuantifikasi/Kuantifikasi/Kuantifikasi/Kuantifikasi/Kuantifikasi/Kuantifikasi/Kuantifikasi/Kuantifikasi/Kuantifikasi/Kuantifikasi/Kuantifikasi/Kuantifikasi/Kuantifikasi/Kuantifikasi/Kuantifikasi/Kuantifikasi/Kuantifikasi/Kuantifikasi/Kuantifikasi/Kuantifikasi/Kuantifikasi/Kuantifikasi/Kuantifikasi/Kuantifikasi/Kuantifikasi dapat dikuantifikasi berdasarkan kasus/kasus.Alat-alat resmi yang mendukung sebutan dari berbagai jenis berdasarkan jenis, seperti: attn_v Dan ffn_down Ordinariat ditetapkan secara terpisah sebagai Q5 K M, sementara sisanya dipertahankan sebagai Q4 K M; juga mendukung pengaturan oleh nomor batch reguler. Dan itulah sebabnya tipe file yang sama "Q4 K M" berbeda dengan ukuran file yang ditekan orang.Ini adalah strategi baku, bukan spesifikasi yang tepat.

VI.

Ini adalah yang terakhir yang mudah digunakan sebagai model, sebenarnya.Tag Peranan BerkasAku tidak tahu. Amerika Serikat mtp Didefinisikan sebagai Sidecar (sebuah modul terdamping), menyatakan:

Kepala Predasi Multi-Token, modul draf untuk decodering spekulatif, dirancang untuk dimuat dengan model dasar yang cocok dengan arsitektur dan versi.

Sederhana saja:Coba tebak beberapa token berikutnya, dan biarkan model utama berjalan secara paralel.Adopsi langsung, salah. Karena verifikasi verifikasi selalu dapat mengkonfirmasi beberapa token, penurunan rata-rata waktu per token -- ini adalah prinsip dekoding spekulatif.

Tapi ada sebuah frasa dalam dokumen yang seharusnya paling diingat di bagian ini:Berat ØMTP sering kali dikemas langsung ke model dasar, dalam hal ini tidak ada berkas sisi-mtp terpisah".

Jadi pemahaman yang benar adalah:Yeah. mtp- Prefiks, menunjukkan bahwa mereka berada di luar; tidak terlihat, tidak berarti tidak ada.Itulah sebabnya mengapa mencari MTP dalam daftar model sering kali tidak ditemukan -- sudah ada dalam berkas utama.

Kereta sisi lain adalah... mmproj(proyektor multimodular, proyektor multimodular), pengekod visual dan audio ditambah lapisan proyeksi.Ini biasanya adalah dokumen berdiri sendiri yang harus dimuat dengan model dasar.Jadi, jika Anda meletakkan model multi-mode dari GGF dan Anda menemukan Anda tidak dapat melihat peta, itu mungkin hilang file mmproj.

VII. Bacaan lengkap lima karakter

Semua di atas adalah bacaan lengkap. Misalkan Anda melihat nama berkas ini:

mtp-Qwen3-30B-A3B-v1.0-Q4_K_M.gguf

Snippet	Lantai berapa?	Anotasi
mtp-	Peranan Berkas	Modul dekodemen spekulatif terlampir perlu mencocokkan model utama
Qwen3	Identitas Model	Name
30B	ukuran	Total parameter 30 miliar Aku memutuskan untuk tidak berpura-pura.
A3B	AYAT	3 miliar kali. Berapa cepat kau memutuskan untuk lari?
v1.0	Versi:	Versi Berat Beban
Q4_K_M	Penyimpanan	4 4.89 bit/berat, presisi campuran sedang
.gguf	Bekas	Untuk llama.cpp.

Ringkasan dokumen:Parameter total 30 miliar dan model MoE sebesar 3 miliar pada suatu waktu ditekan ke sekitar 4,9 tempat ke dalam wadah GGUUF, dengan spekulatif tambahan decode modul percepatan.

VIII. Empat salah baca yang paling umum

1. A3B dianggap sebagai model 3B.Ini bukan ingatan. Bobotnya tidak kurang, dan 4GB masih terlihat.
2. E4B sebagai model kecil "4B".Ini adalah set terbesar model elastis. Parameter E4B berisi semua parameter E2B. Low-fit di atasnya tekan 2B, bukan 4B run.
3. Guna GGF sebagai model.Model yang sama dapat berupa F16, Q8 0, Q4 K M beberapa GGUUF.GGUF adalah wadah dan kuantifikasi adalah konten.Tanya "Q4 dan GGUF bagus" seperti bertanya " Botol dan air yang baik."
4. Protes Suriah 2011.Pernyataan resmi yang menyatakan bahwa kesepakatan tersebut tidak sepenuhnya dapat dibenarkan. Jangan tulis aturan regular untuk mengakses data meta berkas dengan informasi yang akurat.

Dan ada yang tersembunyi kelima:♪ Put Put Put 8x7B Baca 7B.Itu adalah "8 ahli masing-masing 7B." Totalnya 56B. Di GGUF <expertCount>x<count> X X adalah pendaraban.

TUJUAN ADJUSMEN PRAKTIK

Akhirnya, berikan urutan yang dapat diikuti. Lihatlah nama model apapun dan tanyakan pada diri sendiri dalam urutan ini:

1. Pertama lihat wadah dan kuantitatif..gguf + Q4_K_M Ini berarti bahwa itu adalah versi massa run-off lokal, dan kualitas dan volume sudah ditetapkan pada saat rilis.
2. Baca parameter keseluruhan lagi.Memutuskan apakah kehadiran/RAM Anda cukup. Ini ambang batas yang keras. Itu tidak cukup.
3. Lihat apakah Moe.Ya. Ya. A??B Keterangan Keterangan berdasarkan pada parameter pengaktifan, tetapi memori masih berdasarkan parameter total.
4. Lihat apakah ada awalan E.Ya. Ya. E Ini menunjukkan bahwa itu adalah model elastis dan bahwa kehadiran sebenarnya mungkin jauh di bawah nilai nominal - ini menentukan apakah itu dapat mengakses ponsel.
5. Terakhir lihat Sidecar.Ya. Ya. mmproj- Ingat untuk datang bersama-sama; ya. mtp- Kenanglah padanan; juga tidak berarti tidak ada percepatan.

Nama model bukanlah sebuah tabel parameter, tetapi sebuah label. Label ini berfungsi untuk menjauhkanmu dari berkas berikutnya yang salah, bukan untuk menghitung skornya.

Ini selalu berjalan. Tapi untuk membaca label dengan benar, setidaknya Anda akan tahu sebelum mengunduh 15-GB bahwa itu tidak dapat diinstal...Ini menghemat waktu, lebih dari nilai benchmark apapun.