B, GGUF, MP, A3B, E4B: năm ký tự trong tên mô hình, không phải một. Phải.
Hãy bắt đầu với một kết luận tiết kiệm được một nửa sự nhầm lẫn:Năm thứ này không cùng một chiều.B là từ, A3B và E4B là " số lượng", GGUF là container, MPP là bổ sung. Trên thực tế, họ trả lời một câu hỏi hoàn toàn khác.
Phân công lao động cụ thể là như sau:"B", "A3B", "bao nhiêu công việc," "E4B," "bao nhiêu thực sự nằm trong bộ nhớ," "GGUF," "Cái gì ở trong nó, "MPP," "Làm thế nào nó tăng tốc."Bốn hoặc năm tài liệu xuất hiện cùng một lúc vì chúng cần được trình bày cùng một lúc — nhưng sự bối rối thường xảy ra khi chúng được đối xử như cùng một loại thông tin.
Một, B: nó chỉ là một tỷ.
B là tỷ, một tỷ.7B Đó là một tham số 7 tỉ đô la.235B Đó là 235 tỷ đô. Đó là một tập hợp các tiền tố quy mô trong mã tên GGUF:K Hàng ngànM Hàng triệu,B Một tỷ.T Hàng nghìn tỷ đô la,Q Hàng tỷ.
Có vẻ như cái đơn giản nhất, thực sự có ba ý nghĩa hoàn toàn khác nhau. Đây là điều đầu tiên rõ ràng:
| Ghi | Nghĩa là | Quyết định gì? |
|---|---|---|
30B | Tham số toàn cục: | Anh chơi được không?(dirk, nhìn thấy) |
30B-A3B | Tổng cộng 30B, hoạt động đơn 3B | Nhanh cỡ nào? Bao nhiêu tiền? |
E4B | Tham số hợp lệ: hiện diện đúng lúc thao tác | Anh chạy điện thoại được không? |
Nếu bạn cùng nhìn vào 3 đường này, bạn sẽ có kết luận rằng mô hình 30B có thể chạy trên điện thoại di động.Có thể đúng, nhưng nó không giống với 30B mà anh nghĩ.
A3B: tham số chung và các tham số kích hoạt không phải là một lần.
Đây là từ MoE. Qwen3 rất rõ ràng về tên của các mô hình:Qwen3-235B-A22B là một mô hình lớn của "233.5 tỷ tham số tổng số, 22 tỷ tham số được kích hoạt", và Qwen3-30B-A3B là một mẫu nhỏ của "30 tỷ tham số tổng, 3 tỉ tham số được kích hoạt".
Chi tiết kỹ thuật cũng cụ thể: 30B-A3B có 48 tầng, số đầu Q/KV 32/48 của 128 chuyên gia được kích hoạtVăn cảnh 128K. 235B-A22B là tầng 94, 64/4, cũng có 128 chuyên gia kích hoạt 8.
A3B, ý nghĩa thực sự của dấu này là:Tốc độ 3B.
Đó là tất cả sự cám dỗ của MoE, tất cả các nguồn gốc của sự hiểu lầm.Anh đang tiết kiệm tiền, không phải trí nhớ.Nhiều người nhìn thấy A3B và nghĩ rằng đó là mô hình 3B, được nạp vào một máy 4GB, và sau đó thấy nó không thể tải. Không có khối lượng nào nhỏ, nhưng không phải tất cả các tính toán trước.
Cùng với một dễ dàng bỏ qua văn bản: cỡ Label của GGF là <expertCount>x<count><scale-prefix>♪ Và như vậy ♪ 8x7B Nó được gọi là "8 chuyên gia x 7B", tổng cộng là 56B.Đó là hoặc là một elipsis nhân hoặc một phép nhân.Mitter-8x7B thường được hiểu sai là "7B mô hình" và tổng tham số thực tế là 56B.
III. E4B: E là có tính hiệu quả, không phải "smaller"
Đây là một trong những cách dễ đọc nhất. Tài liệu của Gemma 3n rõ ràng:
Dấu tham số cho mô hình Gemma 3n (v. d. E2B, E4B)Ít hơnTổng lượng tham số thực sự bao gồm trong mô hình. Đầu đề E ngụ ý rằng những mô hình này có thể chạy với một tập hợp các tham số "không hoạt động".
Đến mức độ nào? Tài liệu cung cấp số điện thoại:Các tiêu chuẩn E2B được thực hiện bằng cách tải hơn 5 tỉ tham số, bỏ qua và lưu tạm PLE bằng các tham số để nhấn tải bộ nhớ hoạt động lên 1.91B.
Hãy chú ý những từ chính của câu này:Bản thân mô hình đã không trở nên nhỏ hơn, nó đã trở nên nhỏ hơn về sự hiện diện của nó trong khi chạy.
Điều này có thể đạt được thông qua hai cơ chế:
- PLE Cache (Per-Layer Embeding).Mỗi lớp các tham số nhúng có thể được tạo ra riêng biệt từ bộ nhớ mô hình, được lưu tạm vào một kho lưu trữ nhanh ở địa phương, và thêm vào mỗi lớp khi chạy.Điều này là tương đương với yêu cầu này một phần của tham số ra của bộ nhớ.
- MatFormer.Có một số mô hình nhỏ nằm trong một mô hình lớn, mà không cần phải kích hoạt tham số bên ngoài khi suy ra. Vì vậy, bạn có thể mất bất kỳ giữa 2B và 4B.
Điều này dẫn đến một thực tế ngược lại:E4B chứa tất cả các tham số E2B.Không phải hai mẫu đứng một, hai khe cho cùng một mô hình co giãn. Vì vậy, thuật ngữ chính xác không phải "E4B là một mô hình 4B nhỏ" mà là "E4B."E4B là một mô hình co giãn với tối đa năng lượng đi đến 4B.Tôi không đi đâu cả.
Điều này có ảnh hưởng lớn đến phán quyết rằng "tôi có thể chạy trên thiết bị của tôi"E4B có thể chạy E2B với thiết bị dự phòng thấp và mở rộng thành 4B trên thiết bị dự phòng cao.Và A3B không có độ đàn hồi này -- nó là 30B, nó chỉ tiết kiệm chi phí.
Nó không phải là một mô hình, nó là một chiếc hộp mô hình.
Ba kích thước đầu tiên của mô hình, đã thay đổi kích thước từ GGUF:Đây là định dạng tập tin.Nói một cách chính xác, GGUUUF là một định dạng lưu trữ mô hình cho GGML và bộ chế tạo (lama.cpp).
Nó thay thế GGML, GGMF, GGJT, định dạng 3 thế hệ. Các mục tiêu thiết kế chính thức là bốn, mỗi mục tiêu tương ứng với một điểm đau quá khứ:
| Mục tiêu thiết kế | Giải quyết cái gì? |
|---|---|
| Đang bật tập tin đơn | Không cần thêm tài liệu, phân phối trực tiếp và nạp |
| Mở rộng | Thêm siêu dữ liệu mới không làm suy yếu sự tương thích của mô hình cũ |
mmap Tương thích | Bản đồ bộ nhớ đang nạp, nhanh |
| Thông tin đầy đủ | Mọi thứ anh cần đều có trong hồ sơ. Người dùng không cần phải cung cấp nó. |
Điểm khác biệt chính giữa nó và thế hệ cuối cùng của GGJT chỉ là một câu, nhưng nó là chìa khóa:Siêu kính được thay đổi từ danh sách các giá trị mà không kiểu thành phím siêu dữ liệu.Bước này làm cho nó có thể trở nên tương thích với lĩnh vực mở rộng — một khi đã thêm vào một lĩnh vực, tất cả những người giải quyết cũ phải được thay đổi.
Anh đánh vần nó thế nào?
Mã tên chính thức là:
[].ggufHãy lấy một thí dụ thật sự.
mtp-Qwen3-27B-v1.0-Q4_K_M.ggufmtp-• Xe phụ (bộ phận theo hàng, xin xem phần kế tiếp)Qwen3Cơ sở dữ liệuName27BCỡ phụ đề:v1.0Phiên bản ( chuyển đổi)Q4_K_MBộ mã ( Mã hóa/ lượng nhỏ)
Có hai thành phần không thường được biết đến:
- Kiểu.:
LoRANghĩa là nó là một người thích nghi, không phải một mô hình hoàn chỉnh;vocabngụ ý tập tin từ vựng. - Cạo râu.:
00003-of-00009Hiện phân số, 3 trên 9 chú ý.Bắt đầu đếm 10001Không phải 1000.
Cũng có một từ chối quan trọng trong quy tắc:Nó được gọi là "không thể giải mã hoàn toàn trong tự nhiên."Bởi vì tập tin gguf tồn tại quá đa dạng.Vì vậy, đừng viết một đoán thường xuyên của những gì trong tên tập tin, đọc siêu dữ liệu.Tập tin general.basenameTôi không biết.general.size_labelTôi không biết.general.finetune Đó là thẩm quyền.
V. Q4 K M: phần dài nhất của tên tập tin là tốc độ nén
Điều này ảnh hưởng nhiều nhất đến kinh nghiệm thực tế của bạn, và điều mà chưa ai nói rõ.Nó cho thấy trọng lượng đã được định lượng.
Ilma.cpp chính thức ReadME sử dụng Llama-3.1-8B để thực hiện một cuộc khảo sát thực tế, và tôi đã thực hiện một vài bước (mô hình gốc 32.1 GB):
| Số hoá | bit/phải | Cỡ tập tin | Tạo ra Tốc độ |
|---|---|---|---|
| IQ1 S | 2.00 | 1.87 GiB | 79.7 t/s |
| Q2 K | 3.16 | 2. 95 GiB | 79.9 t/s |
| Q3 K M | 4.00 | 3.74 GiB | 71.7 t/s |
| Q4 K M | 4.89 | 4.58 GiB | 71.9 t/s |
| Q5 K M | 5.70 | 5.33 GiB | 67.2 t/s |
| Q8 0 | 8.50 | 7,95 GiB | 50. 9 t/s |
| F16 | 16.00 | 14,96 GiB | 29.2 t/s |
Q4 K M trở thành tập tin mặc định cộng đồng cho tất cả các lý do trên bảng này:4.89 Bits/g, với bản sao 30% F16, nhanh hơn 2,4 lần.Tăng lên Q8 0, âm lượng tăng gấp đôi và giảm 30%, và những thay đổi chất lượng mà hầu hết mọi người không biết; giảm xuống IQ1 S, âm lượng thấp hơn một chút, và những rủi ro chất lượng cao hơn nhiều.
Anh đọc tên mình thế nào?
- Hoàng hậu = Số lượng chính thức;IQ = ma trận vật chất được định lượng (i-quant), với chất lượng tốt hơn và tốc độ chậm hơn một chút trong cùng một chữ số.
- Số = số mục tiêu. Q4 là 4 bit, Q8 là 8 bit.
- K = k-quant, khối định lượng (theo khối), cũ
_0/_1Bộ phim chi tiết hơn. - S / M / L = nhỏ/ ma menia / to, chính xác lẫn nhau.M chọn ra một số nắp nhạy cảm để giữ chúng cao.Vì vậy, nó cũng là Q4, K M là hơi lớn hơn K S.
Có một sự thật khác mà nhiều người không biết:Số hóa có thể được tùy chỉnh dựa trên cơ sở trường hợp.Công cụ chính thức hỗ trợ tên của các loại khác nhau theo kiểu, như: attn_v và ffn_down Đặt riêng lẻ là Q5 K M, trong khi phần còn lại được bảo trì như Q4 K M; cũng hỗ trợ thiết lập thiết lập bởi một số hàng chuẩn. Và đó là lý do tại sao loại tập tin "Q4 K M" khác với kích thước của tập tin mà mọi người áp lực.Đó là một chiến lược mặc định, không phải một đặc điểm cụ thể.
Một mô- đun nhỏ gọi là "Gues kế tiếp"
Đây là cái cuối cùng rất dễ sử dụng như một mô hình.Thẻ Nhiệm vụ Tập tinTôi không biết. Trong tài liệu GGF mtp Định nghĩa là Sidecar ( Môđun tương ứng) nói:
Đầu đề đa năng, mô-đun cho việc giải mã suy đoán, được thiết kế để nạp vào các mô hình cơ bản tương ứng với kiến trúc và phiên bản.
Rất đơn giản:Hãy đoán vài vật kỷ niệm tiếp theo, và hãy để mô hình chính song song.Nhận nuôi trực tiếp, thả lộn. Bởi vì sự xác nhận có thể xác nhận nhiều dấu hiệu, sự giảm trung bình theo thời gian cho mỗi dấu hiệu -- đây là toàn bộ nguyên tắc suy đoán giải mã.
Nhưng có một cụm từ trong tài liệu nên được nhớ đến nhiều nhất trong phần này:"Những quả tạ thường được gói trực tiếp vào các mô hình cơ bản, trong trường hợp không có tập tin bên Mtp riêng biệt".
Vậy sự hiểu biết chính xác là:Ừ. mtp- Tiền tố, cho thấy chúng ở bên ngoài; không ai thấy, không có nghĩa gì cả.Đó là lý do tại sao việc tìm kiếm MP trong danh sách mô hình thường không được tìm thấy -- nó đã nằm trong tập tin chính.
Chiếc Sidecar kia... mmproj(máy chiếu đa ngôn ngữ), hình ảnh và bộ mã hóa âm thanh cộng với lớp phản chiếu.Đây thường là một tài liệu đứng-một phải được tải với một mô hình cơ bản.Vì vậy, nếu bạn đặt xuống một mô hình đa điểm của GGF và bạn phát hiện ra bạn không thể nhìn thấy bản đồ, nó có thể mất tập tin mmproj.
VII. Đọc đầy đủ năm ký tự
Tất cả những điều trên đều là một phần hoàn chỉnh. Giả sử bạn thấy tên tập tin này:
mtp-Qwen3-30B-A3B-v1.0-Q4_K_M.gguf| Đoạn | Tầng mấy? | Chú giải |
|---|---|---|
mtp- | Vai trò tập tin | Mô-đun suy đoán kết nối cần để phù hợp với mô hình chính |
Qwen3 | Mô hình | Tên cơ bản |
30B | Cỡ | Tổng tham số 30 tỷ Tôi đã quyết định không giả vờ. |
A3B | Tính | Ba tỷ một lần. Anh quyết định chạy nhanh cỡ nào? |
v1.0 | Phiên bản | Xem trước |
Q4_K_M | Lưu trữ | 4.89 bit/g, độ chính xác vừa |
.gguf | Comment | Vì lạc đà. |
Tóm tắt tài liệu:Tổng tham số của 30 tỉ và mô hình MoE của 3 tỉ mỗi lần được ép vào khoảng 4.9 địa điểm vào hộp chứa GGUUF, với một mô-đun gia tốc đã được suy đoán thêm.
VIII. Bốn trong số những sự hiểu lầm phổ biến nhất
- Hãy xem A3B như một mô hình 3B.Đó không phải là ký ức. 30B không giảm trọng lượng, và 4GB vẫn có thể nhìn thấy.
- E4B là mô hình "4B nhỏ".Đó là tập hợp các mô hình co giãn lớn nhất. E4B chứa tất cả các tham số của E2B.
- Dùng GGF làm mẫu.Mô hình tương tự có thể là F16, Q8 0, Q4 K M một số GGUUFs.GGUF là một container và định lượng là nội dung.Hỏi "Q4 và GGUF tốt" giống như hỏi "Cái chai và nước tốt."
- Đây là một phần của cuộc biểu tình đặc biệt của Syria năm 2011.Lời tuyên bố chính thức rằng thỏa thuận không hoàn toàn có thể thực hiện được. Không ghi quy tắc thường xuyên để truy cập siêu dữ liệu của tập tin với thông tin chính xác.
Và có một điều bí mật thứ năm:Bỏ 8x7B Đọc 7B.Đó là "8 chuyên gia mỗi 7B." Tổng cộng 56B. Trong GGUF <expertCount>x<count> X là phép nhân.
IX.
Cuối cùng, cung cấp cho một chuỗi có thể theo sau. Hãy nhìn vào bất kỳ tên mô hình và tự hỏi theo thứ tự này:
- Đầu tiên nhìn vào thùng chứa và định lượng.
.gguf+Q4_K_MĐiều này có nghĩa là nó là một phiên bản khối lượng cục bộ chạy, và chất lượng và khối lượng đã được thiết lập tại thời điểm phát hành. - Đọc lại toàn bộ thông số.Hãy quyết định xem sự hiện diện của cậu có đủ không. Đó là một ngưỡng khó khăn. Chưa đủ.
- Xem có phải Moe không.Phải.
A??BMô tả dựa trên tham số kích hoạt, nhưng bộ nhớ vẫn dựa trên tổng tham số. - Xem có tiền tố E không.Phải.
EĐiều này cho thấy rằng nó là một mô hình co giãn và sự hiện diện thực sự có thể nằm dưới giá trị danh nghĩa - điều này xác định liệu nó có thể truy cập điện thoại di động. - Lần cuối nhìn Sidecar.Phải.
mmproj-Nhớ đi cùng nhau.mtp-Hãy nhớ rằng phù hợp, không có nghĩa là không có gia tốc.
Tên mô hình không phải là bảng tham số, mà là nhãn. Nhãn sẽ giúp bạn tránh xa tập tin sai tiếp theo, chứ không phải tính điểm.
Nó luôn chạy. Nhưng để đọc đúng nhãn hiệu, ít nhất bạn sẽ biết trước khi tải về 15-GB mà nó không thể được cài đặt...Điều này tiết kiệm thời gian, nhiều hơn bất kỳ điểm chuẩn.