B, GGUF, MTP, A3B, E4B: ตัวละคร 5 ตัวในชื่อต้นแบบ, ไม่ใช่ 1 ตัว. ใช่

มาเริ่มกันด้วยข้อสรุปที่ช่วยลดความสับสนได้ครึ่งหนึ่งห้าสิ่งนี้ไม่ได้มีขนาดเท่ากันทั้งหมดB เป็นคํา, A3B และ E4B เป็น "Charentity", GGUF เป็นภาชนะ, MTP เป็นส่วนเสริม ที่ จริง พวก เขา ตอบ คํา ถาม ที่ ต่าง กัน อย่าง สิ้น เชิง.

การ แบ่ง งาน โดย เฉพาะ มี ดัง ต่อ ไป นี้:"B" "ใหญ่แค่ไหน" "A3B" "งานมากแค่ไหน" "E4B" "มากเท่าไรที่อยู่ในความทรงจํา" "GGUF" "อะไรอยู่ในนั้น" "MTP" "มันเร่ง".เอกสาร สี่ หรือ ห้า ฉบับ ปรากฏ ออก มา พร้อม ๆ กัน เพราะ จําเป็น ต้อง มี การ แสดง ออก พร้อม ๆ กัน — แต่ บ่อย ครั้ง ความ สับสน เกิด ขึ้น เมื่อ มี การ ปฏิบัติ ตาม ข้อมูล ชนิด เดียว กัน.

หนึ่ง, บี: มันก็แค่พันล้าน

B คือ พันล้าน7B มันคือพารามิเตอร์มูลค่า 7 พันล้านดอลลาร์235B 235 พันล้าน มันเป็นชุดคํานําหน้ามาตราฐานในรหัสชื่อ GGUF:K พันM ล้านB หนึ่งพันล้านT ล้านล้านดอลลาร์Q พันล้าน

ดูเหมือนง่ายที่สุด, ที่จริงมีสามความหมายต่างกันโดยสิ้นเชิง นี่คือสิ่งแรกที่ควรชัดเจน

กําลังเขียน	หมายความว่า	ตัดสินใจอะไร?
30B	พารามิเตอร์ทั้งหมด: น้ําหนักเต็ม	คุณเล่นได้มั้ย?(เงียบ, เห็น)
30B-A3B	รวมทั้งหมด 30B, ซิงเกิล 3B	เร็วแค่ไหน? ราคาเท่าไหร่?
E4B	พารามิเตอร์ที่ถูกต้อง: การอยู่จริงในเวลาดําเนินการ	รับสายหน่อยได้มั้ย?

ถ้าคุณดูสามบรรทัดนี้เข้าด้วยกัน คุณจะได้ข้อสรุปว่าโมเดล 30B สามารถทํางานได้บนโทรศัพท์มือถือมันอาจจะถูก แต่มันไม่ใช่เหมือน 30B ที่คุณคิดว่ามันเป็น

II. A3B: ตัวแปรทั่วไปและตัวแปรที่ซ้ํากันไม่ใช่เมื่อใช่

นี่มาจากโมอี คเวน3 ชัดเจนมากเกี่ยวกับชื่อของนางแบบQWind3-235B-A22B เป็นโมเดลขนาดใหญ่ของ "233.5 พันล้านพารามิเตอร์รวม, พารามิเตอร์ที่เปิดใช้งาน 22 พันล้าน", และ QWEN3-30B-A3B เป็นโมอีขนาดเล็ก "30 พารามิเตอร์รวม 3 พันล้านตัวแปรเปิดใช้งาน".

รายละเอียดเชิงเทคนิคยังระบุด้วย: 30B-A3B มี 48 ชั้น, Q/KV Head นับ 32/4ผู้ เชี่ยวชาญ 8 คน จาก 128 คน ได้ ถูก กระตุ้นบริบท 128K. 235B-A22B เป็นชั้นที่ 94, 64/4 หัว ผู้เชี่ยวชาญยังเปิดใช้งาน 8.

A3B ความหมายของเครื่องหมายนี้คือแสดง 30B, ความเร็ว 3B.

นั่นคือสิ่งล่อใจของโมอี แหล่งที่มาของการเข้าใจผิดทั้งหมดคุณประหยัดเงิน ไม่ใช่ความทรงจําหลายคนเห็น A3B และคิดว่ามันเป็นโมเดล 3B บรรจุเครื่อง 4GB แล้วพบว่าใส่ไม่ได้ ไม่ มี ของ หนัก ใด ๆ เล็ก แต่ ไม่ ใช่ การ คํานวณ ล่วง หน้า ทั้ง หมด.

พร้อมกับการไม่สนใจการเขียน: ขนาด Label ของ GGF <expertCount>x<count><scale-prefix>#และดังนั้น# 8x7B นี่เรียกว่า "I ผู้เชี่ยวชาญ x 7B" สําหรับทั้งหมด 56B.นั่นคือการคูณวงรีหรือการคูณการผสม 8x7B มักจะถูกเข้าใจผิดว่าเป็น "โมเดล 7B" และพารามิเตอร์ทั้งหมดจริงคือ 56B

3 E4B: E มีประสิทธิภาพ ไม่ใช่ Smaller

อันนี้อ่านง่ายที่สุด เอกสารของเจมม่าที่ 3 ชัดเจน

เครื่องหมายพาราเมตรสําหรับรุ่นเจมม่า 3n (เช่น E2B, E4B)น้อยกว่าปริมาณของพารามิเตอร์ที่รวมอยู่ในแบบจําลอง ส่วนนําหน้าแสดงว่าแบบจําลองเหล่านี้สามารถทํางานได้ด้วยชุด "พารามิเตอร์ที่ใช้งานไม่ได้"

ถึง ขนาด ไหน? เอกสารให้หมายเลข:มาตรฐาน E2B ถูกปรับใช้ด้วยการโหลดค่าพารามิเตอร์มากกว่า 5 พันล้านค่า โดยข้ามและข้ามแคชแบบ PLE โดยพารามิเตอร์ต่าง ๆ เพื่อกดหน่วยความจําที่ทํางานอยู่ไปยัง 1.91B

หมายเหตุคําหลักของประโยคนี้:ตัว อย่าง ของ มัน เอง ไม่ ได้ เล็ก ลง แต่ เล็ก ลง เมื่อ เทียบ กับ การ มี ตัว มัน เอง ขณะ วิ่ง.

สิ่งนี้สามารถบรรลุได้ด้วยกลไกสองอย่าง

• PLE แคช (Per-Layer Embeding).แต่ละชั้นของพารามิเตอร์ที่ฝังตัวอยู่ สามารถสร้างแยกจากหน่วยความจําต้นแบบ, จัดเก็บลงแฟ้มแบบเร็ว และเพิ่มเข้าไปในแต่ละชั้นเมื่อเรียกใช้งานนี่เท่ากับการถามพารามิเตอร์ส่วนนี้ ออกจากหน่วยความจํา
• แมทฟอร์เมอร์มี รุ่น เล็ก ๆ หลาย รุ่น ฝัง อยู่ ภาย ใน แบบ จําลอง ขนาด ใหญ่ ซึ่ง ไม่ จําเป็น ต้อง ใช้ พารามิเตอร์ ชั้น นอก เมื่อ คิด คํานวณ. คุณก็เอาตรงกลางระหว่าง 2B กับ 4B ได้

นี่นําไปสู่ข้อเท็จจริงที่ขัดกับสัญชาตญาณE4B มีตัวแปร E2B ทั้งหมดไม่ใช่ 2 รุ่นแบบเดียว สองช่องสําหรับแบบยืดหยุ่นเดียวกัน ดังนั้นเทอมที่แน่นอน ไม่ใช่ "E4B เป็นโมเดลเล็ก 4B" แต่เป็น "E4B"E4B เป็นแบบจําลองแบบยืดหยุ่นที่มีพลังงานสูงสุดเป็น 4Bมันไม่ใช่ว่าผมจะไปไหน

สิ่งนี้มีผลกระทบอย่างมากต่อการตัดสินที่ว่า "ผมสามารถวิ่งบนเครื่องมือของผมได้"E4B สามารถเรียกใช้ E2B ในอุปกรณ์ปรับเสียงต่ํา และขยายเป็น 4B ได้ด้วยอุปกรณ์ปรับระดับสูงและ A3B ไม่มีความยืดหยุ่นแบบนี้ -- มันคือ 30B ก็แค่ประหยัดค่าใช้จ่าย

IV. GGUUF: มันไม่ใช่โมเดล มันเป็นกล่องตัวอย่าง

3 อันแรกมีขนาดของโมเดล ซึ่งได้เปลี่ยนแปลงมิติจาก GGUF:นี่เป็นรูปแบบแฟ้มเพื่อความแม่นยํา GGUUF เป็นรูปแบบเก็บข้อมูลต้นแบบสําหรับ GGML และตัวดําเนินการ (Lallama.cpp) ของมัน

มันแทนที่ GGML, GGMF, GGJT, แบบสามรุ่น เป้าหมายการออกแบบอย่างเป็นทางการเป็นสี่ ซึ่งแต่ละจุดตรงกับจุดเจ็บปวดในอดีต:

วัตถุประสงค์การออกแบบ	จัดการอะไร?
ใช้แฟ้มเดี่ยว	ไม่ต้องพิมพ์เอกสารเพิ่มเติม, การจัดจําหน่ายและโหลดโดยตรง
ขยายได้	การเพิ่มข้อมูลกํากับภาพใหม่ ๆ ไม่ได้ทําลายความเข้ากันได้ของโมเดลเก่า
mmap ความเข้ากันได้	กําลังโหลดแผนที่หน่วยความจําอย่างรวดเร็ว
ข้อมูลที่สมบูรณ์	ทุกอย่างที่คุณต้องการในการโหลดอยู่ในไฟล์ ผู้ใช้ไม่จําเป็นต้องจัดหามัน

ความแตกต่างที่สําคัญระหว่างมันกับรุ่นสุดท้ายของ GGJT คือประโยคเดียว แต่มันเป็นกุญแจสําคัญHyperparater is มีการเปลี่ยนแปลงจากรายการของค่า โดยไม่ต้องพิมพ์เป็นกุญแจสําหรับข้อมูลกํากับภาพขั้น ตอน นี้ ทํา ให้ เป็น ไป ได้ ที่ จะ “ปรับ สนาม ให้ เข้า กัน ไม่ ได้. ”

คุณสะกดยังไง

รหัสการตั้งชื่ออย่างเป็นทางการคือ

[].gguf

จง ยก ตัว อย่าง ที่ แท้ จริง.

mtp-Qwen3-27B-v1.0-Q4_K_M.gguf

• mtp- • รถ พ่วง (โดย ทาง โมดูล)
• Qwen3 → เบสName
• 27B ○ ขนาด ลาเบล (ช่อง parameter)
• v1.0 รุ่น (กลับหน้า)
• Q4_K_M ชุดรหัสอักขระ (การเพิ่มรหัสอักขระ/ การจัดลําดับ)

มีส่วนประกอบอยู่ 2 ชนิด ที่ดูเหมือนจะไม่ค่อยเป็นที่รู้จัก

• แบบ.LoRA หมายความว่ามันปรับตัวได้ ไม่ใช่แบบสมบูรณ์vocab แสดงถึงแฟ้มคําศัพท์
• ชาด.00003-of-00009 แสดงสัดส่วนที่ 3 จาก 9 ความสนใจเลขเริ่มต้นที่ 00.001000 เหรียญ

นอกจากนี้ยังมีการถอนสิทธิที่สําคัญในบรรทัด:มันเรียกว่า "ไม่มีทางถอดรหัสได้อย่างสมบูรณ์ในป่า"เนื่องจากแฟ้ม gguf ที่มีอยู่แล้วมีความหลากหลายเกินไปดังนั้น อย่าเดาเลยว่าอะไรอยู่ในชื่อไฟล์ อ่านข้อมูลแฟ้ม general.basenameฉันไม่รู้general.size_labelฉันไม่รู้general.finetune มันมีอํานาจ

V. Q4 KM: ส่วนที่ยาวที่สุดของชื่อแฟ้ม คืออัตราการบีบข้อมูล

นี่ คือ สิ่ง ที่ ส่วน ใหญ่ ส่ง ผล กระทบ ต่อ ประสบการณ์ ของ คุณ ใน การ ปฏิบัติ และ เป็น สิ่ง ที่ ไม่ มี ใคร แสดง ให้ เห็น ชัดเจน.มันชี้ว่า น้ําหนักได้เพิ่มขึ้นเท่าไร

Lamama.cpp Authoration use Lamama-3.1-8B เพื่อทําการสํารวจข้อเท็จจริง และผมได้ก้าวไปสองสามขั้น (โมเดล 32.1 จีบี):

การจัดอันดับ	บิต/ ขวา	ขนาดแฟ้ม	ความเร็วในการผลิต
แบบ IQ1 S	2.00	1. 87 กิกะไบต์	79. 7 t/s
Q2 K	3.16	2.95 กิกะไบต์	79. 9 t/s
Q3 KM	4.00	3. 74 กิกะไบต์	71. 7 t/s
Q4 KM	4.89	4.58 กิกะไบต์	71.9 t/s
Q5 KM	5.70	5.33 กิกะไบต์	67.2 t/s
Q8 0	8.50	7.95 GiB	50.9 t/s
F16	16.00	14.96 กิกะไบต์	29.2 t/s

Q4 KM กลายเป็นแฟ้มปริยายของชุมชน ด้วยเหตุผลทั้งหมดในตารางนี้:4.89 บิต/น้ําหนัก โดยมีการสํารอง 30% ของ F16 ซึ่งเร็วกว่า 2.4 เท่าถึง Q8-0 ปริมาตรเพิ่มเป็นสองเท่าและลดลง 30% และการเปลี่ยนแปลงคุณภาพที่คนส่วนใหญ่ไม่รู้; ลงไปที่ IQ1 S ปริมาตรจะลดลงเล็กน้อย และความเสี่ยงคุณภาพมีสูงกว่ามาก

คุณอ่านชื่อคุณได้ยังไง

• ราชินี = การจัดลําดับIQ =เมทริกซ์วัสดุถูกนิยามเป็นตัวเลข (I-quant) ที่มีคุณภาพดีกว่า และความเร็วที่ช้าลงในตัวเลขเดียวกัน
• ตัวเลข =เลขเป้าหมาย Q4 เป็น 4 บิต, Q8 เป็น 8 บิต.
• K = k-quant, block quantification (blog-guage), แก่กว่า _0 / _1 บทความ ชุด นี้ มี ราย ละเอียด มาก กว่า.
• โรค เบา หวาน, 8 / 2 =ช่องน้อย/ขนาดความแม่นยําผสมเอ็ม หยิบฝาบางอันที่อ่อนไหวออกมา เพื่อให้มันสูงมันก็คือ Q4, KM มากกว่า KS นิดหน่อย

มีอีกความจริงหนึ่งที่หลายคนไม่รู้สัดส่วนสามารถกําหนดได้โดยพื้นฐานเครื่องมืออย่างเป็นทางการ รองรับการกําหนดชนิดต่าง ๆ ตามประเภท เช่น: attn_v ถึง ffn_down ตั้งค่าแยกเป็น Q5 KM ในขณะที่ที่เหลือยังรักษาเป็น Q4 KM; และยังรองรับการตั้งค่าโดยชุดปกติ และนั่นคือเหตุผลที่ไฟล์ชนิดเดียวกัน "Q4 K M" แตกต่างจากขนาดของไฟล์ที่ผู้คนกดดันมันเป็นกลยุทธ์ที่ผิดพลาด ไม่ใช่เป้าหมายที่แน่นอน

V. MTP: โมดูลขนาดเล็กที่เรียกว่า "ทายคําต่อไป"

มันเป็นครั้งสุดท้ายที่ใช้ได้อย่างง่ายแท็กเอกสารฉันไม่รู้ ในเอกสาร GGF mtp กําหนดเป็นรถด้านข้าง (โมดูลที่เชื่อมต่อแล้ว) แจ้งว่า

ส่วนหัวแบบหลายแบบ ที่มีการร่างขึ้นมา โมดูลสําหรับถอดรหัสแบบ secretulative ออกแบบมาให้บรรจุด้วยต้นแบบพื้นฐานที่ตรงกับสถาปัตยกรรมและรุ่นต่าง ๆ

มันง่ายมากมาลองเดากันดูว่าอีกสองสามเหรียญ และให้โมเดลหลักวิ่งขนานการรับบุตรบุญธรรมโดยตรง ลดลงผิด เพราะการตรวจสอบสามารถยืนยันได้หลายป้าย ค่าเฉลี่ยของการลดลงในเวลาต่อเหรียญ -- นี่คือหลักการของการถอดรหัส

แต่มีวลีในเอกสาร ที่ควรจะจดจํามากที่สุดในส่วนนี้:"ลูกตุ้ม MTP มักจะถูกบรรจุเข้าไปในโมเดลพื้นฐาน ซึ่งในกรณีนั้นไม่มีแฟ้ม mtp-side".

ดังนั้นความเข้าใจที่ถูกต้องก็คือใช่ mtp- คํา แนะ นํา ที่ บ่ง ชี้ ว่า พวก เขา อยู่ ภาย นอก; ไม่ มี ใคร เห็น, ไม่ หมาย ความ ว่า ไม่.นั่นเป็นเหตุผลที่การค้นหา MTP ในรายการต้นแบบ มักจะไม่พบ มันอยู่ในไฟล์หลักอยู่แล้ว

รถคันอื่น... mmproj(โปรเจ็กเตอร์เชิงเทคนิค, โปรเจคเตอร์หลายโมเดชัน), ตัวเข้ารหัสทางภาพและเสียง บวกชั้นโปรเจคชันนี่เป็นเอกสารแบบสแตนด์-คนเดียว ที่จะต้องบรรจุด้วยโมเดลพื้นฐานดังนั้นถ้าคุณวางโมเดลหลายรูปแบบของ GGF และคุณพบว่าคุณไม่สามารถเห็นแผนที่

วีไอ อ่านเต็มห้าตัวอักษร

ทั้ง หมด ข้าง บน เป็น การ อ่าน อย่าง ครบ ถ้วน. สมมติว่าคุณเห็นชื่อแฟ้มนี้:

mtp-Qwen3-30B-A3B-v1.0-Q4_K_M.gguf

ไอคอน	ชั้นไหนล่ะ	หมายเหตุประกอบ
mtp-	บทบาทของแฟ้ม	มอดูลถอดรหัสที่แนบมาจําเป็นต้องตรงกับรุ่นหลัก
Qwen3	การแสดงตัวของโมเดล	โมเดลพื้นฐาน
30B	ขนาด	จํานวนพารามิเตอร์ทั้งหมด 30 พันล้าน ฉันตัดสินใจที่จะไม่เสแสร้ง
A3B	คํานวณ	สามพันล้านครั้ง คุณตัดสินใจวิ่งเร็วแค่ไหน
v1.0	รุ่น	รุ่นของน้ําหนัก
Q4_K_M	สื่อ	4.89 บิต/ น้ําหนัก, ความแม่นยําปานกลางแบบผสม
.gguf	ตัวบรรจุ	ไปลามะ คัป

สรุปเอกสาร:พารามิเตอร์ทั้งหมด 30 พันล้าน และโมเดลโมอี 3 พันล้านครั้ง ถูกกดลงไปประมาณ 4.9 แห่ง ในตู้ GGUUF

ที่ 8 ข้อ ผิด พลาด สี่ ประการ ที่ พบ บ่อย ที่ สุด

1. พิจารณา A3B เป็นโมเดล 3Bมันไม่ใช่ความทรงจํา 30B มีน้ําหนักไม่น้อยกว่า และ 4GB ยังคงมองเห็นได้
2. E4B เป็นรุ่นเล็ก "4B"มันเป็นชุดที่ใหญ่ที่สุดของแบบจําลองยืดหยุ่น E4B มีตัวแปรทั้งหมดของ E2B. low-fit บน กด 2B, ไม่ใช่ 4B.
3. ใช้ GGF เป็นนางแบบรุ่นเดียวกันสามารถเป็น F16, Q8 0, Q4 K M หลายๆ GGUUFsGGUF คือตู้คอนเทนเนอร์ และการปรับสัดส่วนคือเนื้อหาถาม "Q4 และ GGUF ดี" เหมือนถาม "ขวดกับน้ําที่ดี"
4. 2554. โพสต์นี้เป็นส่วนหนึ่งของการรายงานข่าวพิเศษของซีเรีย โปรสเตชัน 2011.แถลงการณ์อย่างเป็นทางการว่า ข้อตกลงนั้น ไม่อยู่ในกรอบทั้งหมด อย่า เขียน กฎ ปกติ เพื่อ จะ อ่าน ข้อมูล กํากับ ของ แฟ้ม ได้ อย่าง ถูก ต้อง แม่นยํา.

และมีห้าที่ซ่อนอยู่ใส่ 8x7B อ่าน 7B.นั่นคือ "แปดผู้เชี่ยวชาญแต่ละคน 7B". รวม 56B. ใน GGUF <expertCount>x<count> x คือการคูณ

IX. วัตถุประสงค์ของวิชาชีพ

ใน ที่ สุด ให้ ลําดับ ที่ สามารถ ทํา ได้. ดูที่ชื่อต้นแบบใด ๆ และถามตัวเองในลําดับนี้

1. ดูที่ตู้คอนเทนเนอร์และเครื่องราชอิสริยาภรณ์.gguf + Q4_K_M นี่หมายความว่า มันเป็นรุ่นที่ใช้มวลในท้องถิ่น และคุณภาพและปริมาตรได้ถูกตั้งไว้แล้ว ในเวลาที่ปล่อย
2. อ่านตัวแปรโดยรวมอีกครั้งตัดสินใจว่าการปรากฏตัว/RAM ของคุณเพียงพอหรือไม่ มันเป็นขีดจํากัดที่ยาก มันไม่พอ
3. ดูว่ามันเป็นโมใช่ A??B รายละเอียดอยู่บนพื้นฐานของพารามิเตอร์ต่าง ๆ แต่หน่วยความจํายังคงอยู่บนพื้นฐานของพารามิเตอร์ทั้งหมด
4. ดูว่ามี E นําหน้าไหมใช่ E นี่แสดงว่ามันเป็นรุ่นที่ยืดหยุ่นได้ และการมีอยู่จริง ๆ อาจอยู่ต่ํากว่าค่าที่ระบุ - นี่กําหนดให้มันสามารถเข้าใช้งานโทรศัพท์มือถือได้หรือไม่
5. ดูรถข้างทางครั้งสุดท้ายสิใช่ mmproj- จํา ไว้ ว่า ต้อง มา พร้อม หน้า กัน ใช่ แล้ว. mtp- จํา ไว้ ว่า คู่ กัน; ทั้ง ไม่ ได้ หมาย ความ ว่า ไม่ มี ความ เร่ง ด่วน.

ชื่อตัวอย่างไม่ใช่ตารางพารามิเตอร์ แต่เป็นป้าย แถบกํากับการทํางานเพื่อกันคุณออกจากแฟ้มผิดพลาดถัดไป ไม่ให้คํานวณค่าของมัน

มันวิ่งตลอด แต่เพื่ออ่านฉลากอย่างถูกต้อง อย่างน้อยคุณจะรู้ ก่อนที่จะดาวน์โหลด 15-GB ว่ามันไม่สามารถติดตั้ง...นี่ประหยัดเวลาได้มากกว่าคะแนนม้านั่ง