← Listeye dön

Kim K3.1 saldırıyı kaldırma yeteneğine sahip değildir.

itadol5j

Birincisi, sonuç şu:Bu sefer "düşünce yeteneği" yoktu ve bir "genius infil test mühendisinin aşağı gittiğini"n işareti yoktu.

Ay'ın karanlık tarafı, kelimeler şunlardır:Eğitim verilerinin bir dizi güvenlik özelliği içerdiğini buldular ve sonra iki aşamada iptal edildiler: Mid-training ve RL.

Bundan sonra, kendi iç penetrasyon kriteri yüzde 90.5'ten yüzde 81.0'e düştü.

Bırakılmış 9.5 puan. Relative% 10.5 per sent.

Ve?Yüzde 81.0, önceki K3'ünün yüzde 33.3'ten hala 2.4 kat daha yüksek.

Bu yüzden "a saldırma yeteneğinden kaçın" terimi, "insan aptallaşıyor çünkü 95'i 90'a düşürdü."

xdev-bench-hard

İlk olarak, neyin silindiğini görelim.

İnternetteki okumaların çoğu “Kimi saldırma yeteneğini ortadan kaldırır.” Resmi metin aslında çok özeldir ve bunu alacağım:

Birincisi, gücün nereden geldiğini öğrendiler.

Eğitimin ölçeği genişletildiği gibi, araştırma boşluklarının kapasitesi sürekli olarak arttı. Retroaktif kaynak keşfi -Siber içerik, genel orta eğitim diline kaydedilir ve siber görev aynı zamanda RL ortamında da bulunur. Hükümet çok dürüst bir ifade kullanır: “Bu, geniş bir veri yelpazesinde eğitimin doğal bir ürünü.”

2. Adım, karşılaştırma deneyi yaptılar.

İç modellerde doğrulama: Orta eğitim ve RL aşamaları kaldırılmıyorsa, aşağı akış siber kapasite önemli ölçüde artmaktadır.

3. Adım, bunu açık kaynakta yaptılar.

K3.1 Pro'nun açık hava talebi için, her iki eğitim etkinliklerinden siber ilgili verileri kabul ettik ve taşıdık, model kullanımı için gerekli olan genel kodlama araçlarını geri kalanda.

Son cümleyi not edin, “Modellerin yararlılığı için gerekli genel programlama görevleri korunur.”

Bu cümle metindeki en kritik olanıdır.“Özellikle saldırıya işaret ediyorlar”, “tüm kod, sistemler, döngü boşluklar hakkında bilgi değil.” İkincisi modeli ortadan kaldırır, çünkü döngü kendini kod hatasıdır.

Yani kesin cevap:Saldırı yeteneğinin ortadan kaldırılmasıyla ilgili değil, “savaşa giden yolun” eğitim tarafını kaldırmakla ilgilidir.

Bu iki şey ne kadar uzakta? Bir sonraki bölüme bakın.

İki, 90.5. Bu asla yayınlanmadı.

Bu detay neredeyse eksik.

Xdev-bench-hard, 90.5%,Veri kaldırma Hattı için aynı siber eğitim tüpü yapmayın"Ben kontrol noktasından çıkıyorum.

Bu kontrol asla yayınlanmadı. Bir nesil ürün değil, kamu versiyonu değil, sadece iç kontrol deneylerinde var olan varsayımsal bir üründür.

Başka bir deyişle, bu karşılaştırmanın özü:

90.5 yapabilirdik, ancak 81.0 yayınlamayı seçtik."

Bu bir zaman.Kendi-restraintBir kere değil.Kapasite azaltma kazalarının raporlanmasıBilmiyorum.

Bu iki şeyi birleştirmek, döngüsünün en büyük bozulmasıdır.

Full master:

Model Model Model Model Model Model Model Model Model Model Model Model Model Model Model Model Model Model Model Model Model Model Model Model Model Model Model Model Model Model Model Model Model Model Model Model Model Model Model Model Model Model Model Model Model Model Model Model Model Model Model Model Model Model Model Model Model Model Model Model Model Model Model Model Model Model Model Model Model Model Model Model Model Model Model Model Model Model Model Model Model Model Model Model Model Model Model Model Model Model Model Model Model Model Model Model Model Model Model Model Model Model Model Model Model Model Model Model Model Model Model Model Model Model Model Model Model Model Model Model Model Model Model Model Model Model Model Model Model Model Model Model Model Model Model Model Model Model Model Model Model Model Model Model Model Model Model Model Model Model Model Model Model Model Model Model Model Model Model Model Model Model Model Model Model Model Model Model Model Model Model Model Model Model Model Model Model Model Model Model Model Model Model Model Model Model Model Model Model Model Model Model Model Model Model Model Model Model Model Model Model Model Model Model Model Model Model Model Model Model Model Model Model Model Model Model Model Model Model Model Model Model Model Model Model Model Model Model Model Model Model Model Model Model Model Model Model Model Model Model Model Model Model Model Model Model Model Model Model Model Model Model Model Model Model Modelxdev-bench-hard (pass@3)
GPT-5.6 Sol100%
Kim (Finansal veri kaldırma olmadan işaret)90.5%
DeepSeek-V4.1-Flash85.7%
Kim K3.1 Pro (actual release)81.0%
GM-5.357.1%
Kim K3 (eski nesil)33.3%

Bu masada üç karşıt gerçek var, diyorum.

xdev-bench-hard full list

Üç veya üç ihmal edilen gerçek, her biri popüler bir kişiyi geri döndürür.

Gerçek bir: Unutulmuş olan kişi, 90.5, asla indirilmediniz.

Bu yüzden hiçbir şey "kayıp" değildin. Bilirsiniz, “Daha fazlasını yapabilirler, ama seçmediler.”

Bu bir güvenlik ifadesi, kapasite kaybı değil.

Gerçek 2: silindikten sonra, önceki nesilden 2.4 kat daha güçlüydü.

81.0 Evet, 33.3. Bu sayı başlıkta ve her şeyin anlatısı tam tersidir -

Bu, Kim'in zayıflaştığı değil, O'nun yapabileceği noktaya değil.

Gerçek III: Zaten bundan daha yüksek açık bir kaynak modeli var.

DeepSeek-V4.1-Flash, yüzde 85.7.

Bu yüzden "başka modeller saldırabilme yeteneğini ortadan kaldıracak" inference de facto irrelevant.Liste 4.7 puan yüksek ulusal üretim modeli içeriyor.

Trendleri söylerseniz, eğilimler şunlardır:Kafa kapalı kaynak modeli% 100, açık kaynak 81 ve 86 arasındadır ve herkes aynı ölçekde sıkıştırılır.

Bu, "kolektif döküm"den tamamen farklı bir resimdir.

IV. Ne BASE IS (ve her şeyi ölçemez)

Bu paragraf en çok istediğim kişidir.

Xdev-bench-hard size üç şey veriyor:

  1. Çevrim delikleri ile kaynak kodu
  2. Bir mermi ipucu
  3. Corresponding İkili

Gereklilik, bağımsız sandbox'ta yapılan herhangi bir kodu yazmak ve otomatik puan için gizli bir dize almak.

Kaynak Linux çekirdeği, Node.js, JavaScriptCore, Exim, VirGL, gerçek yazılım. Lee.Son YazılarVe...Her şey mitigation.Bilmiyorum.

Bu şey zor mu? Hard. Dava önlemlerinin kullanımı gerçekten zor.

Ancak şekli gerçek penetrasyon gibi bir şey değildir.

Gerçek filtrasyon uzun zaman aldı:

Alanı ayarlayın, varlıklara dokun, girişleri bulun, işletme mantığı boşluklarını kazmak, yatay hareket edin, kanıtları çizin, raporları yazın, müşteriye açıklayın.

Ve xdev-bench-hard sadece ortadaki küçük bir hakkı kapsar:“Burada bir delik olduğunu biliyorum, aşağı vur.”

Gerçek para nerede, önümüzdeki adımlar...

  • Müşterinin varlık listesi yanlış. Bunu kendiniz yapmak zorundasınız.
  • zararsız görünen içsel bir araç. Bu bir güç merkezi.
  • CVE yok, hiçbir ipucu yok, ikili değil, sadece “nasıl bu garip?”
  • Etkisi kanıtlamak zorunda kalacağız.

Bunların hiçbiri ölçülemez.

Bu yüzden birisi şöyle diyor: “AI filtrasyon test mühendisini değiştirdi,” sorum şudur:Hangi bölümü değiştirdin?

Eğer “bir döngünün ipucundan sonra patlamak” ise, gerçek, AI çoğu insandan daha hızlıdır. Bu iki veya üç yıl önce oldu.

Eğer " garip, kötü tanımlanmış, sınırsız gerçek bir sistem karşısında en değerli noktası bulmak" anlamına gelir.Uzaktan.

Temel sadece en dar kısımdır.

V. Neden bu kendini kucaklayan mühendislikte anlamlı?

Ay'ın karanlık tarafında karar, tamamen mühendislik bir bakış açısıyla rasyoneldir.

İlk olarak, açık kaynak ağırlığı dayanılmazdır.

Kapalı kaynak modeli, bir çit, sınırlı sayıda ve kapalı API eklemek için çok yetenekli olduğunu buldu.Açık kaynak ağırlıkları serbest bırakıldıktan sonra, dünya onları indirebilir ve asla geri dönemez.

Bu yüzden açık kaynak modelleri ile yapılabilecek tek risk kontrolü...Dışarı çıkmadan önce.Bilmiyorum.

İkincisi, hedeflerinin iyi bir sanat eseri vardır.

"We"Hayır, değilim.Tanıtım, mutlak ön siber kapasitenin açık kaynak ağırlığını genişletiyor.

"absolute cephe" terimine dikkat edin. "Hiçbir saldırgan model" değil, " endüstri tavanını üst eden bir model."

İki çizgi arasındaki fark muazzam. Eski, dövüş sanatlarının bir dereliksiyonuna karşı, ikincisi sadece uygunsuz bir kafadır.

Üçüncü olarak, kendilerini tam tersine adadılar.

Madde 2: "Biz "Gradual artışAçık kaynak ağırlıklarında mevcut siber yetenekler.

Madde 3 rasyoneli açıklıyor: ikili kullanım yeteneğine ihtiyaç duyan insanların kullanması içinSavunma SavunmaBilmiyorum. Güçlü bir model açık kaynak, bir kullanıcı kontrollü altyapı üzerinde çalışır, kendi bakım kodlarını denetlemek için daha fazla takım sağlar -Bunlar neredeyse hiçbir zaman belirli bir güvenlik incelemesine tabi olmayan miras sistemleri içerir.

Bu bir halkla ilişkiler ifadesi değildir.Geleneksel sistemin güvenlik borcu, Çin İnternet'in en gerçek acılarından biridir. Savunma için kendi denetim aracı Intranet'de mevcuttur ve ilerlemeler gerçek.

Bu yüzden atılmıyor, hız sınırı. Yön hala ileriye gidiyor, sadece bir fren.

Bu tavan, zemin değil.

Altı, gerçekten endişelenen güç değil. Bu üç şey.

Eğer bir güvenlik uygulayıcısısam, aptal olmaktan endişe duymuyorum.

Üç şeyden endişeliyim:

1 kesim etkisi.

Açık bir kaynak modeli kapasitesinin üst sınırı, üç ay önce bir seviyede “şimdilik açık kapalı kaynak modeline tabidir.

"K3.1 Pro'nun siber kapasitesi hala bunun arkasında."En az üç ay boyunca halka açıktır.Cephe kapalı kaynak modeli.

Bu "en az üç ay" rastgele değil.Bir zaman boşluğu.Bilmiyorum.

Savunma için ne anlama geliyor? AnlamAlabileceğiniz en güçlü açık kaynak araçları, saldırganların para ile satın alabileceği en iyi araçların arkasında her zaman üç aydır.

Bu boşluk, belirli bir üreticinin seçimi sonucunda kaybolmaz ve bu aşamada normaldir.

2 Veri kaynaklarının eşdeğerliği çöktü.

Bu duyurunun en değerli kısmı aslında 81.0 değil.Cyber'nin gücünün ortak dilin ürünü tarafından doğal olarak geldiğini kabul eder.Bilmiyorum.

Translator: sızdıran bir model öğretmek istiyorsunuz, verileri beslemeniz gerekmez.Yeterli kod ve sistem bilgilerini besleyin, yapar.

Bu, uzun vadede "malzeme verileri" anlamına gelir.Bu fizik yasalarına karşı olacaktır.Bilmiyorum. Açık savunma materyalini sildiniz ve genel kod kapasitesi saldırı kapasitesine dökecektir - listede 81.0, kendi başına kanıt olan kanıtlar.

Benchmarks ve gerçekçi çatlaklar büyüyecek.

Fabrikanın ticaret odaları iç değerlendirmelerini sürdürmek için devam ediyor (resmi olarak “uluslararası kriterlerimizi gelişmekte olan anahtarlar” olarak bilinir) çünkü mevcut kıyaslamalar tam olarak dolduklarında ayrımlarını kaybederler.

Ama...Daha kesin taban, gerçek sahneden daha öte.Bilmiyorum. Gerçek penetrasyon için "bug ipucu" yoktur, "sahkalama" için "gizli dize" için "negative ikili" yoktur.

Bu nedenle, karşılaştırma puanları daha yüksek olacak ve model " sizin için gerçek bir proje bitirebilir" beklediğinizden daha sonra görünecektir.

vii. Soruya geri dön: Filtre test mühendisleri düşer mi?

Nope. Ama...İş yeniden dağıtılacaktır.Ve zaten oluyor.

Yargım üçtedir:

Değiştirilecekler:

  • PC / extloit
  • Mass code statik denetim ilk önce.
  • Hesaplama doğrulama, temel denetim
  • Raporun bu kısımları "bir müşterinin adını değiştirmek"

Değiştirilmeyecek:

  • Bu sistemin en çok mücadele etmeye değer olduğunu yargılamak için - iş anlayış ve ticaret yapmak gerektirir.
  • Varlık listesinin kendisinin yanlış olduğu durumlarda varlık tanımanın yeniden kurulması yanlış
  • “Bu riski düzeltecek ya da değil mi?” Politika, teknoloji değil.
  • Sorumluluk alın.Bir şey yanlış. Birisi tarafından imzalanmıştır.

Büyüyecek:

  • Bir kişi + önceki bir takımın ekmeklerini kaplayabilecek bir parti
  • nokta,Angent'ın çıktısını doğrulayabilir misiniz?Bilmiyorum. Geçerlilik kapasitesi yeni temel beceriler haline gelir.

Bu yüzden gerçek sorun tahmin edilmez, ama...Devit olarak penetrasyon testlerini anlar.Bilmiyorum.

Bu anlayış AI ortaya çıkmadan önce modası geçmişti.

Sekiz: Size bu modelin gerçek parametrelerini vereceğim.

Bu model hakkında olduğundan, birkaç sayı aslında kullanılır:

1.Kim K3.1 Pro
Parametreler3 trilyon.
Context1M (1,048,576 jeton)
Fiyatları girin£ 13/ Milyon token
Çıktı fiyatı68/ milyon token
Önbellek$ 1.30 / Milyon token
5 Dakika Yaz£ 13/ Milyon token
Cache 1 saat yazdı£ 26 / Milyon token
Express Express ExpressYeterlik, 2-3 kez hız, çift fiyat ( $ 26 /136)
Kilo Publication4 Kasım

Fiyat girilir. 5.2 defaÖnbellek fiyatı girilir. 1/10Bilmiyorum. Bu standart uzun bağlam + ön önceki fiyat yapısı:Sisteminiz hareket eder, daha istikrarlı, tasarruf daha büyük.

Üç tane daha zor sınır var. Onun üzerine adım atanlar acı çekecektir.

  • temperature Sabit Sabit 1.0Bilmiyorum.top_p Sabit Sabit 0.95Başka bir değere geçerseniz, onu özleyeceksiniz.
  • Çok döngüsü konuşmaları, olduğu gibi tam olarak iade edilmelidirAyrıca dahil de dahil olmak üzere de dahil de dahil olmak üzere de dahil de dahil de dahil de dahil de dahil de dahil de dahil de dahil de dahil de dahil de dahil de dahil de dahil olmak üzere de dahil de dahil de dahil de dahil de dahil de dahil de dahil de dahil olmak üzere de dahil de dahil de dahil de dahil de dahil de dahil de dahil de dahil de dahil de dahil reasoning_contentBilmiyorum. Eğer bunu özlüyorsanız, saçmalık konuşmaya başlarsınız.
  • Görsel girişImage URL desteklenmedi, sadece baz64 veya ms://

Ve sonuncusu, sanırım, çok fazla insanın ona adım atacağı: bir fotoğraf bağlantısı atıyorsunuz ve bunu indirmez ve sadece yanlış gider.

Fiyatlar ve zor sınırlar

Son olarak.

Bu mermide, çoğu hatırlamaya değer 81.0 veya 90.5 olmadığını düşünüyorum.

İşte bu:“Açık kaynak ağırlıklarında mevcut siber kapasiteyi yavaş yavaş artırmayı planlıyoruz.”

Çünkü bir kehaneti kabul ediyor...Yetenekler düzenlenebilir, sadece liberal veya mühürlenemez.

Son iki yılda, bu konuda endüstride sadece iki pozisyon vardı: tam ya da hayır.Kim bu sefer üçüncü bir pozisyon verdi: açık, ama yavaş, ve açıkça ne kadar olduğunu belirtti.

Bu hızla aynı fikirde olamazsınız. Ama en azından masaya koydu ve nerede olduğunu söyledi.

Bu, söylenmemişlerden çok daha dürüst, RLHF'de sessiz redler.

"genius infilt test mühendisleri" olarak, düşmezler.

Son 10 yıldır sadece "scanning the browser and changing the moneyload" yapabilen insanlara olacak.Bu AI ortaya çıkmadan önce oldu, AI sadece iki yıl önce programı zorladı.