← Kembali ke daftar

Kimi K3.1 tidak memiliki kemampuan untuk menghapus serangan.

itadol5j

Pertama, kesimpulannya adalah:Kali ini tidak ada "kemampuan serangan de-" dan tidak ada tanda-tanda "insinyur jenius infiltrasi turun".

Sisi gelap bulan, kata-kata adalah:Mereka menemukan bahwa data pelatihan tersebut menggabungkan sejumlah fitur keamanan, dan kemudian mereka dipilih dan dihapus dalam dua tahap: pelatihan menengah dan RL.

Setelah itu, penetrasi internal mereka sendiri benchmark turun dari 90.5 persen menjadi 81,0 persen.

Turun 9.5 poin. Penurunan relatif 10,5 persen.

Dan?81.0 persen masih 2,4 kali lebih tinggi dari 33.3 persen pendahulu mereka K3.

Jadi istilah "menghapus kemampuan untuk menyerang" adalah tingkat logis dengan "pria mendapat bodoh karena dia turun 95 sampai 90".

xdev- bench-hard

Pertama, mari kita lihat apa yang telah dihapus.

Sebagian besar kutipan di Internet berhenti pada kalimat "Kimi menghilangkan kemampuan untuk menyerang". Teks resmi sebenarnya sangat spesifik, dan aku akan menurunkannya:

Pertama, mereka mencari tahu dari mana listrik berasal.

Sebagai skala pelatihan telah diperluas, kapasitas untuk penelitian celah telah terus meningkat. Penemuan sumber retroaktif -Isi cyber tertanam dalam bahasa pelatihan menengah generik, dan tugas cyber juga dalam lingkungan RL. Pemerintah menggunakan frase yang sangat jujur: "Ini adalah produk alami dari pelatihan dalam berbagai macam data".

Langkah kedua, mereka melakukan eksperimen perbandingan.

Validasi pada model internal: Jika pertengahan pelatihan dan fase RL tidak dihapus, kapasitas cyber hilir meningkat secara signifikan.

Langkah ketiga, mereka melakukannya di open source.

Untuk permintaan cuaca terbuka K3.1 Pro, kami sepakat dan pindah cyber- terkait data dari kedua acara pelatihan, sementara yang tersisa general- mengusulkan alat-alat coding diperlukan untuk penggunaan model.

Perhatikan kalimat terakhir, "Tugas pemrograman generik yang diperlukan untuk penggunaan model yang dipertahankan".

Kalimat ini adalah kalimat yang paling kritis dalam teks.Mereka menghapus "data secara khusus menunjuk pada serangan itu", bukan "semua pengetahuan tentang kode, sistem, celah". Yang terakhir menghilangkan model karena celah itu sendiri adalah kesalahan kode.

Jadi jawabannya adalah:Ini bukan tentang menghilangkan kemampuan untuk menyerang, ini tentang menghilangkan bias pelatihan dari "arah untuk menyerang".

Seberapa jauh dua hal itu? Lihat bagian berikutnya.

Dua, 90.5. Ini adalah nomor tidak pernah diterbitkan.

Rincian ini hampir hilang.

Xdev- bench-hard, 90.5%, adalahJangan lakukan tabung pelatihan cyber yang sama untuk baris penghapusan data"Aku akan keluar dari pos pemeriksaan.

Pos pemeriksaan ini belum pernah diterbitkan. Ini bukan produk generasi, bukan versi publik, tetapi produk hipotetis yang hanya ada dalam percobaan kontrol internal.

Dengan kata lain, inti dari perbandingan ini adalah:

"Kita bisa melakukan 90.5, tapi kami memilih untuk mempublikasikan 81.0".

Ini adalah satu kali.Pernyataan publik tentang pengendalian diri.Tidak sekalipun.Laporan kecelakaan degradasi kapasitasAku tidak tahu.

Menggabungkan kedua hal ini adalah distorsi terbesar siklus.

Full master:

Modelxdev-bench-hard (pass @ 3)
GPT-5.6 Sol100%
Kimi (titik pemeriksaan tanpa penghapusan data cyber)90.5%
DeepSeek-V4.1-Flash85.7%
Kimi K3.1 Pro (rilis sebenarnya)81.0%
GM-5.357.1%
Kimi K3 (generasi sebelumnya)33.3%

Ada tiga fakta kontraintuitif di meja ini, kataku.

xdev-bench-hard daftar lengkap

Tiga atau tiga fakta diabaikan, masing-masing membalikkan yang populer.

Fakta pertama: yang dihapus, 90.5, Anda tidak pernah diunduh.

Jadi kau tidak "kehilangan" apapun. Kau tahu, "Mereka bisa melakukan lebih, tetapi mereka memilih untuk tidak".

Ini adalah pernyataan keamanan, bukan kehilangan kapasitas.

Fakta 2: Setelah dihapus, 2,4 kali lebih kuat dari generasi sebelumnya.

81.0 Ya, 33.3. Angka itu ada di judul, dan narasi dari semuanya adalah sebaliknya --

Bukan Kimi yang lemah, tapi Kimi yang semakin kuat, tapi tidak pada titik di mana dia bisa.

Sudah ada open source model yang lebih tinggi dari itu.

DeepSeek-V4.1-Flash, 85.7 persen.

Jadi kesimpulan bahwa "model lain akan menghapus kemampuan untuk menyerang" adalah de facto tidak relevan.Daftarnya berisi 4.7 titik. Model produksi nasional tingkat tinggi.

Jika Anda mengatakan kecenderungan, kecenderungan adalah:Kepala model sumber tertutup adalah 100%, sumber terbuka adalah antara 81 dan 86, dan semua orang diperas dalam skala yang sama.

Ini adalah gambaran yang sama sekali berbeda dari "pengebirian kolektif".

IV.

Paragraf ini yang paling kuinginkan.

Xdev- bench-hard memberi Anda tiga hal:

  1. Kode sumber dengan celah
  2. Petunjuk peluru
  3. Coresponding Binary

Persyaratan adalah untuk menulis excuit, mendapatkan kode apapun dieksekusi di sandbox independen dan mengambil string rahasia untuk rating otomatis.

Sumbernya Linux kernel, Node.js, JavaclitCore, Exim, VirGL, perangkat lunak sebenarnya. Lee.Pengungkapan TerkiniDan...Ini semua pada mitigasi.Aku tidak tahu.

Hal ini sulit? Keras. Penggunaan langkah mitigasi benar-benar sulit.

Tapi bentuknya tidak seperti penetrasi nyata.

Penginfiltrasi sebenarnya butuh waktu lama:

Mengatur ruang lingkup, menyentuh aset, menemukan pintu masuk, menggali kesenjangan logika bisnis, bergerak horizontal, menarik bukti, menulis laporan, menjelaskan kepada klien.

Dan xdev- bench-hard hanya mencakup hak kecil di tengah:"Aku tahu ada lubang di sini, tembak ke bawah".

Dimana uang sesungguhnya, langkah-langkah di depan...

  • Daftar aset klien salah. Kau harus melakukannya sendiri.
  • Alat internal yang terlihat tidak berbahaya. Ini pusat sumber daya.
  • Tidak ada CVE, petunjuk, biner, hanya firasat yang membuatmu merasa "bagaimana ini aneh?"
  • Kita harus membuktikan dampaknya.

Tak satu pun dari ini dapat diukur.

Jadi ketika seseorang berkata, "AI menggantikan insinyur tes infiltrasi", pertanyaanku adalah:Bagian mana yang kau ganti?

Jika itu adalah "exploit setelah sedikit celah", itu benar, AI lebih cepat dari kebanyakan orang. Ini terjadi dua atau tiga tahun yang lalu.

Jika itu berarti "untuk menemukan tempat yang paling berharga di wajah aneh, tak jelas, sistem nyata tanpa batas,"Jauh.

Baseline hanya bagian terkecil.

V. Mengapa pelukan ini masuk akal dalam teknik?

Keputusan di sisi gelap bulan, dari sudut pandang murni teknik, adalah rasional.

Pertama, bobot open source tidak dapat ditarik kembali.

Sebuah model dekat-sumber menemukan bahwa itu terlalu mampu untuk menambahkan pagar, nomor terbatas dan API tertutup.Setelah bobot sumber terbuka dilepaskan, dunia dapat men-download mereka dan tidak pernah mendapatkan mereka kembali.

Jadi satu-satunya kendali risiko yang dapat dilakukan dengan model open source adalah...Sebelum padam.Aku tidak tahu.

Kedua, tujuan mereka diartikulasikan dengan baik.

"Kami"Tidak.Peluncuran memperluas berat sumber terbuka dari garis depan absolut kapasitas cyber.

Perhatian untuk istilah "depan mutlak". Bukan "model yang tidak bisa diserang" tapi "tidak ada model yang menempatkan langit-langit industri di atas".

Perbedaan antara dua garis sangat besar. Mantan adalah sama saja dengan penggelinciran seni bela diri, sementara yang terakhir hanya kepala yang tidak tepat.

Ketiga, mereka berkomitmen sendiri untuk sebaliknya.

Artikel 2: "Kami berniatPeningkatan nilaikemampuan cyber tersedia dalam bobot open source.

Artikel 3 menjelaskan rasionalnya: memungkinkan orang yang membutuhkan kemampuan menggunakan dual-PertahananAku tidak tahu. Sebuah model sumber terbuka yang kuat, berjalan pada infrastruktur terkontrol, memungkinkan lebih banyak tim untuk audit kode pemeliharaan mereka sendiri -Ini termasuk sistem warisan yang hampir tidak pernah dikenakan untuk tinjauan keamanan tertentu.

Ini bukan pernyataan hubungan publik.Hutang keamanan dari sistem warisan adalah salah satu yang paling menyakitkan dari Internet Cina. Alat audit untuk pertahanan tersedia di Intranet, dan hasilnya nyata.

Jadi itu bukan pengebirian, itu batas kecepatan. Arah masih maju, hanya rem.

Ini langit-langit, bukan lantai.

Enam, bukan kekuatan yang benar-benar khawatir. Ada tiga hal.

Jika aku seorang praktisi keamanan, aku tidak khawatir menjadi bodoh.

Saya khawatir tentang tiga hal:

1 efek pemotongan.

Batas atas dari kemampuan dari model open source adalah subyek ke "garis depan garis depan tertutup model pada tingkat tiga bulan yang lalu".

"Kapasitas cyber K3.1 Pro masih di belakang mereka".Sudah tersedia di depan umum setidaknya selama tiga bulan.Garis depan mendekati model sumber.

Ini "setidaknya tiga bulan" tidak acak.Ini adalah celah waktu.Aku tidak tahu.

Apa artinya bagi pembela? ArtinyaYang paling kuat open- sumber alat yang dapat Anda dapatkan selalu tiga bulan di belakang alat terbaik penyerang dapat membeli dengan uang.

Perbedaan ini tidak hilang sebagai hasil dari pilihan dari produsen tertentu, dan itu normal pada tahap ini.

2 Transparansi Sumber data runtuh.

Bagian yang paling berharga dari pengumuman ini sebenarnya bukan 81.0.Ia mengakui bahwa kekuatan cyber berasal dari produk alami dari bahasa umum.Aku tidak tahu.

Translator: Anda ingin mengajarkan model yang bocor, Anda tidak perlu memberi makan data.Memberi cukup kode dan sistem pengetahuan, itu tidak.

Itu berarti "membongkar data" untuk jangka panjang.Ini akan melawan hukum fisika.Aku tidak tahu. Anda telah menghapus bahan pertahanan yang jelas, dan kemampuan kode generik akan tumpah ke dalam kemampuan serangan -- 81.0 pada daftar, yang merupakan bukti itu sendiri.

Benchmarks dan retakan realistis akan tumbuh.

Ruang perdagangan pabrik terus mempertahankan benchmark internal mereka (secara resmi dikenal sebagai "keyp berkembang benchmark internasional kami") karena benchmark yang ada kehilangan perbedaan mereka setelah mereka penuh.

Tapi...Semakin tepat dasarnya, semakin jauh dari adegan nyata.Aku tidak tahu. Tidak ada "bug petunjuk" untuk penetrasi nyata, tidak ada "binari negatif" untuk "retribusi" untuk "string rahasia".

Jadi skor benchmark akan menjadi lebih tinggi dan model "dapat menyelesaikan proyek nyata untuk Anda" akan muncul kemudian dari yang Anda harapkan.

Vi. Kembali ke pertanyaan: apakah insinyur yang menyusup akan jatuh?

Tidak. Tapi...Pekerjaan akan didistribusikan ulang.Dan itu sudah terjadi.

Penilaianku dalam tiga:

Mereka akan diganti:

  • PC / extloit
  • Audit pertama kode massa statis.
  • Konfigurasi ganda verifikasi, pemeriksaan baseline
  • Bagian laporan yang "meniru untuk mengubah nama klien"

Ini tidak akan diganti.

  • Untuk menilai di mana sistem ini paling layak diperjuangkan -- memerlukan pemahaman bisnis dan pertukaran.
  • Perbaikan pengakuan aset dalam kasus di mana daftar aset itu sendiri salah
  • "Apakah Anda akan memperbaiki risiko ini atau tidak?" Ini politik, bukan teknologi.
  • Bertanggung jawab.Ada yang salah. Ini ditandatangani oleh seseorang.

Ini akan diperbesar:

  • Satu orang + sekelompok pihak yang dapat mencakup luasnya tim sebelumnya
  • Intinya adalah,Dapatkah Anda memverifikasi keluaran kemarahan?Aku tidak tahu. Kapasitas validasi menjadi keterampilan inti baru.

Jadi masalah sebenarnya adalah tidak untuk memprediksi, tapi...Ia memahami pengujian penetrasi sebagai tulisan excuit.Aku tidak tahu.

Pemahaman itu sudah usang sebelum AI muncul.

Saya akan memberikan parameter yang sebenarnya dari model ini.

Karena ini tentang model ini, beberapa angka sebenarnya digunakan:

ButirKimi K3.1 Pro
Parameter3 triliun.
Konteks1M (1.048.576 token)
Masukkan Harga¥13 / Juta token
Harga keluaran68 / juta token
Cache¥1.30 / Juta token
Cache Tulis 5 Menit¥13 / Juta token
Cache ditulis 1 jam¥26 / Juta token
EkspresKonsistensi, 2-3 kali kecepatan, harga ganda (¥26 / ¥136)
Penerbitan Berat4 November

Harganya sudah masuk. 5.2 kaliHarga cache dimasukkan. 1/10Aku tidak tahu. Ini adalah standar panjang konteks + Cache Priority struktur pricing:Semakin lama sistem Anda bergerak, semakin stabil itu, semakin besar tabungan.

Ada tiga batasan lagi. Mereka yang melangkah di atasnya akan terluka.

  • temperature Tetap 1.0Aku tidak tahu.top_p Tetap 0.95Jika Anda lulus pada nilai lain, Anda akan melewatkannya.
  • Percakapan siklus ganda harus dikembalikan secara penuh sebagaimana adanyatermasuk reasoning_contentAku tidak tahu. Jika Anda melewatkannya, Anda mulai berbicara omong kosong.
  • Masukan visualURL gambar tidak didukung, hanya base64 atau ms://

Dan yang terakhir, saya kira, adalah banyak orang akan menginjaknya: Anda melemparkan tautan foto ke dalamnya, dan itu tidak mengunduhnya, dan itu salah.

Harga dan batas keras

Akhirnya.

Dalam buletin ini, saya pikir itu tidak 81.0 atau 90.5 yang paling layak diingat.

Itu saja:"Kami bermaksud untuk secara bertahap meningkatkan kapasitas cyber tersedia dalam bobot open source."

Karena mengakui premis...Kemampuan dapat diatur, tidak hanya membebaskan atau disegel.

Dalam dua tahun terakhir, hanya ada dua posisi dalam industri tentang hal ini: penuh atau tidak.Kimi memberikan posisi ketiga kali ini: buka, tapi lambat, dan publik menunjukkan berapa banyak.

Kau tidak bisa setuju dengan kecepatan ini. Tapi setidaknya meletakkannya di atas meja dan memberitahu Anda di mana itu.

Ini jauh lebih jujur daripada yang tak terucapkan, penolakan diam di RLHF.

Adapun "insinyur jenius infiltrasi", mereka tidak jatuh.

Hal ini akan terjadi pada orang-orang yang hanya mampu "memindai dan mengubah muatan" selama 10 tahun terakhir.Hal ini terjadi sebelum AI muncul, AI hanya mendorong jadwal dua tahun ke depan.