← Bumalik sa listahan

Ang Kimi K3.1 ay walang kakayahang alisin ang pag-atake.

itadol5j

Una, ang konklusyon ay:Sa pagkakataong ito ay walang "de-internasyunal na kakayahan" at walang palatandaan ng isang "genius inclusion test engineer down."

Ang madilim na panig ng buwan, ang mga salita ay:Natuklasan nila na ang mga datos ng pagsasanay ay kinabibilangan ng ilang mga katangian ng seguridad, at pagkatapos ay pinili at inalis sa dalawang yugto: Mid-training at RL.

Pagkatapos niyan, ang kanila mismong panloob na cleankmark ay bumaba mula 96.5 porsiyento tungo sa 81.0 porsiyento.

Bumababa ng 9.5 puntos. Relatibong pagbaba 10.5 porsiyento.

At?81.0 porsiyento pa rin ang 2.4 na ulit na mas mataas kaysa 33.3 porsiyento ng kanilang hinalinhan na si K3.

Kaya ang katagang "pagbabawas sa kakayahang sumalakay" ay isang lohikal na antas na may "ang tao ay nagiging tanga sapagkat siya ay bumaba ng 95 hanggang 90."

xdev-bench-hard

Una, tingnan natin kung ano ang inalis.

Karamihan sa mga pagbigkas sa Internet ay humihinto sa pariralang "Kimi ay nag-aalis ng kakayahang sumalakay." Ang opisyal na teksto ay talagang napakaespesipiko, at kukunin ko ito:

Una, kanilang natutuklasan kung saan nanggagaling ang kapangyarihan.

Habang lumalawak ang pagsasanay, patuloy na lumalaki ang kakayahang magsaliksik. Retroaktibong mapagkukunan ng impormasyonAng nilalamang cyber ay nakapaloob sa generic mid-training na wika, at ang cyber task ay nasa kapaligiran din ng RL. Ang pamahalaan ay gumagamit ng isang napakaprangkang parirala: "Ito ay isang natural na by-product ng pagsasanay sa isang malawak na hanay ng datos."

Ikalawa, gumawa sila ng paghahambing na eksperimento.

Pagpapakahulugan sa panloob na mga modelo: Kung ang mid-training at RL phases ay hindi inalis, ang streaming cyber kapasidad ay malaki ang itinaas.

Ikatlo, ginawa nila ito sa publiko.

Para sa open-weather request ng K3.1 Pro, kami ay sumang-ayon at inilipat ang cyber-related data mula sa parehong pangyayari ng pagsasanay, habang ang natitirang pangkalahatang-propose coding na mga kasangkapan na kailangan para sa modelong paggamit.

Pansinin ang huling pangungusap, "Ang mga gawaing pantelebisyon na kailangan para sa kapakinabangan ng mga modelo ay pinananatili".

Ang pangungusap na ito ang pinakamapanganib sa teksto.Inalis nila ang "data na espesipikong nakaturo sa pag-atake", hindi ang "lahat ng kaalaman tungkol sa kodigo, mga sistema, mga butas." Inaalis ng huli ang modelo sapagkat ang loophole mismo ay isang depekto sa kodigo.

Kaya ang eksaktong sagot ay:Hindi ito tungkol sa pag-aalis ng kakayahang sumalakay, ito ay tungkol sa pag-aalis ng pagkiling sa pagsasanay ng "redirection to attack".

Hanggang saan ang dalawang bagay na iyon? Tingnan ang susunod na seksiyon.

Dalawa, 96. Isa itong bilang na hindi kailanman nailathala.

Ang detalyeng ito ay halos wala.

Xdev-bench-hard, 96.5%, ayHuwag gawin ang parehong cyber training tube para sa data exting Line"Aalis ako sa checkpoint.

Ang checkpoint na ito ay hindi pa kailanman nailathala. Ito'y hindi isang produkto ng salinlahi, hindi isang pangmadlang bersiyon, kundi isang guniguning produkto na umiiral lamang sa panloob na mga eksperimento sa pagkontrol.

Sa ibang salita, ang diwa ng paghahambing na ito ay:

"Nagawa sana namin ang 96.5, ngunit pinili naming ilathala ang 81.0."

Ito ay minsan.Pangmadlang pagpapahayag ng self-restraintNi minsan ay hindi.Report ng mga aksidente ng pagkasira ng kakayahanHindi ko alam.

Ang pagsasama ng dalawang bagay na ito ang pinakamalaking pagpilipit sa siklo.

Buong panginoon:

Huwaranxdev-bench-hard (paspass @3)
GPT-5.6 Sol100%
Kimi (checkpoint nang walang pag - aalis ng cyber data)90.5%
Deep search-V4.1-Flash85.7%
Kimi K3.1 Pro (aktuwal na paglabas)81.0%
GM-5.357.1%
Kimi K3 (dating henerasyon)33.3%

May tatlong salungat na mga katotohanan sa mesang ito, sabi ko.

xdev-bench-hard buong talaan

Tatlo o tatlong napabayaang mga katotohanan, bawat isa'y nagpapawalang - bisa sa popular.

Ang totoo: Ang inalis, 96.5, ay hindi mo kailanman nai - download.

Kaya hindi ka "nawala" kahit ano. Alam mo, "Mas marami sana silang nagawa, ngunit hindi nila pinili."

Ito ay isang kapahayagan ng katiwasayan, hindi isang kawalan ng kakayahan.

Katotohanan 2: Pagkatapos alisin ito, ito ay 2.4 beses na mas malakas kaysa nakaraang henerasyon.

81.0 Oo, 33.3. Ang bilang na iyan ay nasa pamagat, at ang salaysay ng buong bagay ay siyang kabaligtaran --

Hindi ito ang Kimi ay humihina, ito ay ang Kimi lumalakas, ngunit hindi hanggang sa punto kung saan maaari.

Katotohanan III: Mayroon nang isang bukas na source model na mas mataas kaysa riyan.

Deep search-V4.1-Flash, 85.7 porsiyento.

Kaya ang pagpapahiwatig na "aalisin ng ibang modelo ang kakayahang sumalakay" ay de facto walang kaugnayan.Naglalaman ang talaan ng isang 4.7-point-high na pambansang modelo ng produksiyon.

Kung sasabihin mong mga kausuhan, ang kausuhan ay:Ang head closed source model ay 100%, ang open source ay nasa pagitan ng 81 at 86, at ang lahat ay pinipiga sa parehong sukatan.

Ibang - iba ito sa "collective castration".

IV. ANG BASE AY (at hindi nito kayang sukatin ang anuman)

Ang parapong ito ang gustung - gusto ko.

Tatlong bagay ang ibinibigay sa iyo ng Xdev-bench-hard:

  1. Pinagmulan ng code na may butas
  2. Ipinahihiwatig ng isang bala
  3. Katumbas na Binaryo

Ang kahilingan ay sumulat ng isang expluit, kunin ang anumang kodigo na isinulat sa independiyenteng kahon ng buhangin at kunin ang isang sekretong pisi para sa awtomatikong rating.

Ang pinagkunan ay Linux kernel, Node.js, JavaScriptCore, Exim, VirGL, ang tunay na software. Lee.Mga Pagsisiwalat KamakailanAt...Nasa motigasyon ito.Hindi ko alam.

Mahirap ba itong gawin? Mahirap. Talagang mahirap ang paggamit ng mga hakbang para sa motigasyon.

Subalit ang hugis nito ay hindi katulad ng tunay na butas.

Matagal ang tunay na pagpasok:

Ilagay ang saklaw, hawakan ang mga ari - arian, hanapin ang mga pasukan, hukayin ang mga puwang sa lohika sa negosyo, kumilos nang pahalang, gumuhit ng katibayan, sumulat ng mga ulat, ipaliwanag sa kliyente.

At ang xdev-bench-hard ay sumasaklaw lamang ng isang maliit sa kanan sa gitna:"Alam kong may butas dito, barilin ito."

Kung saan ang tunay na salapi ay, ang mga hakbang ay nasa unahan...

  • Mali ang talaan ng mga asset ng kliyente. Kailangan mong gawin ito mismo.
  • Isang panloob na kagamitan na tila hindi nakapipinsala. Ito'y isang sentro ng kapangyarihan.
  • Walang CVE, walang pahiwatig, walang binaryo, isa lamang krayola na nagpapadama sa iyo ng "paano ito kakatwa?"
  • Kailangan nating patunayan ang epekto.

Wala sa mga ito ang masusukat.

Kaya nang sabihin ng isa, "Pinalitan ko ang inclusion test engineer," ang tanong ko ay:Aling bahagi ang pinalitan mo?

Kung ito ay ang "paggamit pagkatapos ng isang pahiwatig ng isang loophole," totoo ito, ang AI ay mas mabilis kaysa sa karamihan ng mga tao. Nangyari ito dalawa o tatlong taon na ang nakalilipas.

Kung ito ay nangangahulugang "makasumpong ng pinaka kapaki-pakinabang na lugar sa harap ng isang kakaiba, may-frefined, walang hangganan tunay na sistema,"Malayo.

Ang baseline lamang ang pinakamakitid na bahagi.

V. Bakit makatuwiran sa inhinyeriya ang self-embracing na ito?

Ang pasiya sa madilim na panig ng buwan, mula sa punto de vista ng inhinyeriya lamang, ay makatuwiran.

Una, ang bukas na pinagmumulan ng timbang ay hindi nagbabago.

Natuklasan ng isang closed-source model na ito ay masyadong kayang magdagdag ng bakod, limitadong bilang at isang nakasarang API.Kapag nailabas na ang bukás na mga source weight, mada - download ito ng daigdig at hindi na kailanman maibabalik.

Kaya ang tanging pagkontrol sa panganib na maaaring gawin sa mga modelo ng bukas na pinagmulan ay...Bago lumabas.Hindi ko alam.

Ikalawa, ang kanilang mga layunin ay mahusay ang pagkakalahad.

"Kami"Hindi, hindi ako.Pinalalawak ng paglulunsad ang bukas na source weight ng absolutong front line ng cyber kapasidad.

Atensiyon sa katagang "absolute front". Hindi "walang mga mapang-atakeng modelo" kundi "walang modelo na naglalagay sa industriya na kisame ang itaas."

Napakalaki ng pagkakaiba ng dalawang linya. Ang nauna ay katumbas ng deeliksiyon ng martial arts, samantalang ang huli ay isa lamang di - wastong ulo.

Ikatlo, kabaligtaran ang kanilang ginawa.

Artikulo 2: "Nilayon namingNagtapos na pagsulongAng mga kakayahan ng cyber na makukuha sa open source weights.

Ipinaliliwanag ng Artikulo 3 ang katwiran: upang matulungan ang mga taong nangangailangan ng kakayahang dual-use na gamitinPagtatanggolHindi ko alam. Isang malakas na modelo open source, tumatakbo sa isang user-kontroled imprastraktura, na nagpapahintulot sa mas maraming mga koponan na mag-udit ng kanilang sariling mga conservation codes -Kabilang dito ang mga sistema ng pamana na halos hindi kailanman sumailalim sa isang espesipikong pagsusuri sa seguridad.

Hindi ito pagpapahayag ng ugnayang pampubliko.Ang seguridad na utang ng sistema ng pamana ay isa sa pinakatunay na kirot sa Internet ng Tsina. Ang isang self-run audit na kasangkapan para sa depensa ay makukuha sa Intranet, at ang mga nalikom ay tunay.

Kaya hindi ito pagkapón, ito'y hangganan sa bilis. Ang direksiyon ay pasulong pa, isa lamang preno.

Ito ang kisame, hindi ang sahig.

Anim, hindi ang kapangyarihan ang talagang nakababahala. Tatlong bagay ito.

Kung ako'y isang manggagamot sa kaligtasan, hindi ako nag - aalala tungkol sa pagiging tanga.

Ako'y nag - aalala tungkol sa tatlong bagay:

1 Ang masakit na epekto.

Ang itaas na limitasyon ng kakayahan ng isang bukas na source model ay sakop ng isang "kasalukuyang front-line saradong source model sa antas tatlong buwan ang nakalilipas" .

"K3.1 Ang kapasidad ng cyber ni Pro ay nasa likod pa rin ng mga iyon."Ito ay makukuha sa publiko sa loob ng hindi bababa sa tatlong buwan.Ang front-line close-source model.

Itong "hindi bababa sa tatlong buwan" ay hindi ala-ala.Isa itong time gap.Hindi ko alam.

Ano ang ibig sabihin ng depensa? KahuluganAng pinakamalakas na open-source tool na makukuha mo ay palaging tatlong buwan sa likod ng pinakamahusay na mga kasangkapan na mabibili ng mga sumasalakay gamit ang pera.

Ang agwat na ito ay hindi naglalaho bunga ng pagpili ng isang partikular na tagagawa, at normal ito sa yugtong ito.

2 Bumagsak ang transparency of data sources.

Ang pinakamahalagang bahagi ng patalastas na ito ay sa katunayan hindi ang 81.0.Inaamin nito na ang kapangyarihan ng cyber ay nagmumula sa likas na by-product ng karaniwang wika.Hindi ko alam.

Tagapagsalin: Nais mong ituro ang isang modelo na tumatagas, hindi mo na kailangang magpasok ng impormasyon.Ang pagkain ng sapat na kodigo at kaalaman sa sistema, gayon nga.

Iyan ay nangangahulugang "nagpapahiwatig na datos" sa loob ng mahabang panahon.Ito ay labag sa mga batas ng pisika.Hindi ko alam. Inalis mo na ang maliwanag na pananggalang na materyal, at ang kakayahan ng kodigong generic ay dadala sa kakayahang sumalakay - 81.0 sa talaan, na katibayan sa ganang sarili.

Lalago ang mga palatandaan at makatotohanang mga bitak.

Ang mga silid ng komersiyo ng pabrika ay patuloy na nagpapanatili ng kanilang panloob na mga benkmark (opisyal na kilala bilang “keyp evolving ating internasyonal na benkmarksić) sapagkat ang umiiral na mga benkmark ay nawawalan ng kanilang pagkakakilanlan minsang ang mga ito ay ganap na mapuno.

Ngunit...Mientras mas eksakto ang saligan, mas malayo sa tunay na tanawin.Hindi ko alam. Walang "bugong pahiwatig" para sa tunay na injury, walang "negative binary" para sa "retribution" para sa "lihim na strando".

Kaya ang mga iskor ng benkmark ay magiging mas mataas at ang modelo ay "maaaring tapusin ang isang tunay na proyekto para sa iyo" ay lilitaw sa huli kaysa sa inaasahan mo.

vii. Balikan ang tanong: Mahuhulog kaya ang mga inhinyero sa pagsusulit?

Nope. Ngunit...Ang trabaho ay papulahin.At nangyayari na ito.

Ang aking hatol ay nasa tatlo:

Sila'y papalitan:

  • PC / extloit
  • Mass code static audit muna.
  • Duplicate configuration verification, baseline inspeksiyon
  • Ang mga bahaging iyon ng ulat na "nagreresulta na baguhin ang pangalan ng kliyente".

Hindi ito papalitan:

  • Upang humatol kung saan ang sistemang ito ay pinaka-dapat na labanan para -- ito ay nangangailangan ng pang-unawa sa negosyo at trade-offs.
  • Muling-tatag ng asset pagkilala sa mga kaso kung saan ang listahan ng asset mismo ay mali
  • "Iaayos mo ba ang panganib na ito o hindi?" Ito'y pulitika, hindi teknolohiya.
  • Tanggapin ang pananagutan.May problema. Ito'y nilagdaan ng isa.

Ito ay itataas:

  • Isang tao + isang kumpol ng parti na maaaring sumaklaw sa lapad ng isang nakaraang koponan
  • Ang punto ay,Matiyak mo ba ang nagawa ng isang gent?Hindi ko alam. Ang kakayahan ng kapangyarihan ay nagiging bagong panimulang mga kasanayan.

Kaya ang talagang problema ay hindi ang paghula, kundi...Nauunawaan nito ang pagsubok sa pagpasok bilang sulat.Hindi ko alam.

Ang pagkaunawang iyan ay lipas na bago pa lumitaw ang AI.

Walo: Ibibigay ko sa iyo ang tunay na mga parameter ng modelong ito.

Yamang tungkol ito sa modelong ito, ang ilang numero ay aktuwal na ginagamit:

BagayKimi K3.1 Pro
Mga Parameter3 trilyon.
Pagtatalik1M (1,048,576 na token)
Ipasok ang Halaga¥13/ Milyong token
Alisin ang presyo68/milyong patlang
Sakit¥ 1.30 / Milyong token
Cach Sumulat ng 5 Minuto¥13/ Milyong token
Sumulat ng 1 oras ang cache¥26 / Milyong token
TransportasyonConsistance, 2-3 beses na bilis, dobleng presyo (¥26/¥136)
Pagpapahayag ng Timbang4 Nobyembre

Ang presyo ay ipinapasok. 5.2 besesAng presyo ng cache ay ipinapasok. 1/10Hindi ko alam. Ito ang pamantayang mahabang konteksto + Kache Priority pricing structure:Mientras mas matagal kumilos ang iyong sistema, mas matatag ito, mas malaki ang natitipid.

May tatlo pang mahirap na limitasyon. Ang mga sumusunod dito ay masasaktan.

  • temperature Nakatakda 1.0Hindi ko alam.top_p Nakatakda 0.95Kung ipapasa mo ang isa pang halaga, hindi mo ito makikita.
  • Ang Multi-siklo na mga usapan ay dapat na ibalik nang buo na gaya ng mga itokasama reasoning_contentHindi ko alam. Kung hindi mo ito mapansin, wala kang kuwentang magsalita.
  • Nakikitang inputHindi suportado ang mga symbolic link, base64 lamang o ms://

At ang kahuli - hulihan, sa palagay ko, ay na maraming tao ang gagawa nito: inihahagis mo rito ang isang kawing ng larawan, at hindi ito ini - download, at ito'y basta nagkamali.

Mga presyo at mahihigpit na limitasyon

Sa wakas.

Sa bulletin na ito, sa palagay ko'y hindi 81.0 o 96.5 ang pinakamahalagang tandaan.

Iyon ay:"Nilayon naming unti-unting dagdagan ang kapasidad ng cyber na makukuha sa mga bukas na source weights."

Sapagkat inaamin nito ang isang saligan...Ang mga kakayahan ay maaaring pangasiwaan, hindi lamang basta ginagawang liberal o tinatakan.

Sa nakaraang dalawang taon, nagkaroon lamang ng dalawang posisyon sa industriya hinggil sa bagay na ito: ganap o hindi.Nagbigay si Kimi ng ikatlong posisyon sa pagkakataong ito: bukas, ngunit mabagal, at hayagang ipinahiwatig kung gaano karami.

Hindi ka maaaring sumang - ayon sa bilis na ito. Subalit sa paano man ay inilagay ito sa mesa at sinabi sa iyo kung nasaan ito.

Mas tapat ito kaysa mga walang kibong pagtanggi sa RLHF.

Tungkol naman sa "genius inclusion test engineers," hindi sila bumabagsak.

Ito'y mangyayari sa mga tao na nagawa lamang "papasok sa scanner at pagpapalit ng payload" sa nakalipas na 10 taon.Nangyari ito bago pa lumitaw ang AI, itinulak na lamang ni AI ang iskedyul dalawang taon na mas maaga.