← Tilbage til listen

Kimi K3.1 kan ikke fjerne angrebet.

itadol5j

For det første er konklusionen, at:Denne gang var der ingen "de- angreb kapacitet" og der var ingen tegn på en "genial infiltration test ingeniør går ned".

Månens mørke side, ordene er:De fandt, at træningsdataene indeholdt en række sikkerhedselementer, og så blev de udvalgt og slettet i to faser: Mid-training og RL.

Derefter faldt deres eget interne indtrængningsbenchmark fra 90,5% til 81,0%.

Faldt 9,5 point. Relativ nedgang 10,5%.

Og?81,0% er stadig 2,4 gange højere end 33,3% af deres forgænger K3.

Så udtrykket "fjerne evnen til at angribe" er et logisk niveau med "manden bliver dum, fordi han er nede 95 til 90".

xdev- benchmark- hard

Lad os først se, hvad der er blevet slettet.

De fleste recitationer på internettet stop på sætningen "Kimi fjerner evnen til at angribe". Den officielle tekst er faktisk meget specifik, og jeg vil tage det ned:

Først finder de ud af, hvor strømmen kommer fra.

Efterhånden som uddannelsens omfang er vokset, er kapaciteten til at undersøge smuthuller steget støt. Opdagelse af retroaktive kilder -Cyber-indholdet er indlejret i det generiske mellemtræningssprog, og cyber-opgaven er også i RL-miljøet. Regeringen bruger en meget ærlig sætning: "Dette er et naturligt biprodukt af uddannelse i en bred vifte af data".

Trin to, de gjorde en sammenligning eksperiment.

Validering af interne modeller: Hvis mellemtrænings- og RL-faserne ikke fjernes, øges cyberkapaciteten i downstream betydeligt.

Trin tre, de gjorde det i open source.

For open-weather anmodning fra K3.1 Pro, aftalte og flyttede vi cyberrelaterede data fra begge træningsbegivenheder, mens de resterende generelle-foreslå kodning værktøjer, der er nødvendige for modelbrug.

Bemærk sidste sætning: "De generiske programmeringsopgaver, der er nødvendige for modellernes anvendelighed, bevares".

Denne sætning er den mest kritiske i teksten.De slettede "data specifikt peger på angrebet", ikke "al viden om kode, systemer, smuthuller". Sidstnævnte eliminerer modellen, fordi smuthullet i sig selv er en kodefejl.

Så det nøjagtige svar er:Det handler ikke om at fjerne evnen til at angribe, det handler om at fjerne træningen bias af "retning til at angribe".

Hvor langt er de to ting? Se på næste sektion.

To, 90,5. Det er et nummer, der aldrig er offentliggjort.

Denne detalje mangler næsten.

Xdev- benchmark- hard, 90,5%, erGør ikke det samme cyber træningsrør til fjernelse af data Line"Jeg går ud af kontrolposten.

Dette checkpoint er aldrig blevet offentliggjort. Det er ikke et generationsprodukt, ikke en offentlig version, men et hypotetisk produkt, der kun findes i interne kontrolforsøg.

Med andre ord, essensen af denne sammenligning er:

"Vi kunne have gjort 90,5, men vi valgte at udgive 81.0".

Det er én gang.Offentlig selvbeherskelseIkke en eneste gang.Rapport om ulykker med kapacitetsforringelseDet ved jeg ikke.

At kombinere disse to ting er den største forvrængning af cyklussen.

Fuld master:

Modelxdev- benchmark- hard (pass @ 3)
GPT- 5.6 Sol100%
Kimi (checkpoint uden cyber data fjernelse)90.5%
DeepSeek- V4.1- Flash85.7%
Kimi K3.1 Pro (faktisk udgivelse)81.0%
GM- 5, 357.1%
Kimi K3 (tidligere generation)33.3%

Der er tre kontraintuitive fakta i dette bord, siger jeg.

xdev- benchmark- hard fuld liste

Tre eller tre forsømte fakta, hver vende en populær.

Den, der blev slettet, 90,5, har du aldrig downloadet.

Så du har ikke "tabt" noget. De kunne have gjort mere, men de valgte ikke at gøre det.

Dette er en sikkerhedserklæring, ikke et tab af kapacitet.

Faktum 2: Efter det blev slettet, var det 2,4 gange stærkere end den foregående generation.

81.0 Ja, 33.3. Det tal står i titlen, og fortællingen om det hele er præcis det modsatte.

Det er ikke Kimi der bliver svag, det er Kimi der bliver stærkere, men ikke så meget som han kan.

Faktum III: Der er allerede en open source model højere end det.

DeepSeek- V4.1- Flash, 85,7 procent.

Så den antydning, at "andre modeller vil fjerne evnen til at angribe" er de facto irrelevant.Listen indeholder en 4,7 point høj national produktionsmodel.

Hvis du siger tendenser, trends er:Hovedet lukket kildemodel er 100%, open source er mellem 81 og 86, og alle er presset i samme skala.

Dette er et helt andet billede end "kollektiv kastration".

IV. HVAD BASE er (og det kan ikke måle noget)

Dette punkt er det, jeg ønsker mest.

Xdev- benchmark- hårdt giver dig tre ting:

  1. Kildekode med smuthuller
  2. Et skudhint
  3. Tilsvarende binær

Kravet er at skrive en undersøgelse, få alle koder udført i den uafhængige sandkasse og hente en hemmelig streng til automatisk bedømmelse.

Kilden er Linux kernel, Node.js, JavaScriptCore, Exim, VirGL, den virkelige software. Lee.Nylige afsløringerOg...Det hele er afbødende.Det ved jeg ikke.

Er det svært? Hårdt. Brugen af afbødende foranstaltninger er virkelig hård.

Men dens form er ikke som rigtig penetration.

Den virkelige infiltration tog lang tid:

Sæt omfanget, røre ved aktiverne, finde indgangene, grave business logik huller, flytte vandret, trække på beviserne, skrive rapporter, forklare til kunden.

Og xdev- benchmark- hårdt dækker kun en lille ret i midten:"Jeg ved, der er et hul herinde, skyd det ned".

Hvor de rigtige penge er, de skridt forude...

  • Kundens liste over aktiver er forkert. Du må gøre det selv.
  • Et internt værktøj, der ser harmløst ud. Det er et kraftcenter.
  • Der er ingen CVE, ingen antydning, ingen binær, bare en fornemmelse, der får dig til at føle "hvordan er det underligt?"
  • Vi må bevise virkningen.

Ingen af disse kan måles.

Så når nogen siger, "AI erstattet infiltration test ingeniør", mit spørgsmål er:Hvilken del erstattede du?

Hvis det er "udnytte efter en antydning af et smuthul", det er sandt, AI er hurtigere end de fleste mennesker. Det skete for to-tre år siden.

Hvis det betyder "at finde det mest værdifulde sted i lyset af et mærkeligt, ill- defineret, grænseløst rigtigt system",Langt væk.

Basislinjen er kun den smalle del.

V. Hvorfor giver denne selvomfavnelse mening i teknik?

Beslutningen på månens mørke side er rent teknisk rationel.

For det første er open source-vægten uigenkaldelig.

En closed- source model fandt, at det var for i stand til at tilføje et hegn, et begrænset antal og en lukket API.Når open source vægte er frigivet, kan verden downloade dem og aldrig få dem tilbage.

Så den eneste risikostyring, der kan gøres med open source modeller er...Før det går ud.Det ved jeg ikke.

For det andet er deres mål velformulerede.

"Vi"Nej, jeg er ikke.Lanceringen udvider open source vægten af den absolutte frontlinje af cyber kapacitet.

Opmærksomhed på udtrykket "absolut front". Ikke "ingen angribelige modeller", men "ingen model, der sætter branchens loft øverst".

Forskellen mellem de to linjer er enorm. Det første er ensbetydende med en fornægtelse af kampsport, mens det andet simpelthen er et upassende hoved.

For det tredje forpligtede de sig til det modsatte.

Artikel 2: "Vi agter atGradvis stigningCyber kapaciteter tilgængelige i open source vægte.

Artikel 3 forklarer begrundelsen: at gøre det muligt for personer, der har behov for dual- use kapacitet til at brugeForsvarDet ved jeg ikke. En kraftfuld model open source, der kører på en brugerstyret infrastruktur, der giver flere hold til at revidere deres egne vedligeholdelseskoder -Disse omfatter nedarvede systemer, der næsten aldrig har været genstand for en specifik sikkerhedsundersøgelse.

Dette er ikke en public relations erklæring.Sikkerhedsgælden i det nedarvede system er en af de mest virkelige smerter ved det kinesiske internet. Der findes et selvdrevet revisionsværktøj til forsvaret på Intranet, og indtægterne er reelle.

Så det er ikke kastration, det er hastighedsgrænse. Retningen er stadig fremad, bare en bremse.

Det er loftet, ikke gulvet.

Seks, det er ikke kraften, der bekymrer sig. Det er tre ting.

Hvis jeg er sikkerhedslæge, er jeg ikke bange for at være dum.

Jeg er bekymret for tre ting:

1 Skæreeffekten.

Den øvre grænse for en open source-models kapacitet er underlagt en "nuværende frontlinje lukket kildemodel på et niveau af tre måneder siden".

"K3.1 Pro 's cyber kapacitet er stadig bag dem".Den har været offentligt tilgængelig i mindst tre måneder.Forside-line closed- source model.

Dette "mindst tre måneder" er ikke tilfældigt.Det er et tidshul.Det ved jeg ikke.

Hvad betyder det for forsvaret? BetydningDe mest kraftfulde opensource værktøjer, du kan få, er altid tre måneder bag de bedste værktøjer, angriberne kan købe med penge.

Denne kløft forsvinder ikke som følge af valget af en bestemt fabrikant, og den er normal på nuværende tidspunkt.

2 Gennemsigtighed af datakilder kollapsede.

Den mest værdifulde del af denne meddelelse er faktisk ikke 81.0.Det indrømmer, at cyber magt kommer fra det naturlige biprodukt af det fælles sprog.Det ved jeg ikke.

Translator: Du ønsker at undervise en model, der er utæt, behøver du ikke at fodre data.Fodring nok kode og system viden, det gør.

Det betyder "demontering af data" på lang sigt.Det går imod fysikkens love.Det ved jeg ikke. Du har slettet det åbenlyse defensive materiale, og den generiske kode kapacitet vil flyde over i angrebet kapacitet -- 81.0 på listen, som er beviser i sig selv.

Benchmarks og realistiske revner vil vokse.

Fabrikkens handelskamre fortsætter med at opretholde deres interne benchmarks (officielt kendt som "keyp udvikler vores internationale benchmarks"), fordi de eksisterende benchmarks mister deres sondring, når de er fuldt udfyldt.

Men...Jo mere præcis baseline, jo længere væk fra den virkelige scene.Det ved jeg ikke. Der er ingen "bug hint" for reel penetration, ingen "negativ binær" for "gengældelse" for "hemmelig streng".

Så benchmarkpointene bliver højere, og modellen "kan afslutte et reelt projekt for dig" vises senere, end du havde forventet.

vii. Tilbage til spørgsmålet: Vil infiltrationstestingeniører falde?

Nej. Men...Jobbet vil blive omfordelt.Og det sker allerede.

Min dom er i tre:

De vil blive erstattet:

  • PC / extloit
  • Massekodestatisk revision først.
  • Kontrol af dobbeltkonfiguration, basiskontrol
  • De dele af rapporten, der "kopierer for at ændre en klients navn"

Den vil ikke blive erstattet:

  • At dømme hvor dette system er mest værd at kæmpe for -- det kræver forretningsforståelse og afvejning.
  • Genetablering af indregning af aktiver i tilfælde, hvor aktivlisten selv er forkert
  • "Vil du løse denne risiko eller ej?" Det er politik, ikke teknologi.
  • Tag ansvar.Der er noget galt. Det er underskrevet af nogen.

Det vil blive forstørret:

  • En person + en flok fester, der kan dække bredden af et tidligere hold
  • Pointen er,Kan du bekræfte, hvor vred den er?Det ved jeg ikke. Valideringskapacitet bliver nye kernefærdigheder.

Så det virkelige problem er ikke at forudsige, men...Det forstår penetration test som skriftligt udforskning.Det ved jeg ikke.

Den forståelse var forældet, før AI dukkede op.

Otte: Jeg vil give dig de reelle parametre i denne model.

Da det handler om denne model, er et par numre faktisk bruges:

KontoKimi K3.1 Pro
ParametreTre billioner.
Sammenhæng1M (1,048,576 tokens)
Indtast pris¥13 / Million token
Udgangspris68 / mio token
Cache¥1.30 / Millioner token
Cache Skriv 5 minutter¥13 / Million token
Cache skrevet 1 time¥26 / Million token
EkspresSammenhæng, 2-3 gange hastighed, dobbelt pris (¥26 / ¥136)
Udgivelse af vægt4. november

Prisen er angivet. 5, 2 gangePrisen på cachen er angivet. 1/10Det ved jeg ikke. Dette er standard lang kontekst + Cache Prioriteret prisstruktur:Jo længere dit system bevæger sig, jo mere stabilt er det, jo større sparer du.

Der er tre hårde grænser mere. Dem, der træder på den, vil gøre ondt.

  • temperature Fast 1.0Det ved jeg ikke.top_p Fast 0.95Hvis du videregiver en anden værdi, vil du savne den.
  • Multicycle samtaler skal returneres fuldt ud som de erherunder reasoning_contentDet ved jeg ikke. Hvis du går glip af det, begynder du at sige vrøvl.
  • Visuel indgangBilled- URL ikke understøttet, kun base64 eller ms://

Og den sidste, tror jeg, er, at en masse mennesker ville træde på det: du kaster et foto link til det, og det ikke downloade det, og det bare går galt.

Priser og hårde grænser

Endelig.

I denne bulletin mener jeg ikke, at det er 81,0 eller 90,5, der er mest værd at huske.

Det er det:"Vi har til hensigt gradvist at øge kapaciteten af cyber tilgængelige i open source vægte".

Fordi det indrømmer en forudsætning...Kapacitet kan reguleres, ikke blot liberaliseret eller forseglet.

I de sidste to år har der kun været to holdninger i branchen i denne sag: fuld eller nej.Kimi gav en tredje holdning denne gang: åben, men langsom, og offentligt angivet, hvor meget.

Du kan ikke være enig med denne hastighed. Men den lagde den på bordet og fortalte dig, hvor den var.

Det er mere ærligt end de uudtalte, tavse afslag på RLHF.

De "geniale infiltrationstestingeniører" falder ikke.

Det vil ske for folk, der kun har været i stand til at "scanne scanneren og ændre nyttelasten" i de sidste 10 år.Dette skete før AI dukkede op, AI lige skubbet tidsplanen to år frem.