← Tillbaka till listan

Gemini 4 Carbon för att få Google tillbaka till nummer ett, och du behöver inte det idag.

itadol5j

Google har en ny modell. Pekingtid, 29 oktober, klockan 1 på morgonen, kom den officiella bloggen online med titeln "vår nästa frontermodell", de två första försäljningspunkterna i texten:State-of-the-art nätsäkerhetskapacitet, och lång horisont (lång kontinuerlig drift) kapacitet.

Ordet "första tillbaka i världen" är inte tomt. Fifty-nine, nummer ett.Jag vet inte. Nummer två Claude Opus 5.5 Ja 58 och nummer tre är det, 57.

Så detta kommer inte att vara backlash. Det är verkligen nummer ett. Problemet är...Hur tjock är detta "första" och kan du röra det?

Två bitar sattes fram:Vinner andra plats 1; den första utvärderingen i den konsoliderade listan har bara fyra ord - ingen offentlig API.Allt som återstod var fotnoter till båda meningarna.

Gemini 4 Carbon AA Intelligence Index v. 5.0

Jag säger den där.

Listan är Artificial Analysis Intelligence Index, som just har uppdaterats till v. 5.0 och som sammanför nio bedömningar: AA-Briefcase, Automation Bench-AAA, Terminal-Bench 4.0, FrontierCode 2.0, AA-Omniscience, GDP.pdf, HLE-Diamond, CritPt v2 (subset of svårigheter), Terminal-Bench-Science.

Femtioåtta, femtiosju. Att se denna sekvens, fira inte.Den andra och tredje är de två reflektionsstegen i samma modell.Opus 5.5 tar 58 i Max, 57 i Xheigh.

Denna mening översätts:Googles bly denna gång är mindre än klyftan mellan den andra sidans tänkande djup.

Med andra ord är det inte "generiskt" utan "divers på samma nivå". Den verkliga innebörden är närmare: de tre är nu fast i samma fraktionella band, och som får mer träning, mer matematik, en dag ändrar order. Detta har hänt mer än en gång i månaden.

Det finns ytterligare en detalj som många hoppar över:Den här listan är "just updated to V5.0".Utvärderingen ersattes av en version och historiska poäng kan inte jämföras direkt. Ordet "återgång" är inte tekniskt giltigt:Det är inte möjligt att jämföra vem som är den första i föregående upplaga och hur mycket mindre.Den första efter förändringen är den första på den nya härskaren.

59 Skillnader med 58 faller i konfigurationen av samma modell Lee.

ii. Ordet "publicering" måste följas av citattecken.

Titeln på Ars Technica är helt enkelt:"Det är den sista fronter Ai-modellen som du inte kan använda"Den senaste framåtmodellen, du kan inte använda den.

Det är inte titelpartiet. Artificiell analyss modellsida, Gemini 4 Carbons status är:"Ingen offentlig förmåga API"Jag vet inte. Ingen av de angivna institutionerna hade tillgång till öppna gränssnitt och kunde endast mätas på det sätt som tillverkaren tillhandahåller.

Google själv säger "avsiktligt tillvägagångssätt för utbyggnad" - avsiktligt sakta ner:

TidVem kan använda den?Status
Börja denna vecka.En liten sats av cyberförsvarare.Öppet Öppet Öppet
EfterBetrodda partners genom Fairwind-programmetGradual release
UndeterminedUtvecklare, företag, konsument"Så snart som möjligt"

Tillkännagivandet gav pris, riktmärke, ranking.Endast inget datum.Det är inte ett utelämnande, det är en standard operation: lämnar en "snart" det finns varken ett löfte eller ett brott.

Google deltar också i förtestprocessen i USA:s regering. Detta är något att vara säker, men det betyder också en sak:Tiden som öppnas officiellt är inte helt upp till Google.

Publicering och tillgänglighet är två saker.

iii. Linjen med högsta nettovärde:

De tre externa riktmärkena, Googles mycket generösa, är båda procentenheter och kan hittas:

BenchmarkFör vad?Score
SEC-bänk ProLeta efter riktiga hål i riktig programvara.88.2%
ExpressGymKontrollera om kryphålet utnyttjas.54.8%
CWE-benchPatch från root71.0%

Det finns dock en fäst anmärkning före samma punkt, vilket är mycket blygsamt:Jag är ledsen men jag är ledsen.Bedömd utan staketet.

Varför är det viktigt? Eftersom det är ett erkännande av:Dessa tre siffror, som inte är de möjligheter som du faktiskt kan använda, är de teoretiska tak som har tagits bort från säkerhetsrestriktionerna.Så snart staketen sätts tillbaka i den verkliga produkten kommer poängen att komma ner.

Mer än så, 54,8 procent av mitten.Stängslet avlägsnades och det visade sig bara att mer än hälften av hålen faktiskt utnyttjades.Vad är statusen för de återstående 45%? Hittades, rapporterade, men kunde inte bevisa konsekvenserna - i hanteringen av kryphål, skulle värdet av sådana upptäckter vara mycket mindre.

Jag tror inte att det är en svart fläck. ExpluitGym är ett hårt riktmärke, varav 54,8 procent redan är bäst. Men läs det som "AI har kunnat bryta de flesta system automatiskt" och det äter dessa fem ord.

Tre externa referensvärden. Alla sprang de av staketet.

Iv. Det enda stället där Google är villig att förlora

Hela bulletin handlar om första, ledande, state-of-the-art. Endast en linje är undantaget:

WebDev Arena poäng 4,1768, upp 89 elo.

I den här raden stannade jag avsiktligt eftersom det var det enda numret i hela texten som inte var den första men den enda som skrevs. 89 elo kampanj är inte liten på arenan, men Google inte inslag som "topp" eftersom det inte kunde packas, så det var tydligt på listan att den vita linjen var 4.

Denna detalj ger mig lite mer förtroende för dessa siffror:När ett företag är villigt att skriva nummer 4 i bulletin, vet läsaren kommer att undersöka det.

Fem, tre "bättre än en modell". N, inga namn.

Och här är den del där du ska kasta upp. Tre av de prestationsmultiplikatorer i bulletin är så länge detta:

  • I det interna referensvärdet är framgångsgraden för säkerhetskodgenerering Argon Mer än 2 gångerVilket internt referensvärde? Vägen är inte offentlig.
  • Chrome Team Report, högkvalitativ Patch GenerationDet är mer än 10 gånger storleken på ett annat labb.Vem är den andra?
  • "Wiz har observerat att det är före Web penetration test benchmark" - vilket riktmärke? Inga detaljer.

"Tio gånger bättre än en modell som inte kan sägas" är en klassisk del av att publicera litteratur. Det uppfyller tre villkor samtidigt:Det låter väldigt kraftfullt, kan inte skadas och kan inte ta ansvar för fel val av komparatorn.

Jag säger inte att dessa siffror består. Chrome-teamet och Wiz är riktiga partners, och denna interna validering försvinner vanligtvis. Men när det gäller en artikel,En blandning av de externa riktmärkena och oupptäckbara interna multiplarLäsarens uppmärksamhet tas bort av den senare - eftersom den senare låter starkare.Det är därför det är skrivet i.

Tre multiplar som inte kan granskas

Pris: 50% rabatt, giltig för sekretess

Denna del av Google är äntligen ren:

FöremålIntroduktionsprisEfter presentationsperioden
Input$2 / miljoner token$ 4/ miljoner token
Output$10/ miljoner token20 miljoner dollar token
Cache InputAnge priset för att spela 95% rabatt (ca $ 0,10)Baserat på ny baspris

De två ska ses separat. Den goda nyheten är:Den nya modellen är samma pris som Argon, ingen prisökning.Front-line modeller var inte dyra, och var inte vanliga under de två åren.

Den dåliga nyheten är:Standardpriset är dubbelt så högt som presentationspriset, och datumet för presentationen är inte i bulletin.Den årliga budgeten beräknas till $ 4/$20. Siffran, beräknad till $2/$10, kommer att returneras för att fungera tidigare eller senare.

En sak att komma ihåg:Cache ingång träffar 95% rabatt, eller 0,05 gånger ingångspriset.Denna rabatt är nu den värsta bland alla vanliga tillverkare. Om du har platsen för "samma superlånga sammanhang", är prisstrukturen verklig - om du kan använda den först.

Introduktion och standardpriser

Sju, den säkra delen, siffrorna är så vackra.

Google har en uppsättning indikatorer i bulletin, som jag kopierade som de är, eftersom de är vackra:

  • Triminal-Bench 4.0 har minskat framgångsgraden 0.0%Och fuskförsöket sjönk till 0,4%, medan noggrannheten ökade.
  • I den inre diskkodningsmiljön sjunker högriskvarning.Nära 80%Jag vet inte.
  • Ogrundade påståenden är mindre än Argon hälften.Jag vet inte.
  • Korsning (överdrift) 26%Under-service 29%Jag vet inte.
  • Gray Swans indirekta ledtråd injiceras i baslinjen. 0.0%(Argon är 0,7%).

0, 0, 80, 50 %, 50 % – dessa siffror tas tillsammans, vilket är en fråga att ställa:Varför är allt "ner" och "noll" och ingen är absolut?

Eftersom dessa är...Förbättring i förhållande till ArgonArgon skickades för två veckor sedan. Två veckor.Två veckor för att minska högriskvarningar med 80 procent, vilket innebär att den tidigare generationen var riktigt dålig, eller att den interna uppsättningen var mycket värre än väntat.Båda förklaringarna är inte särskilt bra.

Jag skulle vilja skriva hälften: Det säger tydligt att på det allmänna riktmärket Gray Swan betyder den noll framgången för attacken att "alla försök i denna version har misslyckats." - Ja, herr.Denna version av bedömningenJag vet inte. Offensiven är en pågående konfrontation, dagens noll procent är inte morgondagens noll procent.

Det finns en sak jag inte säger: en två veckors generation.

Gemini 4 Argon släpptes för två veckor sedan. Kol byggd på den.

Googles egna ord, "Illustrates the place at which we're pushing the front forward" - visar hur snabbt vi går framåt.Det är sanningen och problemet.

För dem som producerar betyder detta:Du lägger bara Argon på linjen, Benchmark ut, uppmanas ut, nästa generation är på väg.Modellen ändrades från "årliga beslutsfattande" till "månatligt underhåll". Det handlar inte om Google-familjen, men det handlar om det mest radikala.

Detsamma gäller för författaren. När det kom ut hade nästa kodnummer delats internt.

Nio, vad tycker ni om denna release?

Du bör erkänna det.

  • Det tog AA Inteligence Index v. 5.0, först, 59 poäng, för information.
  • Cybersäkerhetslinjen fungerar verkligen: de tre externa riktmärkena är de bästa för tillfället, inte orden.
  • Prisstrukturen är begränsad i frontmodell.
  • Ordern att ge den defensiva sidan först, sedan värdera, är logisk - förmågan att hitta kryphål är farligare för angriparna.

Du borde ha ringt frågetecknet.

  • En punkt framåt, mindre än skillnaden mellan motståndarens eget tänkande slot.Detta är sorteringen i samma horisontella band, inte proxy.
  • Listan har just ändrats till v. 5.0, historien är oöverträffad."Return Number One" är inte metodologiskt giltigt.
  • Ingen av de tre interna multiplarna har ett jämförande namn.Ingen granskning är möjlig och bör inte citeras som en slutsats.
  • Det externa referensvärdet var att ta bort staketet.Det betyder inte att du kan göra det.
  • Det är 50% rabatt, men ingen deadline.Dubbla budgeten.

Vi borde vänta.

  • Vänta tills det offentliga API öppnar upp och driver det verkliga uppdraget. Det finns en fullständig utvärdering mellan poängen och ditt jobb.
  • Vänta på tredje part.Ta med staketetet.De tre säkerhetsriktmärkena reproduceras under förhållanden.
  • Vänta tills någon sätter kol och Opus 5.5 på samma Max slot - och nu är det 59, rätt, 58, och sloten är inte anpassad.

Slutligen titeln. Google återvände till första plats denna gång, och det är inte att vara. Men i frasen "Återgå till världen först" finns det ett mindre giltigt antagande:Det finns en stabil "back" först.

Det verkliga läget är att de tre familjerna kläms i ett bälte, byter sittplatser några veckor, varje gång med en "top-up" tillkännagivande.Denna "första" halveringstid är förmodligen lika lång som nästa generation.

Att vinna en poäng är sant. Först är det sant. Du kan inte använda den idag. Det är den fullständiga formen av denna release.