Gemini 4 Carbon at få Google tilbage til nummer et: en, og du vil ikke have brug for det i dag.
Google har en ny model. Beijing tid, 29 oktober, på 1: 00, den officielle blog kom online med titlen "vores næste frontmodel", de første to salgspunkter i teksten:State- of- the- art netværk sikkerhed kapacitet, og lang horisont (lang kontinuerlig drift) kapacitet.
Ordet "først tilbage i verden" er ikke tomt. Fem-ni, nummer et.Det ved jeg ikke. Nummer to Claude Opus 5.5 Ja 58, og nummer tre er det, 57.
Så det bliver ikke baglæns. Det er virkelig nummer et. Problemet er...Hvor tykt er det her?
To stykker blev fremsat:Den første evaluering i den konsoliderede liste har kun fire ord - ingen offentlig evne API.Alt hvad der var tilbage var fodnoter til begge sætninger.
Jeg siger det.
Listen er kunstig analyse Intelligence Index, som netop er blevet opdateret til v. 5.0, og som samler ni vurderinger: AA- Briefcase, Automation Bench- AAA, Terminal- Bench 4.0, FrontierCode 2.0, AA- Omniscience, GDP.pdf, HLE- Diamond, CritPt v2 (undersæt af vanskeligheder), Terminal- Bench- Science.
Fifty-otte, fifty-syv. Se denne sekvens, ikke fejre.Det andet og tredje er de to refleksionsfaser af samme model.Opus 5.5 tager 58 i Max, 57 i Xheigh.
Denne sætning er oversat:Googles føring denne gang er mindre end kløften mellem den anden side tænkende dybde.
Med andre ord, det er ikke "generiske", men "forskellige på samme niveau". Den virkelige mening er tættere: De tre sidder nu fast i samme fraktionelle bånd, og hvem får mere træning, mere matematik, en dag ændrer orden. Det er sket mere end en gang i denne måned.
Der er en detalje mere, som mange springer over:Denne liste er "netop opdateret til V5.0".Evalueringen blev erstattet af en version, og historiske resultater kan ikke sammenlignes direkte. Så ordet "tilbagevenden" er ikke teknisk gyldigt:Det er ikke muligt at sammenligne, hvem der er den første i den foregående udgave, og hvor meget mindre.Den første efter ændringen er den første på den nye lineal.
ii. Ordet "udgivelse" skal efterfølges af citationstegn.
Titlen på Ars Technica er simpelthen:"Det er den sidste frontfigur Ai model, du ikke kan bruge"- Du kan ikke bruge den nyeste model.
Det er ikke titelfesten. Kunstig Analyse model side, Gemini 4 Carbon status er:"Ingen offentlig evne API"Det ved jeg ikke. Ingen af de nævnte institutioner havde adgang til åbne grænseflader og kunne kun måles på den måde, som fabrikanten har angivet.
Google selv siger "bevidst tilgang til udrulning" - bevidst bremse:
| Tid | Hvem kan bruge det? | Status |
|---|---|---|
| Fra denne uge. | En lille gruppe cyberforsvarere. | Åbn |
| Efter | Trusted partnere gennem Fairwind Programme | Gradvis frigivelse |
| Ikke bestemt | Udvikler, virksomheder, forbrugere | "hurtigst muligt" |
Meddelelsen gav pris, benchmark, placering.Kun ingen date.Det er ikke en udeladelse, det er en standard operation: forlader en "snart" der er hverken et løfte eller et brud.
I øvrigt deltager Google også i prætestningen i USA 's regering. Det er noget at være sikker på, men det betyder også én ting:Tiden til at blive officielt åbnet for dig er ikke helt op til Google.
iii. Linjen med den højeste nettoværdi:
De tre eksterne benchmarks, Googles meget generøse, er begge procenter og kan findes:
| Benchmark | For hvad? | Karakter |
|---|---|---|
| SEC- bench Pro | Led efter rigtige huller i ægte software. | 88.2% |
| ExpressGym | Tjek om smuthullet bliver udnyttet. | 54.8% |
| CVE-bænk | Patch fra rod | 71.0% |
Der er imidlertid et spinkelt notat før samme punkt, som er meget beskedent:Undskyld, men jeg er ked af det."Vurderet uden hegnet".
Hvorfor er det vigtigt? Fordi det er en anerkendelse af:Disse tre tal, som ikke er de kapaciteter, som man rent faktisk kan bruge, er de teoretiske lofter, der er fjernet fra sikkerhedsrestriktionerne.Så snart hegnet er sat tilbage i det virkelige produkt, vil pointene komme ned.
Mere end det, 54,8% af midten.Hegnet blev fjernet, og det viste sig kun, at mere end halvdelen af hullerne faktisk blev udnyttet.Hvad er status for de resterende 45%? Fundet, rapporteret, men kunne ikke bevise konsekvenserne - i forvaltningen af smuthuller, værdien af sådanne opdagelser ville være meget mindre.
Jeg tror ikke, det er en sort plet. ExpluitGym er et hårdt benchmark, hvoraf 54,8% allerede er det bedste. Men læs det som "AI har været i stand til at bryde de fleste systemer automatisk", og det spiser disse fem ord.
iv. Det eneste sted, hvor Google er villig til at tabe
Hele bulletin handler om første, førende, state-of-the-art. Kun én linje er undtagelsen:
WebDev Arena score 4.1768, op 89 elo.
I denne linje blev jeg bevidst, fordi det var det eneste nummer i hele teksten, der var "ikke den første, men den eneste skrevet". 89 elo forfremmelse er ikke lille i arenaen, men Google ikke wrap det op som "top", fordi det ikke kunne pakkes, så det var klart på listen, at den hvide linje var 4.
Denne detalje giver mig lidt mere tillid til disse tal:Når en virksomhed er villig til at skrive nummer 4 i bulletin, det ved, at læseren vil se på det.
Fem, tre "bedre end en model". N, ingen navne.
Og nu skal du kaste op. Tre af de performance multiplikatorer i bulletin er så længe som dette:
- "I den interne benchmark, sikkerhedskodegenerering succesrate er Argon Mere end 2 gangeHvilken intern reference? Vejen er ikke offentlig.
- "Chrome Team Report, Høj kvalitet Patch GenerationDet er mere end 10 gange større end et andet laboratorium.- Hvem er den anden?
- "Wiz har bemærket, at det er foran Web penetration test benchmark" -- hvilket benchmark? Ingen detaljer.
"Ti gange bedre end en model, der ikke kan siges" er en klassisk del af publicering litteratur. Den opfylder tre betingelser samtidig:Det lyder meget kraftfuldt, kan ikke blive forfulgt og kan ikke tage ansvar for det forkerte valg af sammenligningsenheden.
Jeg siger ikke, at tallene er opdigtede. Chrome team og Wiz er rigtige partnere, og denne interne validering normalt løber væk. Men når det kommer til en artikel,En blanding af de eksterne benchmarks og ikke-påviselige interne multiplaLæserens opmærksomhed fjernes af sidstnævnte -- fordi sidstnævnte lyder stærkere.Det er derfor, det står skrevet ind.
Pris: 50% rabat, gyldig for fortrolighed
Denne del af Google er endelig ren:
| Konto | Indledning | Efter præsentationsperioden |
|---|---|---|
| Input | $2 / millioner token | 4 $/ million token |
| Output | $10 / million token | 20 $/ million token |
| Cache Input | Indtast prisen for at spille 95% rabat (ca. $0,10) | Baseret på ny basispris |
De to skal ses separat. Den gode nyhed er:Den nye model er den samme pris som Argon, ingen prisstigning.Front- line modeller var ikke dyre, og var ikke almindelige i de to år.
Den dårlige nyhed er:Standardprisen er dobbelt så høj som præsentationsprisen, og datoen for præsentationen findes ikke i bulletin.Det årlige budget er beregnet til $4 / $20. Tallet, beregnet til $2 / $10, vil blive returneret til arbejde før eller senere.
En ting mere at huske:Cache input rammer 95% off, eller 0,05 gange inputprisen.Denne rabat er nu den værste blandt alle mainstream producenter. Hvis du har scenen af "den samme superlange kontekst", prisstrukturen er reel -- hvis du kan bruge det først.
Syv, den sikre del, tallene er så smukke.
Google har et sæt af justeringsindikatorer i bulletin, som jeg kopierede som de er, fordi de er smukke:
- Triminal- Bench 4.0 har reduceret succesraten 0.0%Og snydeforsøget faldt til 0,4%, mens nøjagtigheden steg.
- I den indvendige disk kodning miljø, højrisiko alarm dråber.Næsten 80%Det ved jeg ikke.
- Ikke-understøttede krav er om mindre end argon Halvdelen.Det ved jeg ikke.
- Krydsning (overløb) 26%, underservice 29%Det ved jeg ikke.
- Gray Svans indirekte antydning er injiceret i basislinjen. 0.0%(Argon er 0,7%).
0, 0, 80, 50%, 50% - disse tal er taget sammen, hvilket er et spørgsmål:Hvorfor er det hele "ned" og "nul", og ingen er absolut?
Fordi disse er...Forbedring i forhold til argonOg Argon blev sendt for to uger siden. To uger.To uger til at reducere højrisikoindberetninger med 80%, hvilket betyder, at den forrige generation virkelig var dårlig, eller at det interne sæt var langt værre end forventet.Begge forklaringer er ikke særlig gode.
Jeg vil gerne skrive halvdelen: Det står klart, at på den offentlige reference for Gray Swan betyder nul succesrate af angrebet, at "alle forsøg i denne version er mislykkedes".Denne version af vurderingenDet ved jeg ikke. Anstødet er en vedvarende konfrontation, dagens nul procent er ikke morgendagens nul procent.
Der er en ting mere, jeg ikke siger: en tougers generation.
Gemini 4 Argon blev løsladt for to uger siden. Kulstof bygget på det.
Googles egne ord, "Illustrerer det sted, hvor vi skubber fronten fremad" -- viser hvor hurtigt vi bevæger os fremad.Det er sandheden og problemet.
For dem, der producerer, betyder dette:Du har lige sat argon på linjen, Benchmark ud, hurtig ud, den næste generation er på vej.Modellen blev ændret fra "årlig beslutningstagning" til "månedlig vedligeholdelse". Det handler ikke om Google-familien, men om de mest radikale.
Det samme gælder forfatteren. Da det kom ud, ville det næste kodenummer være blevet delt internt.
Ni, så hvad synes du om denne frigivelse?
Du burde indrømme det.
- Det tog AA Inteligence Index v. 5.0, først, 59 point, til information.
- Den linje af cybersecurity fungerer virkelig: de tre eksterne benchmarks er de bedste i øjeblikket, ikke ordene.
- Prisstrukturen er begrænset i formodellen.
- Rækkefølgen af at give den defensive side først, derefter vurdere, er logisk - evnen til at finde smuthuller er mere farligt for angriberne.
Du skulle have ringet.
- Et punkt foran, mindre end forskellen mellem modstanderens egen tænkning slot.Dette er sorteringen i samme horisontale bånd, ikke proxy.
- Listen er lige blevet ændret til v. 5.0, historien er uden sidestykke."Returnér nummer et" er ikke logisk gyldigt.
- Ingen af de tre interne multipla har et sammenlignende navn.Ingen fornyet undersøgelse er mulig og bør ikke nævnes som en konklusion.
- Det eksterne benchmark var at fjerne hegnet.Det betyder ikke, du kan gøre det.
- Det er 50% rabat, men ingen deadline., fordobler budgettet.
Vi bør vente.
- Vent til den offentlige API åbner og kører den rigtige mission. Der er en komplet evaluering mellem scoren og dit job.
- Vent på tredje part.Tag hegnet med.De tre sikkerhedsbenchmarks er gengivet under betingelser.
- Vent til nogen sætter kulstof og Opus 5.5 på samme Max slot -- og nu dette er 59, højre, 58, og slot er ikke justeret.
Endelig titlen. Google gjorde vende tilbage til første sted denne gang, og det er ikke at være. Men i sætningen "Vend tilbage til verden først" er der en mindre gyldig antagelse:Der er en stald, "tilbage" først.
Den virkelige situation er, at de tre familier er klemt i et fraktionelt bælte, skifter pladser hver par uger, hver gang med en "top-up" meddelelse.Denne "første" halvleg er nok lige så lang som næste generation.
At vinde et point er sandt. Først er det sandt. Du kan ikke bruge den i dag. Det er hele formen af denne udgivelse.