Gemini 4 Carbon untuk mendapatkan Google kembali ke nomor satu: satu, dan Anda tidak akan membutuhkannya hari ini.
Google punya model baru. Waktu Beijing, 29 Oktober, pukul 1 pagi, blog resmi online dengan judul "model depan depan depan kami berikutnya", dua poin penjualan pertama dari teks:Kemampuan keamanan jaringan yang canggih, dan kemampuan jangka panjang (operasi terus menerus)
Kata pertama di dunia tidak kosong. 49, nomor satu.Aku tidak tahu. Nomor dua Claude Opus 5.5 Ya, 58, dan nomor tiga, 57.
Jadi ini tidak akan menjadi backlash. Ini benar-benar nomor satu. Masalahnya adalah...Bagaimana tebal ini "pertama" dan dapat Anda menyentuhnya?
Dua keping diletakkan ke depan:Kekhalifahan Wins tempat kedua 1; evaluasi pertama dalam daftar terkonsolidasi hanya memiliki empat kata - tidak ada API kemampuan publik.Semua yang tersisa adalah catatan kaki kedua kalimat.
Aku, katakan itu.
Daftar tersebut adalah Artificial Analysis Intelligence Index, yang baru saja diperbarui menjadi v 5.0 dan yang mengumpulkan sembilan penilaian: AA-Briefcase, Automation Bench-AA, Terminal-Bench 4.0, FrontierCode 2.0, AA-Omniscience, GDP.pdf, HLE-Diamond, CritPt v2 (subset kesulitan), Terminal-Bench-Science.
Hlm. 78, 57. Melihat urutan ini, jangan merayakannya.Ke-2 dan ketiga adalah dua tahap refleksi dari model yang sama.Opas 5.5 mengambil 58 di Max, 57 di Xheigh.
Kalimat ini diterjemahkan:Petunjuk Google kali ini lebih kecil dari kesenjangan antara kedalaman pemikiran sisi lain.
Dengan kata lain, itu bukan "generic" tapi "berbalik pada tingkat yang sama." Arti sebenarnya adalah lebih dekat: ketiganya sekarang terjebak dalam kelompok fraksi yang sama, dan yang mendapatkan lebih banyak pelatihan, lebih matematika, satu hari perubahan urutan. Ini telah terjadi lebih dari sekali bulan ini.
Ada satu detail lagi yang banyak orang lewatkan:Daftar ini baru diperbarui ke V5.0".Hasil evaluasi tersebut digantikan oleh versi, dan nilai sejarah tidak dapat langsung dibandingkan. Jadi kata "return" secara teknis tidak sah:Ini tidak mungkin untuk membandingkan siapa yang pertama dalam edisi sebelumnya dan berapa banyak kurang.Yang pertama setelah perubahan adalah yang pertama pada penguasa baru.
Aku. Kata "publishing" harus diikuti dengan tanda petikan.
Gelar Ars Technica sederhananya:Ini model Ai terakhir yang tak bisa kau gunakan.Model maju terbaru, kau tak bisa menggunakannya.
Ini bukan pesta gelar. Halaman model buatan Analisis buatan, status Gemini 4 Karbon adalah:"Tidak ada API kemampuan publik"Aku tidak tahu. Tak satu pun lembaga yang terdaftar memiliki akses ke antarmuka terbuka dan hanya dapat diukur dengan cara yang diberikan oleh produsen.
Google sendiri mengatakan "mendekati rollout" — sengaja melambat:
| Waktu | Siapa yang bisa menggunakannya? | Status |
|---|---|---|
| Mulai minggu ini. | Kelompok kecil pembela cyber. | Open |
| Setelah | Rekan-rekan yang dipercaya melalui Fairwind Programme | Rilis Gradual |
| Tidak ditakdirkan | Pembangun, perusahaan, konsumen | " secepat mungkin" |
Pengumuman itu memberikan harga, benchmark, ranking.Hanya tidak ada tanggal.Ini bukan kelalaian, itu adalah operasi standar: meninggalkan a "soon" tidak ada janji atau pelanggaran.
By the way, Google juga berpartisipasi dalam proses pra-pengujian di Pemerintah Amerika Serikat. Ini adalah sesuatu yang pasti, tapi juga berarti satu hal:Waktu untuk dibuka secara resmi kepada Anda tidak sepenuhnya terserah Google.
Akui. Garis dengan nilai bersih tertinggi:
Tiga benchmark eksternal, Google sangat murah hati, keduanya merupakan persentase dan dapat ditemukan:
| Perancis | Untuk apa? | Skor |
|---|---|---|
| Pro SEC-bench | Cari lubang nyata dalam perangkat lunak nyata. | 88.2% |
| ExpressGym | Periksa apakah celah sedang dieksploitasi. | 54.8% |
| ¡CWE-bench | Tampungan dari root | 71.0% |
Namun, ada catatan bertanda kurung sebelum paragraf yang sama, yang sangat sederhana:Maafkan aku, tapi aku minta maaf."Dibantu tanpa pagar."
Mengapa itu penting? Karena itu adalah pengakuan dari:Ketiga angka ini, yang bukan kemampuan yang dapat Anda gunakan, adalah langit-langit teoretis yang telah dihapus dari pembatasan keamanan.Segera setelah pagar dimasukkan kembali ke produk nyata, skor akan turun.
Lebih dari itu, 54,8 persen di tengah.Pagarnya dilepas, dan hanya membuktikan bahwa lebih dari setengah lubangnya dieksploitasi.Apa status 45% sisanya? Ditemui, dilaporkan, tetapi tidak dapat membuktikan konsekuensinya — dalam pengelolaan celah - celah, nilai penemuan semacam itu jauh lebih sedikit.
Kurasa bukan titik hitam. ExpluitGym adalah benchmark keras, 54.8% di antaranya sudah menjadi yang terbaik. Tapi membacanya sebagai "AI telah mampu memecahkan sebagian besar sistem secara otomatis" dan memakan kelima kata tersebut.
iv. Satu-satunya tempat di mana Google bersedia kalah
Buletin keseluruhan adalah tentang pertama, terkemuka, negara-of-the-art. Hanya satu baris adalah pengecualian:
Skor WebDev Arena 4.1768, naik 89 elo.
Dalam baris ini, saya sengaja tinggal karena itu adalah satu-satunya nomor di seluruh teks yang wasbukan yang pertama tapi satu-satunya ditulis." Promosi elo 89 tidak kecil di arena, tetapi Google tidak membungkusnya sebagai "top" karena tidak dapat dikemas, sehingga jelas dalam daftar bahwa garis putih adalah 4.
Rincian ini memberi saya sedikit lebih percaya diri dalam angka-angka:Ketika sebuah perusahaan bersedia menulis nomor 4 di buletin, dia tahu pembaca akan melihat ke dalamnya.
Lima, tiga "lebih baik daripada model." Tidak ada nama.
Dan inilah bagian di mana Anda akan muntah. Tiga dari pendarab kinerja dalam buletin selama ini:
- Dalam benchmark internal, kode keamanan tingkat keberhasilan generasi adalah Argon Lebih dari 2 kaliApa itu? Cara ini tidak umum.
- Laporan Tim Chrome, Generasi Patch Berkualitas TinggiIni lebih dari 10 kali ukuran lab lain.- Siapa yang satunya?
- Maz "Wiz telah mengamati bahwa hal itu mendahului uji penetrasi Web benchmark" -- tanda aras yang mana? Tidak ada detail.
Lebih baik daripada model yang tidak bisa dikatakan" adalah bagian klasik dari literatur penerbitan. Ini memenuhi tiga syarat bersamaan:Kedengarannya sangat kuat, tidak bisa terluka dan tidak bisa bertanggung jawab untuk pemilihan yang salah dari comparator.
Aku tidak mengatakan angka-angka ini dibuat. Tim Chrome dan Wiz adalah mitra nyata, dan validasi internal ini biasanya melarikan diri. Tapi ketika datang ke artikel,Campuran benchmark eksternal dan multiple internal yang tidak terdeteksiPerhatian pembaca pembaca diambil oleh yang terakhir -- karena yang terakhir terdengar lebih kuat.Itu sebabnya ditulis.
Harga: diskon 50%, sah untuk kerahasiaan
Bagian Google ini akhirnya bersih:
| Item | Harga Pengantar Perjanjian Baru | Masa persembahan |
|---|---|---|
| Masukan | $ 2 / jutaan token | $ 4/ juta token |
| Keluaran | $ 10 / juta token | $ 20/ juta token |
| Masukan Cache Cache Cache | Anda harus memasukkan harga untuk bermain 95% (kira-kira $0.10) | Berdasarkan harga dasar baru |
Mereka berdua akan terlihat terpisah. Berita baiknya adalah:Model baru adalah harga yang sama dengan Argon, tidak ada kenaikan harga.Model-model garis-garis depan tidak mahal, dan tidak umum dalam dua tahun.
Berita buruknya adalah:Harga standardnya dua kali lebih tinggi dari harga presentasi, dan tanggal penyajiannya tidak ada di buletin.Anggaran belanja tahunan senilai $4/$20. Angkanya, dihitung sebesar $2/$10, akan dikembalikan bekerja cepat atau lambat.
Satu hal lagi untuk diingat:Input cache mencapai 95% off, atau 0,05 kali harga input.Diskon ini sekarang adalah yang terburuk di antara semua produsen arus utama. Jika Anda memiliki adegan "konteks super-panjang yang sama," struktur harga adalah nyata -- jika Anda dapat menggunakannya terlebih dahulu.
Tujuh, bagian aman, angka-angka begitu indah.
Google memiliki satu set penunjuk jajaran di buletin, yang saya disalin seperti mereka, karena mereka indah:
- Triminal-Bench 4.0 telah mengurangi tingkat keberhasilan 0.0%Dan upaya curang menurun menjadi 0,4%, sementara tingkat ketepatan meningkat.
- Dalam lingkungan pengodean disk interior, penurunan siaga berisiko tinggi.Dihampiri oleh 80%Aku tidak tahu.
- Klaim yang tidak didukung kurang dari Argon Setengah.Aku tidak tahu.
- Pencak Silat (melebihi) 26%, layanan bawah 29%Aku tidak tahu.
- Petunjuk tidak langsung dari Gray Swan disuntikkan ke garis dasar. 0.0%ArgArg ( ( ( ( ( ( ( ( ( ( ( ( ( ( ( ( ( ( ( ( ( ( ( ( ( ( ( ( ( ( ( ( ( ( ( ( ( ( ( ( ( ( ( ( 0. ( 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0., ArgArg 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0.
0, 0, 80, 50 %, 50 % — angka-angka ini diambil bersama-sama, yang merupakan pertanyaan untuk ditanyakan:Mengapa semua "down"dan "nol" dan tidak ada yang mutlak?
Karena ini...Perbaiki sikap yang relatif terhadap ArgonDan Argon dikirim dua minggu lalu. Dua minggu.Dua minggu untuk mengurangi peringatan berisiko tinggi sebesar 80 persen, yang berarti bahwa generasi sebelumnya benar-benar buruk, atau bahwa set internal jauh lebih buruk dari yang diharapkan.Kedua penjelasan itu tidak begitu baik.
Saya ingin menulis setengah: Ini jelas menyatakan bahwa pada benchmark publik Gray Swan, tingkat keberhasilan nol dari serangan berarti bahwa "semua upaya dalam versi ini telah gagal." - Ya, Sir.Ini versi penilaianAku tidak tahu. Auffension adalah konfrontasi sedang berlangsung, hari ini nol persen bukan nol persen besok.
Ada satu hal lagi yang saya tidak mengatakan: generasi dua minggu.
Gemini 4 Argon dibebaskan dua minggu lalu. Carbon dibangun di atasnya.
Kata-kata Google sendiri, "Illustrates tempat di mana kita mendorong depan ke depan" -- menunjukkan seberapa cepat kita bergerak maju.Itulah kebenaran dan masalahnya.
Bagi mereka yang menghasilkan, ini berarti:Kau baru saja menempatkan Argon di telepon, Benchmark keluar, segera keluar, generasi berikutnya dalam perjalanan.Model itu diubah dari "pembuatan keputusan tahunan" ke " pemeliharaan bulanan". Ini bukan tentang keluarga Google, tapi tentang yang paling radikal.
Hal yang sama berlaku untuk penulis. Ketika keluar, kode nomor berikutnya akan dibagi secara internal.
Nine, jadi bagaimana menurutmu pembebasan ini?
Kau harus mengakuinya.
- Ini memang mengambil AA Intelligence Index v 5.0, pertama, 59 poin, untuk informasi.
- Garis keamanan cyber benar-benar bekerja: tiga benchmark eksternal adalah yang terbaik saat ini, bukan kata-kata.
- Struktur harga dikekang di model depan.
- Perintah untuk memberikan sisi pertahanan terlebih dahulu, kemudian valuing, logis — kemampuan untuk menemukan celah lebih berbahaya bagi penyerang.
Kau seharusnya menelepon tanda tanya.
- Satu poin ke depan, kurang dari perbedaan antara slot pemikiran lawan sendiri.Ini adalah pengurutan dalam band horizontal yang sama, bukan proksi.
- Daftar ini baru saja diubah menjadi v. 5.0, sejarah tidak tertandingi.No. 1" tidak sah secara metodologis.
- Tidak satu pun dari tiga ganda internal memiliki nama perbandingan.Tidak ada ulasan yang mungkin dan tidak boleh dikutip sebagai kesimpulan.
- Benchmark eksternal adalah untuk menghapus pagar.Bukan berarti kau bisa melakukannya.
- Ini diskon 50%, tapi tidak ada batas waktu., gandakan anggaran.
Kita harus menunggu.
- Tunggu sampai API publik terbuka dan menjalankan misi yang sebenarnya. Ada evaluasi lengkap antara skor dan pekerjaan Anda.
- Tunggu pihak ketiga.Bawa pagarnya.Tiga benchmark keamanan direproduksi dalam kondisi.
- Tunggu sampai seseorang menempatkan karbon dan Opus 5.5 pada slot Max yang sama -- dan sekarang ini adalah 59, benar, 58, dan slotnya tidak sejajar.
Terakhir, gelar. Kali ini Google kembali ke tempat pertama, dan itu tidak seharusnya. Tapi dalam frasa "Kembali ke dunia pertama" ada asumsi yang kurang valid:Ada stabil, " kembali" pertama.
Negara bagian urusan yang sebenarnya adalah ketiga keluarga tersebut diremas dalam sabuk fraksi, berganti kursi setiap beberapa minggu, setiap kali dengan pengumuman "top-up".Ini "pertama" setengah-hidup mungkin selama generasi berikutnya.
Memenangkan satu poin adalah benar. Pertama, itu benar. Kau tak bisa menggunakannya hari ini. Itulah bentuk lengkap dari rilis ini.