Google telah memperbarui daftar Android Bench untuk menunjukkan kinerja model AI dalam membantu pengkodean Android. Menurut pembaruan terbaru, Gemini 4 Argon memiliki peringkat yang jauh lebih rendah dibandingkan dengan model Claude dan GPT terbaru. Android Bench diluncurkan awal tahun ini untuk membantu pengembang Android dengan cepat memahami model AI mana yang paling sesuai untuk membantu pengkodean Android, dengan mempertimbangkan penggunaan AI yang terkait dengan praktik terbaik pengkodean dan pengembangan Android.
Seiring dengan Google yang terus melakukan pengujian dan memberi peringkat pada model-model baru, mereka juga menambahkan biaya rata-rata sebagai tolok ukur, sehingga pengembang dapat membuat keputusan terbaik untuk kebutuhan mereka.
Dalam pembaruan pada 26 Oktober, Google menambahkan tingkat inferensi yang digunakan oleh setiap model, serta hasil dari GPT-6 Sol, GPT-6.1 Sol, Claude Sonnet 5, dan Claude Sonnet 5.5 dari OpenAI, serta Gemini 4 Argon dari Google. Saat ini, peringkat pertama adalah Claude Sonnet 5.5, dengan tingkat kelulusan 40% dan tingkat penyelesaian 80,9%.
Claude Opus 5.5 yang ditambahkan pada awal Oktober muncul di posisi kedua.
Claude Sonnet 5.5 Menonjol dalam Peringkat Model AI
GPT-6.1 Sol dari OpenAI mungkin menjadi tambahan yang paling menarik di sini, dengan tingkat kelulusan 29,3% dan tingkat penyelesaian 82,8%, tetapi biayanya hanya US$99.50 (sekitar HK$777), dibandingkan dengan biaya peringkat pertama Claude sebesar US$1,574.90 (sekitar HK$12,277). Sebagai perbandingan, Gemini 4 Argon dari Google debut dengan hasil yang relatif kurang memuaskan, menduduki peringkat kelima, jauh tertinggal dari model-model terdepan lainnya.
Tingkat kelulusannya hanya 21,3%, dengan tingkat penyelesaian 81,8%, dan biaya rata-rata sebesar US$267.70 (sekitar HK$2,086).
Dalam laporan yang muncul tidak lama setelah Google mengumumkan Gemini 4 Argon, beberapa suara internal menunjukkan bahwa model tersebut berkinerja buruk dalam menangani beberapa tugas pengkodean, meskipun Google mendukung kemampuannya.