Google ได้อัปเดตรายการ Android Bench เพื่อแสดงผลการทำงานของโมเดล AI ในการช่วยการเขียนโค้ดบน Android ตามการอัปเดตล่าสุด Gemini 4 Argon มีอันดับต่ำกว่ารุ่นล่าสุดอย่าง Claude และ GPT โมเดล Android Bench เปิดตัวในต้นปีนี้ โดยมีวัตถุประสงค์เพื่อช่วยนักพัฒนา Android เข้าใจได้อย่างรวดเร็วว่าโมเดล AI ใดเหมาะสมที่สุดในการช่วยการเขียนโค้ดบน Android โดยการทดสอบนี้พิจารณาถึงการใช้งาน AI ที่เกี่ยวข้องกับการเขียนโค้ดและแนวปฏิบัติที่ดีที่สุดในการพัฒนา Android
ในขณะที่ Google ยังคงทำการทดสอบและจัดอันดับโมเดลใหม่ ยังได้เพิ่มค่าเฉลี่ยต้นทุนเป็นเกณฑ์เพื่อให้นักพัฒนาสามารถตัดสินใจได้ดีที่สุดตามความต้องการของตน
ในการอัปเดตเมื่อวันที่ 26 ตุลาคม Google ได้เพิ่มระดับการอนุมานที่ใช้โดยแต่ละโมเดล และได้เพิ่มผลลัพธ์ของ GPT-6 Sol, GPT-6.1 Sol, Claude Sonnet 5 และ Claude Sonnet 5.5 ของ OpenAI รวมถึง Gemini 4 Argon ของ Google เอง ขณะนี้อันดับหนึ่งคือ Claude Sonnet 5.5 โดยมีอัตราผ่าน 40% และอัตราการเสร็จสิ้น 80.9%
Claude Opus 5.5 ที่เพิ่มเข้ามาในต้นเดือนตุลาคมได้ปรากฏในอันดับที่สอง
Claude Sonnet 5.5 มีผลการจัดอันดับที่โดดเด่นในโมเดล AI
OpenAI's GPT-6.1 Sol อาจเป็นรายการใหม่ที่น่าสนใจที่สุดที่นี่ โดยมีอัตราผ่าน 29.3% และอัตราการเสร็จสิ้น 82.8% แต่ต้นทุนเพียง US$99.50 (ประมาณ HK$777) เมื่อเปรียบเทียบกับต้นทุนของ Claude ที่ US$1,574.90 (ประมาณ HK$12,277) สำหรับอันดับหนึ่ง ในทางกลับกัน Gemini 4 Argon ของ Google มีผลการทำงานที่ค่อนข้างไม่ดีในครั้งแรก โดยมีอันดับที่ห้า และตามหลังโมเดลชั้นนำอื่นๆ อย่างมาก
อัตราผ่านของมันอยู่ที่เพียง 21.3% และอัตราการเสร็จสิ้น 81.8% โดยมีต้นทุนเฉลี่ยอยู่ที่ US$267.70 (ประมาณ HK$2,086)
หลังจากที่ Google ประกาศ Gemini 4 Argon ได้ไม่นาน รายงานบางฉบับจากภายในระบุว่าโมเดลนี้มีผลการทำงานที่ไม่ดีในบางงานการเขียนโค้ด แม้ว่า Google จะยืนยันถึงความสามารถของมัน