Google hat seine Android Bench-Liste aktualisiert, um die Leistung von KI-Modellen bei der Unterstützung von Android-Codierung zu zeigen. Laut dem neuesten Update liegt das Ranking von Gemini 4 Argon deutlich hinter den neuesten Claude- und GPT-Modellen. Android Bench wurde zu Beginn dieses Jahres eingeführt, um Android-Entwicklern zu helfen, schnell zu verstehen, welche KI-Modelle am besten für die Unterstützung von Android-Codierung geeignet sind. Der Test berücksichtigt die Nutzung von KI in Bezug auf Android-Codierung und bewährte Praktiken in der Entwicklung.
Während Google weiterhin Tests durchführt und neue Modelle bewertet, wurde auch die durchschnittliche Kosten als Benchmark hinzugefügt, damit Entwickler die besten Entscheidungen für ihre Bedürfnisse treffen können.
In dem Update vom 26. Oktober hat Google das Inferenzniveau für jedes Modell hinzugefügt und die Ergebnisse von OpenAI's GPT-6 Sol, GPT-6.1 Sol, Claude Sonnet 5 und Claude Sonnet 5.5 sowie die von Google selbst entwickelte Gemini 4 Argon hinzugefügt. Derzeit belegt Claude Sonnet 5.5 den ersten Platz mit einer Durchfallquote von 40 % und einer Abschlussquote von 80,9 %.
Claude Opus 5.5, das Anfang Oktober hinzugefügt wurde, erscheint auf dem zweiten Platz.
Claude Sonnet 5.5 zeigt herausragende Leistung im Ranking der KI-Modelle
OpenAI's GPT-6.1 Sol könnte das auffälligste neue Element hier sein, mit einer Durchfallquote von 29,3 % und einer Abschlussquote von 82,8 %, jedoch zu Kosten von nur US$99.50 (ca. HK$777), im Vergleich zu Claude's US$1,574.90 (ca. HK$12,277) für den ersten Platz. Im Vergleich dazu tritt Google’s Gemini 4 Argon mit relativ schwachen Ergebnissen auf, belegt den fünften Platz und liegt weit hinter anderen führenden Modellen zurück.
Seine Durchfallquote beträgt nur 21,3 %, die Abschlussquote liegt bei 81,8 %, und die durchschnittlichen Kosten betragen US$267.70 (ca. HK$2,086).
In einem Bericht, der kurz nach der Ankündigung von Gemini 4 Argon durch Google veröffentlicht wurde, wiesen einige interne Stimmen darauf hin, dass das Modell bei der Bearbeitung bestimmter Codierungsaufgaben schlecht abschneidet, obwohl Google seine Fähigkeiten unterstützt.