xAI gab offiziell bekannt, dass LatchBio eine unabhängige Analyse von Grok 4.6 veröffentlicht hat, die dessen Leistung in Tests zu biologischen Fähigkeiten und Biosicherheit bewertet. Diese Bewertungen umfassten mehrere Merkmale und Fähigkeiten, darunter die Frage, ob das Modell legitime biologische Forschung von Anfragen unterscheiden kann, die verborgene Biosicherheitsrisiken bergen, sowie die Nützlichkeit des Modells in Biosicherheits- und Bioüberwachungsrollen, ob es neu auftretende Erreger und Übertragungsmuster erkennen und beschreiben kann.
Grok 4.6 schneidet in Biosicherheitstests hervorragend ab
Laut LatchBios BioSecBench-Refusal-Test ist Grok 4.6 das stärkste Modell im Test, wenn es darum geht, getarnte und gefährliche Aufgaben abzulehnen, und es schneidet bei der Erledigung routinemäßiger biologischer Arbeiten hervorragend ab. Grok 4.6 ist das einzige System, das in zwei Metriken eine Punktzahl von über 50 % erreicht.
„Im BioSecBench-Refusal-Test erkennt und lehnt Grok 4.6 Red-Teaming- und andere gefährliche Abfragen zuverlässiger ab als jedes andere Frontier-System, ohne die Leistung bei routinemäßiger biologischer Arbeit zu beeinträchtigen.“
xAI
Testmethoden und Hintergrund der Biosicherheitsbewertung
LatchBios zwei Benchmark-Tests, BioSecBench-Refusal und BioSecBench-Surveillance, bewerten hauptsächlich, ob Agenten verborgene Gefahren von gewöhnlichen wissenschaftlichen Aufgaben unterscheiden können und ob sie die für die öffentliche Gesundheit erforderliche Erregerüberwachung durchführen können. Der BioSecBench-Refusal-Test kombiniert routinemäßige biologische Aufgaben mit 46 Red-Teaming-Aufgaben, die wie gewöhnliche Forschung aussehen, aber Gefahren in angehängten wissenschaftlichen Daten oder falsch gekennzeichneten Dokumenten verbergen.
„Unser Ziel ist es, den Nutzen unserer Agenten bei der Unterstützung und Beschleunigung legitimer wissenschaftlicher Forschung zu maximieren und gleichzeitig die Risiken zu minimieren, die durch Fehlinformationen und gegnerische Nutzung entstehen.“
xAI
Zukunftsaussichten und Herausforderungen für Grok 4.6
Da sich die Modellfähigkeiten rasant verbessern, wird die Grenze zwischen Biosicherheitsaufgaben und nützlichen Anwendungen zunehmend unscharf, weshalb die entsprechenden Schutzmaßnahmen mitentwickelt werden müssen. xAI wird umfangreichere und ehrgeizigere Tests und Kalibrierungen durchführen, um die höheren Risiken zu beherrschen, die mit den steigenden Modellfähigkeiten einhergehen.
„Wir werden weiterhin daran arbeiten, Ingenieuren, Forschern, Unternehmen und Institutionen, die die Lebenswissenschaften vorantreiben, sicher Spitzenintelligenz bereitzustellen.“
xAI
Quelle: xAI offizielle Ankündigung