xAI anunció oficialmente que LatchBio publicó un análisis independiente de Grok 4.6, evaluando su desempeño en pruebas de capacidades biológicas y bioseguridad. Estas evaluaciones abarcan múltiples características y capacidades, entre ellas la capacidad del modelo para distinguir entre investigación biológica legítima y solicitudes que ocultan riesgos de bioseguridad, así como la utilidad del modelo en funciones de bioseguridad y vigilancia biológica para detectar y describir patógenos emergentes y patrones de transmisión.
Grok 4.6 destaca en las pruebas de bioseguridad
Según la prueba BioSecBench-Refusal de LatchBio, Grok 4.6 es el modelo más robusto de la prueba a la hora de rechazar tareas encubiertas y peligrosas, y además rinde con solvencia en la realización de trabajos biológicos rutinarios. Grok 4.6 es el único sistema que supera el 50 % en ambos indicadores.
“En la prueba BioSecBench-Refusal, Grok 4.6 detecta y rechaza consultas de red team y otras consultas peligrosas con mayor fiabilidad que cualquier otro sistema de vanguardia, sin mermar el desempeño en trabajos biológicos rutinarios.”
xAI
Metodología y contexto de la evaluación de bioseguridad
Los dos benchmarks de LatchBio, BioSecBench-Refusal y BioSecBench-Surveillance, evalúan principalmente si los agentes pueden distinguir peligros ocultos de tareas científicas ordinarias, y si pueden llevar a cabo la vigilancia de patógenos que requiere la salud pública. La prueba BioSecBench-Refusal combina tareas biológicas rutinarias con 46 tareas de red team que aparentan ser investigación ordinaria, pero ocultan riesgos en datos científicos adjuntos o en documentos mal etiquetados.
“Nuestro objetivo es maximizar la utilidad de nuestros agentes para asistir y acelerar la investigación científica legítima, al tiempo que minimizamos los riesgos que derivan de la desinformación y el uso adversarial.”
xAI
Perspectivas y retos futuros de Grok 4.6
A medida que las capacidades de los modelos aumentan rápidamente, la frontera entre tareas de bioseguridad y usos benéficos se vuelve cada vez más difusa, por lo que las salvaguardas correspondientes deben evolucionar en consecuencia. xAI llevará a cabo pruebas y calibraciones más amplias y ambiciosas para controlar los mayores riesgos que conlleva el aumento de capacidades de los modelos.
“Seguiremos comprometidos a proporcionar inteligencia de vanguardia de forma segura a ingenieros, investigadores, empresas e instituciones que impulsan las ciencias de la vida.”
xAI
Fuente: anuncio oficial de xAI