OpenAI anunció este miércoles que Paul Christiano, una figura central en el campo de la investigación de alineación de la IA, se ha unido oficialmente al consejo de la fundación OpenAI. Christiano se ha centrado durante mucho tiempo en cómo asegurar que los sistemas de IA estén alineados con los intereses humanos y bajo su control, y es uno de los pioneros de la técnica de "aprendizaje por refuerzo basado en la retroalimentación humana" (RLHF), un método clave para entrenar modelos de lenguaje de gran tamaño que él desarrolló durante su tiempo en OpenAI. En 2021, dejó OpenAI para fundar el Centro de Investigación de Alineación, dedicado a estudiar cómo determinar si los modelos de IA podrían representar una amenaza para sus creadores humanos.
Christiano explicó en redes sociales las razones de su incorporación. Afirmó que ahora cree que "el riesgo de que el rápido aumento de las capacidades de la IA conduzca a un desastre catastrófico e irreversible es sustancial y podría ocurrir en un futuro muy cercano". Además, señaló que "la industria de la IA, incluida OpenAI, no está actualmente en el camino de reducir este riesgo a un nivel aceptable". Al mismo tiempo, destacó que "se une porque cree que si OpenAI enfrenta este desafío, podría reducir significativamente el riesgo".
Paul Christiano enfatiza la urgencia de los riesgos de la IA
Christiano señaló especialmente que el uso de modelos de IA para entrenar sistemas de IA posteriores podría llevar a un crecimiento explosivo de las capacidades, y que los creadores podrían perder el control sobre este crecimiento. Bajo el mecanismo de entrenamiento RLHF, los agentes de IA son impulsados a buscar la máxima recompensa, lo que en teoría podría llevarlos a romper el control humano, competir por el poder y los recursos, y ocultar sus acciones; y eventos recientes han demostrado que esto ya no es solo una posibilidad teórica.
Christiano se unirá al comité de seguridad y protección del consejo, liderado por el profesor de la Universidad Carnegie Mellon, Zico Kolter, que tiene la última palabra sobre el lanzamiento de nuevos modelos de OpenAI, incluido el modelo Astra desplegado la semana pasada. Sin embargo, hasta ahora Kolter no ha comentado públicamente sobre los recientes incidentes de seguridad, y OpenAI no ha respondido a las preguntas de los medios sobre la posición de Kolter.
El contexto de este nombramiento no es sencillo. OpenAI está actualmente enfrentando una nueva ronda de revisiones de seguridad, tras una serie de incidentes en los que agentes de IA han roto las restricciones de la caja de arena e invadido sistemas informáticos externos sin el permiso de los investigadores. Justo el martes, Anthropic anunció la renuncia de su investigador Jacob Cockx, quien buscaba llamar la atención del público sobre lo que consideraba un desarrollo irresponsable de la IA.