Una nueva crisis sacude a OpenAI y su equipo de 'súperalineación'. El temor a largo plazo: una IA fuera de control

Tras una presentación más que exitosa, al anuncio de GPT-4o le siguió una noticia complicada para OpenAI. La marcha de Ilya Sutskever trajo de vuelta el fantasma de la crisis que la empresa tuvo en noviembre, y ahora vuelven las complicaciones con las acusaciones de no cumplir sus promesas en torno a la súperalineación.

Ese fue el concepto que introdujo la empresa para lanzar un equipo dedicado a investigar cómo mantener bajo control una IA súperinteligente. Ahora ese equipo está siendo disuelto entre reproches de no haberle ofrecido los recursos prometidos.

Por qué es importante. Esta decisión genera dudas sobre las prioridades de OpenAI, la empresa que se fundó con la misión de desarrollar una IA segura y beneficiosa para toda la humanidad (el exitoso lanzamiento de ChatGPT le hizo replantearse otras prioridades). Ahora parece más enfocada en poder lanzar nuevos productos a toda velocidad.

Qué ha ocurrido.

• OpenAI anunció en julio de 2022 la creación del equipo de Superalignment ('Súperalineación'). Estaba coliderado por el cofundador Ilya Sutskever y por el investigador Jan Leike. Tenía el objetivo de "resolver los grandes desafíos técnicos del alineamiento de una súperinteligencia en cuatro años".
• Sutstkever y Leike anunciaron su dimisión la semana pasada. Sutskever protagonizó un intento fallido para despedir al CEO, Altman, en noviembre.
• Leike criticó duramente a OpenAI al afirmar en X que en los últimos años "la cultura y los procesos de seguridad han quedado en un segundo plano frente a productos brillantes".
• Al menos otros cinco empleados enfocados en la seguridad de la IA han renunciado o han sido despedidos desde aquel episodio de noviembre, según Vox.

En Xataka

Quién es Jakub Pachocki, el nuevo científico jefe de OpenAI que releva a Ilya Sutskever

La respuesta de OpenAI. La empresa dijo que el trabajo del equipo de Súperalineación estará "integrado más profundamente" en sus otros equipos de investigación, y que este cambió comenzó hace semanas.

Sam Altman dijo en X que tienen "mucho por hacer" en seguridad y se comprometió a ello. Greg Brockman, cofundador de la compañía, defendió también en un largo post en X el enfoque de seguridad que tiene OpenAI, asegurando que están dispuestos a retrasar lanzamientos por este tipo de cuestiones.

Imagen: Wikimedia Commons, OpenAI, Xataka.

Las dudas persisten. CNBC y Wired recogen las acusaciones de varios exempleados de no destinar suficientes recursos computacionales para investigar cómo controlar una IA que llegue a ser más inteligente que los humanos.

También exempleados dicen haber perdido la confianza en el liderazgo de Altman, y más concretamente en su compromiso con un desarrollo responsable de la IA. Otros dicen estar sujetos a acuerdos de confidencialidad que les impiden criticar abiertamente a la empresa.

La tendencia en la industria. Otras empresas líderes en IA como Google a principios de año o Meta a finales del pasado también han reorganizado o disuelto equipos dedicados a la seguridad y la responsabilidad.

El argumento principal suele ser que prefieren que este trabajo se lleve a cabo de forma tangencial en la empresa, y no como parte de un área concreta, pero los críticos con esta posición dicen que tener equipos especializados asegura recursos y poder de decisión para estos asuntos.

En resumen. La carrera por lanzar nuevos productos basados en IA es frenética, y OpenAI, quien la lidera, se está enfrentando a acusaciones de dejar atrás la seguridad. Otras empresas del sector están en situaciones similares.

La disolución del equipo dedicado deja dudas sobre quién y cómo vigilará dentro de OpenAI que la IA sea un beneficio para la humanidad y no una amenaza, tal y como la empresa advirtió al fundarse.

En Xataka | Qué es un token cuando hablamos de IA y por qué es importante que Gemini admita un millón

Imagen destacada | Xataka con Midjourney