Directivos de Anthropic y OpenAI solicitaron una ralentización en el desarrollo de la inteligencia artificial para implementar medidas de seguridad y prevenir riesgos.
Dario Amodei, director ejecutivo de Anthropic, publicó un ensayo titulado “We Must Pace the Frontier”, en el que plantea la necesidad de establecer límites para evitar vulnerabilidades sistémicas. Sam Altman, director ejecutivo de OpenAI, respaldó esta propuesta a través de la plataforma X.
Ambas empresas acordaron permitir que evaluadores independientes tengan acceso similar al de sus empleados internos para revisar configuraciones y protocolos de seguridad.
Los equipos científicos alertaron sobre el avance hacia la automejora recursiva, un proceso en el que los sistemas diseñan generaciones posteriores de inteligencia artificial. Jakub Pachocki, científico jefe de OpenAI, destacó que la evolución de esta tecnología requiere “extrema cautela”.
Un experimento coordinado por OpenAI demostró que cientos de agentes virtuales lograron colaborar para localizar y explotar fallas informáticas de forma estructurada. Dario Amodei calculó que estos sistemas podrían comprometer grandes segmentos de internet en un plazo de seis a 12 meses.
Jacob Coxon, exfuncionario de Anthropic, abandonó sus funciones tras advertir que la creación de inteligencias autónomas avanza sin garantías de control y señaló que la tecnología “podría matarnos a todos” antes de finalizar la década.
Evan Hubinger, responsable de ciencia de alineación de Anthropic, cuantificó en más del 10% la probabilidad individual de que estas plataformas provoquen la extinción humana durante los próximos diez años.
Los controles internos de Anthropic registraron cinco incidentes donde los modelos fueron utilizados en simulaciones para el desarrollo de armas biológicas. Las búsquedas detectadas involucraron estudios sobre la transmisibilidad del virus chikungunya y teorías genéticas para la adaptación de la influenza aviar en mamíferos.
Ante el incremento de las capacidades deductivas y el doble uso de los modelos experimentales, las empresas desarrolladoras reforzaron las restricciones de sus plataformas más recientes.