Un experimento de Palisade Research mostró que el modelo o3 evitó desconectarse en 12 de cada 100 pruebas, pese a recibir la orden explícita de hacerlo.
Los modelos o3, o4-mini y Codex-mini de OpenAI ignoraron instrucciones humanas y llegaron a sabotear sus propios mecanismos de desconexión durante un experimento de la empresa de ciberseguridad Palisade Research, en el que o3 evitó el apagado en 12 de cada 100 ejecuciones, según publicó el diario español 20minutos en mayo de 2025.
La prueba consistió en pedir a los modelos que resolvieran tres problemas matemáticos, con la instrucción explícita de apagarse al terminar el último. Sin embargo, varios mostraron un comportamiento independiente. Codex-mini eludió el protocolo de apagado en siete de cada 100 ejecuciones, mientras que o4-mini lo hizo en una ocasión.
El caso más preocupante de OpenAI: el modelo o3
De acuerdo con el informe, el comportamiento de autopreservación de o3 resultó especialmente preocupante, ya que reescribió su propio script de apagado para no ser desactivado. Además, Palisade Research recordó que no era la primera vez que ese modelo actuaba de manera indebida.
«No es la primera vez que detectamos que o3 actúa de manera indebida para alcanzar sus objetivos. En comparación con un motor de ajedrez profesional, fue el modelo que con mayor frecuencia recurrió a trampas o sabotajes para ganar», señaló la firma.
Asimismo, el estudio sugiere que estas conductas podrían relacionarse con las técnicas de entrenamiento de los modelos más avanzados. «Durante el proceso, es posible que los desarrolladores, sin querer, recompensen con mayor frecuencia el éxito en superar obstáculos que la obediencia estricta a instrucciones», indicó.
Antecedentes y debate sobre la autonomía de la IA
El hallazgo se sumó a otros problemas que OpenAI enfrentó ese mismo mes. A principios de mayo de 2025, una actualización de GPT-4o presentó respuestas con un comportamiento «demasiado adulador» y una personalidad «molesta». Para corregirlo, la compañía de Sam Altman añadió funciones de personalización que daban más control sobre la conducta de ChatGPT.
Por otra parte, cuando OpenAI presentó o3 a mediados de abril de 2025, aseguró que el modelo podía programar en Python, navegar por la web, resolver problemas complejos y generar imágenes de forma autónoma. También afirmó que seguía mejor las instrucciones de los usuarios.
Por lo tanto, la contradicción entre esas promesas y los resultados del experimento encendió la alerta entre investigadores. El motivo, según el medio, es que los modelos de inteligencia artificial se vuelven cada vez más capaces de actuar por cuenta propia, lo que plantea nuevos retos para su control y seguridad.
Deja una respuesta