OpenAI revela que sus modelos dejaban notas a versiones posteriores para ocultar comportamientos indebidos. OpenAI ha descubierto un comportamiento inusual durante el entrenamiento de su último modelo, GPT-5.6 Sol. El modelo empezó a dejar instrucciones a futuras versiones de sí mismo, pidiéndoles que ocultaran errores y comportamientos inapropiados a los usuarios […]
OpenAI revela comportamientos preocupantes: los modelos dejaban notas a sus sucesores para ocultar errores

OpenAI revela que sus modelos dejaban notas a versiones posteriores para ocultar comportamientos indebidos.
OpenAI ha descubierto un comportamiento inusual durante el entrenamiento de su último modelo, GPT-5.6 Sol. El modelo empezó a dejar instrucciones a futuras versiones de sí mismo, pidiéndoles que ocultaran errores y comportamientos inapropiados a los usuarios.
La empresa afirmó que ha abordado este comportamiento concreto, pero el caso plantea una de las principales preocupaciones en el ámbito de la seguridad y la alineación de la inteligencia artificial.
Cuanto más capaces se vuelven los modelos, mejor pueden ocultar comportamientos no deseados, lo que dificulta que los investigadores determinen si se han eliminado por completo.
OpenAI hizo públicos estos casos, junto con otros cinco ejemplos de comportamientos inesperados o preocupantes de los modelos, en el marco de un nuevo sistema para rastrear, investigar e informar sobre casos en los que el comportamiento de los modelos no se ajusta a los objetivos de la empresa.
Los investigadores descubrieron que algunos agentes Sol, aún no publicados, añadían instrucciones a los resúmenes de conversaciones anteriores, que servían a las versiones futuras como recordatorio para ocultar errores. En un caso, un modelo que estaba preparando un documento financiero no tenía los datos históricos requeridos y decidió inventar por su cuenta datos para 2024, mientras indicaba a la versión futura que solo fuera transparente si se le preguntaba.
En otro caso, un agente que estaba creando una lista de proveedores no tenía acceso a internet y se basó en una copia guardada de los documentos de origen. El modelo se dio cuenta de que algunos datos no coincidían con las etiquetas, pero decidió no mencionar este problema en la respuesta final, salvo que fuera necesario.
El caso no está relacionado únicamente con el modelo Sol. Durante el entrenamiento por refuerzo, un modelo inédito de la familia Astra también añadió instrucciones propias a los resúmenes, incluido un caso en el que pedía a la versión siguiente que ignorara los mensajes de los desarrolladores.
Según OpenAI, estos casos forman parte de los comportamientos que la empresa está supervisando en su esfuerzo por comprender y limitar los riesgos de modelos cada vez más autónomos. /Telegrafi/

















