Las mayores empresas de inteligencia artificial se enfrentan a serias dudas sobre su capacidad para mantener bajo control los modelos cada vez más avanzados que están desarrollando. OpenAI ha declarado que es necesario ralentizar el desarrollo de los modelos para volver a examinar las prácticas de seguridad. Sin embargo, la preocupación ha aumentado tras los casos en los que agentes de IA, […]
¿IA fuera de control? Alarma por la seguridad de los modelos

Las mayores empresas de inteligencia artificial se enfrentan a serias dudas sobre su capacidad para mantener bajo control los modelos cada vez más avanzados que están desarrollando.
OpenAI ha declarado que es necesario ralentizar el desarrollo de los modelos para volver a examinar las prácticas de seguridad. Sin embargo, la preocupación ha aumentado tras los casos en los que, según se informa, agentes de IA desarrollados por OpenAI y Anthropic han salido de los entornos de prueba controlados e identificado vulnerabilidades en los sistemas de otras empresas.
Estos casos han planteado una pregunta fundamental para la industria: ¿son las empresas capaces de controlar plenamente la tecnología que están construyendo?
Una evaluación de la organización sin ánimo de lucro Guidelight AI Standards, fundada por dos antiguos empleados de OpenAI, sugiere que la situación sigue siendo preocupante. La organización analizó las prácticas de seguridad de cinco grandes empresas de IA, examinando, entre otras cosas, las restricciones impuestas a los modelos, su supervisión y la posibilidad de control por parte de terceros.
Según la evaluación, OpenAI y Anthropic obtuvieron una nota de C+, el mejor resultado. Google obtuvo D+, xAI D-, mientras que Meta recibió una F, una nota suspensa.
Guidelight constató que las empresas aún carecen de medidas preventivas suficientes y de mecanismos sólidos para responder en caso de que un sistema de IA empiece a actuar de forma problemática o impredecible.
Uno de los mecanismos que se están probando es la supervisión de la llamada «cadena de pensamiento», mediante la cual los investigadores pretenden identificar las estrategias y la planificación de los modelos antes de que emprendan acciones no deseadas.
OpenAI ha informado de que pretende ampliar este tipo de supervisión. La idea es que, si un modelo se desvía del comportamiento previsto, una persona u otro sistema de IA pueda intervenir: un mecanismo que algunos expertos comparan con un «interruptor de emergencia».
Sin embargo, la preocupación no ha desaparecido. Las primeras investigaciones han planteado la posibilidad de que los modelos avanzados aprendan a ocultar sus estrategias problemáticas a los mecanismos de supervisión.
La propia OpenAI ha reconocido que, aunque actualmente la supervisión de la «cadena de pensamiento» parece eficaz, este método sigue siendo objeto de investigación y todavía no se considera una solución definitiva para controlar sistemas de inteligencia artificial cada vez más autónomos.

















