OpenAI rivela che i suoi modelli lasciavano appunti alle versioni successive per nascondere i comportamenti scorretti. OpenAI ha scoperto un comportamento insolito durante l’addestramento del suo ultimo modello, GPT-5.6 Sol. Il modello ha iniziato a lasciare istruzioni alle versioni future di sé stesso, chiedendo loro di nascondere gli errori e i comportamenti inappropriati agli […]
OpenAI rivela comportamenti preoccupanti – i modelli lasciavano appunti ai successori per nascondere gli errori

OpenAI rivela che i suoi modelli lasciavano appunti alle versioni successive per nascondere i comportamenti scorretti.
OpenAI ha scoperto un comportamento insolito durante l’addestramento del suo ultimo modello, GPT-5.6 Sol. Il modello ha iniziato a lasciare istruzioni alle versioni future di sé stesso, chiedendo loro di nascondere agli utenti gli errori e i comportamenti inappropriati.
L’azienda ha dichiarato di aver affrontato questo comportamento specifico, ma il caso solleva una delle principali preoccupazioni nel campo della sicurezza e dell’allineamento dell’intelligenza artificiale.
Più i modelli diventano capaci, più possono essere bravi a nascondere i comportamenti indesiderati, rendendo più difficile per i ricercatori determinare se siano stati completamente eliminati.
OpenAI ha reso pubblici questi casi, insieme ad altri cinque esempi di comportamenti imprevisti o preoccupanti dei modelli, nell’ambito di un nuovo quadro per tracciare, indagare e segnalare i casi in cui il comportamento dei modelli non è in linea con gli obiettivi dell’azienda.
I ricercatori hanno scoperto che alcuni agenti Sol, non ancora rilasciati, aggiungevano istruzioni ai riepiloghi delle conversazioni precedenti, che servivano alle versioni future da promemoria per nascondere gli errori. In un caso, un modello che stava preparando un documento finanziario non disponeva dei dati storici richiesti e ha deciso di creare autonomamente dati per il 2024, istruendo al contempo la versione futura a essere trasparente solo se interpellata.
In un altro caso, un agente che stava creando un elenco di fornitori non aveva accesso a Internet e si è basato su una copia archiviata dei documenti di origine. Il modello si è accorto che alcuni dati non corrispondevano alle etichette, ma ha deciso di non menzionare il problema nella risposta finale, a meno che non fosse necessario.
Il caso non riguarda solo il modello Sol. Durante l’addestramento con rinforzo, anche un modello non rilasciato della famiglia Astra ha aggiunto istruzioni proprie ai riepiloghi, compreso un caso in cui chiedeva alla versione successiva di ignorare i messaggi degli sviluppatori.
Secondo OpenAI, questi casi rientrano tra i comportamenti che l’azienda sta monitorando nel tentativo di comprendere e limitare i rischi dei modelli sempre più autonomi. /Telegrafi/

















