OpenAI ha introdotto un metodo innovativo per migliorare la sicurezza dei modelli di intelligenza artificiale (AI) utilizzando le Ricompense Basate su Regole (RBR). Questo approccio permette ai modelli di comportarsi in modo sicuro senza la necessità di una raccolta intensiva di dati umani. Tradizionalmente, la regolazione dei modelli AI si è basata sull’apprendimento tramite feedback umano (RLHF), una tecnica che, sebbene efficace, risulta inefficiente per compiti ripetitivi e soggetta a obsolescenza con il cambiamento delle politiche di sicurezza.
Le RBR introducono un sistema di regole chiare e semplici che valutano se le risposte del modello rispettano gli standard di sicurezza prefissati. Questo sistema, integrato nella pipeline RLHF standard, permette di mantenere un equilibrio tra l’essere utile e prevenire comportamenti dannosi, senza la necessità di continui input umani. OpenAI ha implementato le RBR nei suoi modelli fin dal lancio di GPT-4, incluso GPT-4o mini, e prevede di estenderne l’uso in futuro.
Il processo delle RBR prevede la definizione di proposizioni semplici riguardanti aspetti desiderati o indesiderati delle risposte del modello. Queste proposizioni formano regole che catturano le sfumature delle risposte sicure e appropriate in vari scenari. Ad esempio, una regola può stabilire che il modello dovrebbe rifiutare richieste pericolose con un breve rifiuto e una scusa.
Negli esperimenti, i modelli addestrati con RBR hanno dimostrato prestazioni di sicurezza comparabili a quelli addestrati con feedback umano, riducendo al contempo le risorse necessarie per la raccolta di dati. Questo rende il processo di addestramento più veloce e conveniente. Le RBR possono essere rapidamente aggiornate per riflettere nuove politiche di sicurezza, senza bisogno di un addestramento estensivo.
Le Ricompense Basate su Regole rappresentano una svolta significativa per garantire la sicurezza e l’affidabilità dei modelli AI, mantenendo un equilibrio tra utilità e prevenzione di danni.
