Un nuovo approccio rivoluzionario per migliorare il ragionamento matematico è stato sviluppato da ricercatori di spicco nel campo dell’intelligenza artificiale. Utilizzando la “supervisione del processo”, invece di premiare semplicemente la risposta finale corretta, un modello addestrato ha raggiunto un nuovo stato dell’arte nella risoluzione dei problemi matematici. La supervisione del processo consiste nel premiare ogni passo di ragionamento corretto, fornendo un beneficio significativo per l’allineamento del modello con il pensiero umano.
Nei recenti anni, i grandi modelli di linguaggio hanno notevolmente migliorato la loro capacità di eseguire ragionamenti complessi a più passi. Tuttavia, anche i modelli più avanzati producono ancora errori logici, spesso chiamati “allucinazioni”. Mitigare le allucinazioni rappresenta un passo critico verso la creazione di un’intelligenza artificiale allineata.
È possibile addestrare modelli di ricompensa per individuare le allucinazioni utilizzando la supervisione del risultato, che fornisce un feedback basato sul risultato finale, o la supervisione del processo, che fornisce un feedback per ogni singolo passo del ragionamento. Sulla base di precedenti lavori, è stato condotto un confronto dettagliato tra questi due metodi utilizzando il dataset MATH come banco di prova. È emerso che la supervisione del processo porta a prestazioni significativamente migliori, anche valutando gli esiti. Per favorire la ricerca correlata, è stato reso disponibile il nostro dataset completo di supervisione del processo.
La supervisione del processo presenta diversi vantaggi in termini di allineamento rispetto alla supervisione del risultato. Essa premia direttamente il modello per seguire un ragionamento allineato, poiché ogni passo del processo riceve una supervisione precisa. Inoltre, la supervisione del processo tende a produrre ragionamenti interpretabili, poiché incoraggia il modello a seguire un processo approvato dagli esseri umani. Al contrario, la supervisione del risultato potrebbe premiare un processo non allineato ed è generalmente più difficile da scrutinare.
In alcuni casi, metodi più sicuri per i sistemi di intelligenza artificiale possono comportare una riduzione delle prestazioni, un costo noto come “tassa di allineamento”. In generale, qualsiasi tassa di allineamento potrebbe ostacolare l’adozione di metodi di allineamento, a causa della pressione per implementare il modello più capace. I nostri risultati mostrano che la supervisione del processo comporta effettivamente una tassa di allineamento negativa, almeno nel campo della matematica. Ciò potrebbe aumentare l’adozione della supervisione del processo, con effetti positivi sull’allineamento.
Per valutare i modelli di ricompensa supervisionati dal processo e dal risultato, sono stati utilizzati problemi provenienti dal set di test MATH. Sono state generate molte soluzioni per ogni problema, e successivamente è stata selezionata la soluzione con il punteggio più alto da ciascun modello di ricompensa. Il grafico mostra la percentuale di soluzioni scelte che raggiungono la risposta finale corretta, in relazione al numero di soluzioni considerate. Non solo il modello di ricompensa supervisionato dal processo ottiene prestazioni migliori in generale, ma il divario di prestazioni si amplia all’aumentare delle soluzioni considerate per ogni problema. Ciò dimostra che il modello di ricompensa supervisionato dal processo è molto più affidabile.
