Un errore generato da un assistente AI ha scatenato proteste tra gli utenti: la risposta automatica è stata scambiata per una nuova regola aziendale.
Uno sviluppatore ha segnalato su Reddit un problema nell’uso multi-dispositivo dell’editor di codice AI Cursor. L’interruzione automatica delle sessioni tra dispositivi è stata giustificata da un presunto cambio di policy comunicato da “Sam”, un agente di supporto che si è poi rivelato essere un’intelligenza artificiale. La policy, però, non esisteva. L’AI aveva confabulato.
La risposta del bot, apparentemente plausibile e autorevole, ha provocato una cascata di disdette e segnalazioni, amplificate su Hacker News e Reddit. In seguito, Cursor ha smentito l’esistenza di tale regola e si è scusata pubblicamente. Michael Truell, co-creatore della piattaforma, ha chiarito che l’errore è nato da un aggiornamento di sicurezza del backend e che l’utente è stato rimborsato.
Il caso ricorda l’episodio di Air Canada del 2024, in cui una policy inventata da un chatbot ha portato a una condanna legale contro la compagnia. A differenza di allora, Cursor ha riconosciuto la responsabilità e ha introdotto etichette chiare per distinguere le risposte AI.
L’incidente evidenzia i rischi legati all’uso di intelligenze artificiali in contesti di assistenza clienti senza supervisione umana. La mancanza di trasparenza e la somiglianza con comunicazioni umane possono generare confusione e danni reputazionali significativi.
Approfondimento
📌 Cronologia simili:
- Air Canada chatbot condannato per false informazioni – CBC News
- Allucinazioni LLM: perché sono ancora un rischio? – Nature, febbraio 2024
Consigli di approfondimento
- AI Hallucinations Explained – MIT Technology Review
- Come usare l’AI nel customer support senza rischi – Gartner
Abstract: Pro e rischi etici e sociali
L’uso dell’intelligenza artificiale nel supporto clienti può ottimizzare tempi e risorse, ma presenta rischi significativi: confabulazioni, mancanza di trasparenza e fiducia compromessa. La simulazione di agenti umani non etichettati può risultare ingannevole e causare danni reputazionali e legali. È essenziale introdurre filtri, supervisione umana e una chiara comunicazione all’utente per garantire l’etica nell’interazione. Senza trasparenza, l’AI rischia di diventare un boomerang per le aziende.
