Articolo di riferimento: “Intelligenza artificiale generativa e fragilità della persona: oltre il «blocco», verso un dovere di diligenza relazionale”
Autore: Michele Iaselli — pubblicato su LinkedIn il 3 luglio 2026.
I casi giudiziari legati all’interazione tra utenti vulnerabili e chatbot generativi sollevano una questione destinata a incidere sulla regolamentazione dell’intelligenza artificiale: la sicurezza non può dipendere soltanto dal blocco di alcune domande, ma richiede sistemi capaci di riconoscere il rischio e orientare la persona verso un aiuto umano.
L’intelligenza artificiale conversazionale non viene più utilizzata esclusivamente per studiare, lavorare o cercare informazioni. Sempre più utenti le affidano paure, problemi familiari e difficoltà psicologiche. Secondo l’analisi del giurista Michele Iaselli, il confine tra domanda informativa e richiesta personale è però troppo incerto per essere trasformato in un filtro automatico efficace.
Una domanda sulla depressione può iniziare come approfondimento scientifico e diventare, nel corso della conversazione, una richiesta di sostegno. Un blocco rigido rischierebbe quindi di impedire l’accesso a informazioni utili senza intercettare necessariamente le situazioni più pericolose.
Il problema è emerso anche nei tribunali statunitensi. Nel procedimento promosso da Megan Garcia contro Character.AI dopo la morte del figlio quattordicenne, un giudice federale ha consentito il proseguimento di alcune contestazioni, respingendo in questa fase l’argomento secondo cui le risposte del chatbot sarebbero automaticamente protette dalla libertà di espressione. Le responsabilità restano comunque oggetto del processo e non sono state definitivamente accertate.
Un’altra causa è stata presentata dalla famiglia del sedicenne Adam Raine contro OpenAI. L’atto giudiziario attribuisce al sistema carenze progettuali e insufficienti protezioni per minori e utenti vulnerabili; OpenAI ha contestato la responsabilità e dichiarato che il chatbot aveva più volte indicato risorse di emergenza.
La prospettiva proposta da Iaselli è quella di un dovere di diligenza relazionale: valutazione progressiva del contesto, individuazione dei segnali di crisi, risposte non manipolative, limitazione dell’antropomorfismo e collegamento tempestivo con familiari, professionisti o servizi di emergenza.
Anche l’AI Act europeo vieta i sistemi che sfruttano vulnerabilità legate all’età, alla disabilità o alla condizione sociale quando possono alterare il comportamento e provocare un danno significativo.
La sfida non consiste dunque nel proibire ogni conversazione personale, ma nel progettare chatbot che sappiano riconoscere quando una relazione digitale sta diventando pericolosa.
Cronologia essenziale
Febbraio 2024: muore il quattordicenne Sewell Setzer III; la madre avvia successivamente un’azione contro Character.AI.
Maggio 2025: un giudice federale permette alla causa Garcia di proseguire su alcune contestazioni, senza pronunciarsi definitivamente sulla responsabilità.
Agosto 2025: i genitori di Adam Raine depositano la causa contro OpenAI e altri soggetti, formulando accuse di negligenza, difetto di progettazione e responsabilità da prodotto.
2 febbraio 2025: diventano applicabili nell’Unione europea i divieti dell’articolo 5 dell’AI Act, compreso quello relativo allo sfruttamento dannoso delle vulnerabilità.
3 luglio 2026: Michele Iaselli pubblica la riflessione sul passaggio dal semplice blocco al dovere di diligenza relazionale.
Approfondimenti
L’American Psychological Association avverte che chatbot generativi e applicazioni di benessere mentale possono produrre effetti indesiderati e, in determinate circostanze, dannosi.
Una ricerca del 2026 propone di superare sia l’assistenza incontrollata sia il rifiuto automatico, utilizzando l’AI come ponte verso servizi umani affidabili, senza attribuirle il ruolo di terapeuta.
Abstract: opportunità, rischi e conseguenze
Opportunità: i chatbot possono offrire un primo orientamento, ridurre l’isolamento e facilitare l’accesso ai servizi, soprattutto quando l’assistenza tradizionale non è immediatamente disponibile.
Rischi: dipendenza emotiva, falsa percezione di empatia, consigli inappropriati, profilazione di dati sensibili e sostituzione impropria del rapporto terapeutico.
Possibili conseguenze future: la regolamentazione potrebbe imporre valutazioni del rischio conversazionale, verifiche rafforzate dell’età, audit indipendenti, limiti alle personalità eccessivamente antropomorfe e procedure obbligatorie di escalation verso interlocutori umani.
