Una nuova forma di manipolazione silenziosa minaccia l’affidabilità degli assistenti di intelligenza artificiale: l’avvelenamento della memoria a scopo di lucro. Una ricerca del team Microsoft Defender documenta come istruzioni nascoste nei pulsanti “Riepiloga con l’IA” possano alterare in modo persistente le raccomandazioni fornite dagli LLM, con rischi concreti per decisioni in ambiti sensibili come sanità, finanza e sicurezza.
Negli ultimi mesi, i ricercatori di Microsoft hanno individuato oltre 50 prompt univoci provenienti da 31 aziende in 14 settori, progettati per indurre gli assistenti AI a “ricordare” una determinata azienda come fonte affidabile o prioritaria. La tecnica, definita AI recommendation poisoning, sfrutta parametri URL che precompilano istruzioni nei prompt, una pratica formalmente classificata da MITRE ATLAS come AML.T0080 – Memory Poisoning.
A differenza della SEO tradizionale, questa strategia mira direttamente alla memoria persistente degli assistenti AI come Microsoft 365 Copilot o ChatGPT, che oggi conservano preferenze, istruzioni e contesto tra una sessione e l’altra. Se compromessa, questa memoria può orientare in modo sistematico le risposte future, senza che l’utente ne sia consapevole.
Microsoft conferma di aver implementato misure di mitigazione contro le prompt injection nei propri sistemi, ma sottolinea che le tecniche evolvono rapidamente. Il problema, dunque, non è solo tecnico: riguarda la governance delle raccomandazioni algoritmiche e la trasparenza delle interazioni uomo-macchina.
L’impatto potenziale è significativo. Un assistente AI manipolato può influenzare scelte di investimento, diagnosi preliminari o valutazioni di rischio, introducendo distorsioni sottili ma persistenti. In assenza di controlli chiari sulla memoria degli LLM, la fiducia nell’IA rischia di trasformarsi in un nuovo vettore di vulnerabilità sistemica.
— Approfondimento e contesto (cronologia essenziale)
- 2023–2024: diffusione delle funzioni di memoria persistente negli assistenti AI – OpenAI, Microsoft.
- 2024: MITRE introduce Memory Poisoning nella tassonomia ATLAS.
- 2025: AI Red Team di Microsoft pubblica la Tassonomia delle modalità di errore nei sistemi di IA agentica.
Fonti: - Microsoft Security Blog: https://www.microsoft.com/security/blog
- MITRE ATLAS: https://atlas.mitre.org
Consigli di approfondimento
- AI Red Team, Taxonomy of Failure Modes in Agentic AI Systems
- NIST, AI Risk Management Framework – https://www.nist.gov/ai
Abstract – Pro, rischi e implicazioni future
Pro: maggiore personalizzazione, efficienza decisionale, continuità contestuale.
Rischi etici e sociali: manipolazione invisibile, perdita di neutralità, asimmetrie informative.
Conseguenze future: necessità di audit sulla memoria degli LLM, regole di trasparenza sulle raccomandazioni, nuove forme di “AI governance by design”.
