Nell’ultimo anno, la velocità, la scala e la sofisticazione degli attacchi informatici sono aumentate parallelamente allo sviluppo rapido e all’adozione dell’Intelligenza Artificiale (IA). I difensori stanno appena iniziando a riconoscere e applicare il potere dell’IA generativa per spostare l’equilibrio della sicurezza informatica a loro favore e restare un passo avanti agli avversari. Allo stesso tempo, è importante comprendere come l’IA possa essere potenzialmente abusata nelle mani degli attori minacciosi. In collaborazione con OpenAI, oggi pubblichiamo una ricerca sulle minacce emergenti nell’era dell’IA, concentrandoci sulle attività identificate associate ad attori minacciosi noti, tra cui iniezioni immediate, tentativi di abuso di modelli linguistici di grandi dimensioni (LLM) e frodi. La nostra analisi sull’attuale utilizzo della tecnologia LLM da parte degli attori minacciosi ha rivelato comportamenti coerenti con attacchi che utilizzano l’IA come un altro strumento di produttività nel panorama offensivo. È possibile leggere il blog di OpenAI sulla ricerca qui. Microsoft e OpenAI non hanno ancora osservato tecniche di attacco o abuso particolarmente nuove o uniche abilitate dall’IA risultanti dall’uso degli attori minacciosi di AI. Tuttavia, Microsoft e i nostri partner continuano a studiare attentamente questo panorama.
L’obiettivo del partenariato tra Microsoft e OpenAI, compresa la pubblicazione di questa ricerca, è garantire l’uso sicuro e responsabile delle tecnologie dell’IA come ChatGPT, mantenendo gli standard più elevati di applicazione etica per proteggere la comunità da potenziali abusi. Come parte di questo impegno, abbiamo adottato misure per interrompere gli asset e gli account associati agli attori minacciosi, migliorare la protezione della tecnologia LLM di OpenAI e degli utenti dagli attacchi o dall’abuso e plasmare le linee guida e i meccanismi di sicurezza intorno ai nostri modelli. Inoltre, siamo profondamente impegnati nell’utilizzare l’IA generativa per contrastare gli attori minacciosi e sfruttare il potere di nuovi strumenti, tra cui Microsoft Copilot for Security, per elevare i difensori ovunque.
Un approccio basato su principi per rilevare e bloccare gli attori minacciosi Il progresso della tecnologia crea una domanda di misure di sicurezza informatica solide. Ad esempio, l’Ordine Esecutivo della Casa Bianca sull’IA richiede test di sicurezza rigorosi e supervisione governativa per i sistemi AI che hanno un impatto significativo sulla sicurezza nazionale ed economica o sulla salute pubblica e la sicurezza. Le nostre azioni per migliorare le salvaguardie dei nostri modelli di AI e collaborare con il nostro ecosistema sulla creazione, implementazione e utilizzo sicuro di questi modelli si allineano alla richiesta dell’Ordine Esecutivo di standard di sicurezza e sicurezza AI completi.
In linea con il ruolo di Microsoft nell’IA e nella cybersecurity, oggi annunciamo i principi che plasmano la politica e le azioni di Microsoft per mitigare i rischi associati all’uso dei nostri strumenti e API di AI da parte di minacce persistenti avanzate (APTs) nazionali, manipolatori persistenti avanzati (APMs) e sindacati criminali informatici che monitoriamo.
Questi principi includono:
Identificazione e azione contro l’uso maligno degli attori minacciosi: Una volta rilevato l’uso di qualsiasi interfaccia di programmazione delle applicazioni (API), servizi o sistemi AI di Microsoft da parte di un attore minaccioso identificato, inclusi APT o APM di stato-nazione, o i sindacati criminali informatici che monitoriamo, Microsoft intraprenderà le azioni appropriate per interrompere le loro attività, ad esempio disabilitando gli account utilizzati, terminando i servizi o limitando l’accesso alle risorse.
Notifica ad altri fornitori di servizi AI: Quando rileviamo l’uso da parte di un attore minaccioso di AI di un altro fornitore di servizi, API di AI, servizi e/o sistemi, Microsoft notificherà tempestivamente il fornitore di servizi e condividerà dati rilevanti. Ciò consente al fornitore di servizi di verificare indipendentemente i nostri risultati e intraprendere azioni in conformità con le proprie politiche.
Collaborazione con altre parti interessate: Microsoft collaborerà con altre parti interessate per scambiare regolarmente informazioni sull’uso degli attori minacciosi di AI rilevato. Questa collaborazione mira a promuovere risposte collettive, coerenti ed efficaci ai rischi a livello di ecosistema.
Trasparenza: Come parte dei nostri sforzi continui per promuovere l’uso responsabile dell’IA, Microsoft informerà il pubblico e le parti interessate sulle azioni intraprese in base a questi principi degli attori minacciosi, incluso la natura e l’entità dell’uso dell’IA da parte degli attori minacciosi rilevati all’interno dei nostri sistemi e le misure intraprese contro di loro, se opportuno.
Microsoft rimane impegnata nell’innovazione responsabile dell’IA, dando priorità alla sicurezza e all’integrità delle nostre tecnologie nel rispetto dei diritti umani e degli standard etici. Questi principi annunciati oggi si basano sulle pratiche di AI responsabile di Microsoft, sui nostri impegni volontari per promuovere l’innovazione responsabile dell’IA e sul Codice di Condotta Azure OpenAI. Seguiamo questi principi come parte dei nostri impegni più ampi per
rafforzare il diritto internazionale e le norme e per promuovere gli obiettivi della Dichiarazione di Bletchley sostenuta da 29 paesi.
Le difese complementari di Microsoft e OpenAI proteggono le piattaforme di IA Poiché il partenariato tra Microsoft e OpenAI si estende anche alla sicurezza, le aziende possono agire quando emergono attori minacciosi noti ed emergenti. Microsoft Threat Intelligence monitora più di 300 attori minacciosi unici, tra cui 160 attori di stato-nazione, 50 gruppi di ransomware e molti altri. Questi avversari utilizzano varie identità digitali e infrastrutture di attacco. Gli esperti e i sistemi automatizzati di Microsoft analizzano e correlano continuamente questi attributi, scoprendo gli sforzi degli attaccanti per sfuggire alla rilevazione o ampliare le proprie capacità sfruttando nuove tecnologie. In linea con la prevenzione delle azioni degli attori minacciosi su tutte le nostre tecnologie e lavorando a stretto contatto con i partner, Microsoft continua a studiare l’uso dell’IA e dei LLM da parte degli attori minacciosi, a collaborare con OpenAI per monitorare l’attività degli attacchi e applicare ciò che apprendiamo per migliorare costantemente le difese. Questo articolo fornisce una panoramica delle attività osservate raccolte dall’infrastruttura degli attori minacciosi noti identificati da Microsoft Threat Intelligence, quindi condivise con OpenAI per identificare un possibile uso o abuso malintenzionato della loro piattaforma e proteggere i nostri clienti comuni da future minacce o danni.
Riconoscendo la rapida crescita dell’IA e l’uso emergente dei LLM nelle operazioni cyber, continuiamo a lavorare con il MITRE per integrare queste tattiche, tecniche e procedure (TTP) a tema LLM nel framework MITRE ATT&CK® o nella knowledge base MITRE ATLAS™ (Adversarial Threat Landscape for Artificial-Intelligence Systems). Questa espansione strategica riflette un impegno non solo nel monitorare e neutralizzare le minacce, ma anche nel promuovere lo sviluppo di contromisure nel contesto in evoluzione delle operazioni cyber alimentate dall’IA. Un elenco completo delle TTP a tema LLM, che include quelle identificate durante le nostre indagini, è riassunto nell’allegato.
Sommario delle conclusioni di Microsoft e OpenAI e dell’intelligence sulle minacce L’ecosistema delle minacce negli ultimi anni ha rivelato un tema costante di attori minacciosi che seguono le tendenze tecnologiche parallelamente ai loro difensori. Gli attori minacciosi, come i difensori, stanno esaminando l’IA, inclusi i LLM, per migliorare la loro produttività e sfruttare piattaforme accessibili che potrebbero avanzare nei loro obiettivi e tecniche di attacco. Gruppi di criminali informatici, attori minacciosi di stato-nazione e altri avversari stanno esplorando e testando diverse tecnologie AI mentre emergono, nel tentativo di comprendere il valore potenziale per le loro operazioni e i controlli di sicurezza che potrebbero dover aggirare. Sul fronte dei difensori, è vitale rafforzare questi stessi controlli di sicurezza dagli attacchi e implementare un monitoraggio altrettanto sofisticato che anticipi e blocchi l’attività maligna.
Sebbene le motivazioni e la complessità dei diversi attori minacciosi possano variare, hanno compiti comuni da svolgere nel corso del targeting e degli attacchi. Questi includono la ricognizione, come apprendere informazioni sulle industrie, i luoghi e le relazioni potenziali delle vittime; assistenza nella codifica, inclusa l’ottimizzazione di script software e lo sviluppo di malware; e assistenza nell’apprendimento e nell’uso delle lingue native. Il supporto linguistico è una caratteristica naturale dei LLM ed è attraente per gli attori minacciosi con un focus continuo sull’ingegneria sociale e su altre tecniche che si basano su comunicazioni false e ingannevoli personalizzate per i loro obiettivi lavorativi, reti professionali e altre relazioni.
È importante sottolineare che la nostra ricerca con OpenAI non ha identificato attacchi significativi che impiegano i LLM che monitoriamo attentamente. Allo stesso tempo, riteniamo che questa ricerca sia importante da pubblicare per esporre movimenti iniziali e incrementali che osserviamo attuati da attori minacciosi noti, e condividere informazioni su come li stiamo bloccando e contrastando con la comunità dei difensori.
Mentre gli attaccanti manterranno l’interesse per l’IA e testeranno le attuali capacità delle tecnologie e i controlli di sicurezza, è importante mantenere questi rischi nel contesto. Come sempre, le pratiche di igiene come l’autenticazione multifattore (MFA) e le difese Zero Trust sono essenziali perché gli attaccanti potrebbero utilizzare strumenti basati sull’IA per migliorare i loro attacchi informatici esistenti che si basano sull’ingegneria sociale e sulla ricerca di dispositivi e account non protetti.
