Un’indagine di Cloudflare ha rilevato che Perplexity, motore di ricerca basato su intelligenza artificiale, utilizza crawler non dichiarati per accedere a contenuti online anche quando i siti web hanno esplicitamente vietato l’indicizzazione tramite robots.txt. L’azienda è accusata di aggirare i blocchi di rete con tecniche di obfuscation, suscitando preoccupazioni etiche e di trasparenza.
Cloudflare, che gestisce la protezione di milioni di domini, ha testato più siti creati ad hoc e protetti da regole WAF e robots.txt. Nonostante i divieti, Perplexity è riuscita a fornire risposte dettagliate sui contenuti di tali pagine, utilizzando user-agent camuffati da normali browser Chrome e indirizzi IP non dichiarati. L’attività, stimata in milioni di richieste giornaliere, è stata considerata contraria alle buone pratiche stabilite dall’RFC 9309, che regolamenta il comportamento dei crawler.
In risposta, Cloudflare ha declassato Perplexity dalla lista dei bot verificati e introdotto nuove regole di blocco automatico. Per contrasto, OpenAI è stata citata come esempio positivo: i suoi crawler dichiarati rispettano le direttive dei siti e non adottano tecniche elusive.
La vicenda evidenzia una sfida crescente: editori e creatori di contenuti vogliono maggiore controllo sull’uso delle loro opere per l’addestramento delle AI. Cloudflare ha introdotto strumenti come il “Content Independence Day”, che consente a milioni di siti di disabilitare selettivamente i crawler di intelligenza artificiale.
Cronologia e approfondimenti
- RFC 9309 (IETF, 2022) – Standard tecnico che definisce le regole per l’uso di robots.txt link
- Cloudflare Blog (agosto 2025) – Analisi completa sull’attività dei crawler di Perplexity link
- OpenAI Policy – Linee guida sui crawler trasparenti e rispetto delle direttive dei siti link
Consigli di lettura
- AI e trasparenza: linee guida europee sull’AI Act
- IETF su standard web e bot compliance
Abstract
Il caso Perplexity solleva interrogativi cruciali sull’etica dei crawler AI. Pro: la raccolta dati può arricchire i modelli e migliorare le risposte. Contro: l’uso di tecniche elusive mina la fiducia online, viola la trasparenza e può danneggiare editori e aziende. Le conseguenze future includono una maggiore regolamentazione, sanzioni e possibili conflitti legali tra operatori AI e proprietari di contenuti. A livello sociale, il rischio è una frattura crescente tra l’innovazione tecnologica e la tutela dei diritti digitali.
