Un negozio di abbigliamento con ottocento modelli comincia a cadere ogni pomeriggio. Il server non è cambiato, il traffico nemmeno, e nel registro compaiono nomi nuovi: Bytespider, GPTBot, ClaudeBot. Il primo istinto è bloccarli tutti. È l'istinto costoso, e non ripara quello che si sta rompendo.
Non sono tutti uguali, ed è la parte che quasi nessuno guarda. Le aziende di IA usano tre robot diversi, con tre nomi diversi, proprio perché tu possa decidere separatamente:
GPTBot (OpenAI), ClaudeBot (Anthropic), Google-Extended (Google), Bytespider (ByteDance, quelli di TikTok), CCBot. Bloccarli non ti toglie nemmeno una visita.OAI-SearchBot, Claude-SearchBot, PerplexityBot. Se li blocchi, smetti di comparire nelle risposte.ChatGPT-User, Claude-User. Non stanno scansionando: stanno servendo un potenziale cliente. OpenAI avverte inoltre che, trattandosi di azioni avviate da un utente, le sue regole robots.txt possono non applicarsi.La lista di blocco che gira nei forum mette i tre gruppi nello stesso sacco. Chiude l'addestramento —che forse volevi chiudere— e per strada ti toglie dall'indice e sbatte la porta in faccia al cliente che stava chiedendo delle tue scarpe.
Adobe segue oltre mille miliardi di visite ai siti retail statunitensi, e da undici mesi consecutivi misura la stessa cosa: il visitatore che arriva da un'IA converte circa il 60 % meglio di quello che arriva da un altro canale. Lascia il 37 % di ricavo in più per visita, mette a carrello il 28 % più spesso e resta quasi la metà del tempo in più sulla scheda.
Ha perfettamente senso: quando quel cliente clicca, il confronto lo ha già fatto dentro la chat. Non viene a guardare, viene deciso.
E non è marginale: il traffico che l'IA manda al commercio è cresciuto del 62 % in un anno, e si è moltiplicato per dodici da fine 2024.
Bloccare un crawler di addestramento ti fa risparmiare banda. Bloccare quello del motore ti cancella dalla risposta che stava per citarti.
Ce n'è uno che è tutto vantaggio e quasi nessuno lo sa. Google-Extended decide se Google può usare i tuoi testi per addestrare Gemini, ed è un permesso separato da Googlebot, che è quello che indicizza il tuo negozio per il motore di sempre.
Ecco quello che conta: i riassunti di IA in cima a Google non attingono a Google-Extended, attingono all'indice normale di Googlebot. Puoi dire a Google di non addestrarsi sulle tue schede e continuare ad apparire esattamente come prima nel motore e in quei riassunti.
Qui crolla metà dei consigli che leggerai. Il robots.txt è una richiesta, non una porta. Funziona con chi decide di rispettarlo.
Il caso più citato è Bytespider, il crawler di ByteDance —l'azienda di TikTok— che alimenta il suo assistente Doubao. ByteDance sostiene che rispetti il robots.txt; quello che riportano gli amministratori è un'altra cosa: c'è chi ha registrato fino a 1,4 milioni di richieste al giorno da quel solo bot, un ritmo dell'ordine di venticinque volte quello di GPTBot. Per Bytespider il robots.txt non basta: va chiuso a livello di server.
E non è l'unico. Nel 2025 Cloudflare ha accusato pubblicamente Perplexity di scansionare con identità non dichiarate quando il suo agente ufficiale veniva bloccato: cambiava user-agent, si fingeva un normale Chrome su macOS e ruotava indirizzi fuori dai suoi intervalli pubblicati. Cloudflare lo ha tolto dalla lista dei bot verificati. Perplexity ha smentito.
Conclusione pratica: il robots.txt vale per OpenAI, Anthropic e Google, che lo rispettano e documentano i loro agenti. Per gli altri serve un blocco vero — una regola di server per user-agent, o l'interruttore di blocco dei crawler di IA che la tua CDN già ti offre se ne usi una.
Torniamo al negozio di abbigliamento. Ottocento modelli non sono ottocento indirizzi. Con la ricerca a faccette accesa —6 taglie, 12 colori, 20 marche, 4 fasce di prezzo— ogni categoria genera 5.760 combinazioni di un solo valore per filtro. Su quaranta categorie, 230.000 URL. E questo contando una sola opzione per filtro: appena il cliente può spuntare due taglie insieme, la cifra va ai milioni.
Nessuna di quelle pagine esiste davvero. Tutte lanciano una query pesante che la cache non può conservare, perché ogni combinazione è diversa.
Quel buco non l'ha scavato l'IA. Era lì da anni e lo pagavi in budget di scansione sprecato con Google, come abbiamo raccontato parlando di faccette e CPU. Quello che ha fatto l'IA è moltiplicare il numero di robot che ci passano dentro —i bot ormai sono più della metà del traffico web— ed è lì che un negozio con poche risorse si rompe: non per una visita costosa, ma per cinquanta insieme.
Per questo bloccare robot cura il sintomo. Quelli che arriveranno il mese prossimo avranno altri nomi.
OAI-SearchBot, Claude-SearchBot, PerplexityBot, ChatGPT-User e Claude-User sono quelli che ti portano il cliente che converte il 60 % meglio.GPTBot, ClaudeBot e CCBot sono opzionali. Google-Extended si chiude gratis.robots.txt: non lo leggerà.Tutto quanto sopra dà per scontato che tu abbia margine. Se sei su un hosting condiviso e il negozio cade ogni pomeriggio, prima si spegne l'incendio: si chiudono i crawler di addestramento e si lasciano entrare solo quelli dei motori.
Ma che sia una decisione con una data, non uno stato definitivo. Un negozio che ha chiuso la porta ai motori di IA non compare quando chiedono di lui, e questo non si vede su nessun grafico: semplicemente non succede.
Se non sai da dove cominciare a tagliare, raccontaci che catalogo hai, quante faccette sono accese e su che server gira, e ti diciamo cosa chiudere, cosa lasciare aperto e cosa sistemare prima ancora di toccare il robots.txt.
Quarantamila pagine viste, zero ordini e l'hosting che avvisa. Non è un attacco: sono bot che percorrono tutte le…
Cambi tema, togli moduli e resta lento. Metà delle volte il problema sta sotto, nella macchina. Come distinguerlo senza…
Il negozio è pronto, i prodotti caricati e da Google non entra nessuno. Sono queste le cinque cose che guardiamo…
È pronto a potenziare il suo negozio PrestaShop? Parliamo del suo progetto e creiamo insieme qualcosa di straordinario.
Ci contatti
