Bots et recherche à facettes PrestaShop : CPU à 100 % et pannes
Quarante mille pages vues, zéro commande et l'hébergeur qui alerte. Ce n'est pas une attaque : ce sont des robots…
Une boutique de vêtements de huit cents modèles se met à tomber chaque après-midi. Le serveur n'a pas changé, le trafic non plus, et de nouveaux noms apparaissent dans le journal : Bytespider, GPTBot, ClaudeBot. Le premier réflexe est de tous les bloquer. C'est le réflexe coûteux, et il ne répare pas ce qui casse.
Ils ne sont pas tous pareils, et c'est la partie que presque personne ne regarde. Les entreprises d'IA font tourner trois robots différents, sous trois noms différents, précisément pour que vous puissiez décider séparément :
GPTBot (OpenAI), ClaudeBot (Anthropic), Google-Extended (Google), Bytespider (ByteDance, la société de TikTok), CCBot. Les bloquer ne vous coûte aucune visite.OAI-SearchBot, Claude-SearchBot, PerplexityBot. Si vous les bloquez, vous cessez d'apparaître dans les réponses.ChatGPT-User, Claude-User. Ils n'explorent pas : ils servent un client potentiel. OpenAI précise d'ailleurs que, s'agissant d'actions lancées par un utilisateur, ses règles robots.txt peuvent ne pas s'appliquer.La liste de blocage qui circule sur les forums met les trois groupes dans le même sac. Elle ferme l'entraînement — que vous vouliez peut-être fermer — et au passage vous sort de l'index et claque la porte au client qui se renseignait sur vos baskets.
Adobe suit plus de mille milliards de visites sur les sites marchands américains, et mesure la même chose depuis onze mois d'affilée : le visiteur qui arrive depuis une IA convertit environ 60 % mieux que celui qui arrive par un autre canal. Il laisse 37 % de chiffre en plus par visite, met au panier 28 % plus souvent et reste presque moitié plus longtemps sur la fiche.
C'est logique : quand ce client clique, la comparaison a déjà eu lieu dans la conversation. Il ne vient pas regarder, il vient décidé.
Et ce n'est pas marginal : le trafic envoyé par l'IA au commerce a progressé de 62 % en un an, et a été multiplié par douze depuis fin 2024.
Bloquer un robot d'entraînement vous économise de la bande passante. Bloquer celui du moteur vous efface de la réponse qui allait vous citer.
Il y en a un qui n'a que des avantages et presque personne ne le sait. Google-Extended décide si Google peut utiliser vos textes pour entraîner Gemini, et c'est une autorisation distincte de Googlebot, qui est celui qui indexe votre boutique pour le moteur habituel.
Voilà ce qui compte : les résumés d'IA affichés en haut de Google ne puisent pas dans Google-Extended, ils puisent dans l'index normal de Googlebot. Vous pouvez dire à Google de ne pas s'entraîner sur vos fiches produit et continuer d'apparaître exactement pareil dans le moteur et dans ces résumés.
C'est là que la moitié des conseils que vous allez lire s'effondre. Le robots.txt est une demande, pas une porte. Il fonctionne avec ceux qui choisissent de le respecter.
Le cas le plus cité est Bytespider, le robot de ByteDance — la société de TikTok — qui alimente son assistant Doubao. ByteDance soutient qu'il respecte le robots.txt ; ce que rapportent les administrateurs est autre chose : certains ont enregistré jusqu'à 1,4 million de requêtes par jour de ce seul bot, un rythme de l'ordre de vingt-cinq fois celui de GPTBot. Pour Bytespider, le robots.txt ne suffit pas : il faut le fermer au niveau du serveur.
Et il n'est pas seul. En 2025, Cloudflare a publiquement accusé Perplexity d'explorer sous des identités non déclarées quand son agent officiel était bloqué : changement de user-agent, déguisement en Chrome ordinaire sur macOS, rotation d'adresses hors de ses plages publiées. Cloudflare l'a retiré de sa liste de bots vérifiés. Perplexity a démenti.
Conclusion pratique : le robots.txt vaut pour OpenAI, Anthropic et Google, qui le respectent et documentent leurs agents. Pour les autres, il faut un vrai blocage — une règle serveur par user-agent, ou l'interrupteur de blocage des robots d'IA que votre CDN vous propose déjà si vous êtes derrière un.
Revenons à la boutique de vêtements. Huit cents modèles, ce ne sont pas huit cents adresses. Avec la recherche à facettes activée — 6 tailles, 12 couleurs, 20 marques, 4 tranches de prix — chaque catégorie engendre 5 760 combinaisons d'une seule valeur par filtre. Sur quarante catégories, 230 000 URL. Et cela en comptant une option par filtre : dès que le client peut cocher deux tailles à la fois, le chiffre part en millions.
Aucune de ces pages n'existe vraiment. Toutes déclenchent une requête lourde que le cache ne peut pas garder, puisque chaque combinaison est différente.
Ce trou, ce n'est pas l'IA qui l'a creusé. Il était là depuis des années et vous le payiez en budget d'exploration gaspillé chez Google, comme nous l'avons raconté à propos des facettes et du CPU. Ce que l'IA a fait, c'est multiplier le nombre de robots qui s'y engouffrent — les bots représentent désormais plus de la moitié du trafic web — et c'est là qu'une boutique aux ressources modestes casse : pas à cause d'une visite coûteuse, mais de cinquante à la fois.
C'est pour cela que bloquer des robots traite le symptôme. Ceux qui arriveront le mois prochain porteront d'autres noms.
OAI-SearchBot, Claude-SearchBot, PerplexityBot, ChatGPT-User et Claude-User sont ceux qui vous amènent le client qui convertit 60 % mieux.GPTBot, ClaudeBot et CCBot sont optionnels. Google-Extended se ferme gratuitement.robots.txt : il ne le lira pas.Tout ce qui précède suppose que vous avez de la marge. Si vous êtes sur un hébergement mutualisé et que la boutique tombe chaque après-midi, on éteint d'abord l'incendie : on ferme les robots d'entraînement et on ne laisse entrer que ceux des moteurs.
Mais que ce soit une décision datée, pas un état définitif. Une boutique qui a fermé la porte aux moteurs d'IA n'apparaît pas quand on demande, et cela ne se voit sur aucune courbe : cela n'arrive simplement pas.
Si vous ne savez pas par où commencer à couper, dites-nous quel catalogue vous avez, combien de facettes sont activées et sur quel serveur il tourne, et nous vous dirons ce qu'il faut fermer, ce qu'il faut laisser ouvert et ce qu'il faut réparer avant même de toucher au robots.txt.
Quarante mille pages vues, zéro commande et l'hébergeur qui alerte. Ce n'est pas une attaque : ce sont des robots…
Vous changez de thème, retirez des modules et c'est toujours lent. La moitié du temps, le problème est en dessous, dans…
La boutique est en ligne, les produits sont là et de Google il n'arrive personne. Voici les cinq points que nous…
Prêt à propulser votre boutique PrestaShop ? Parlons de votre projet et créons ensemble quelque chose d'exceptionnel.
Contactez-nous