E-shop s oblečením a osmi sty modely začne každé odpoledne padat. Server se nezměnil, návštěvnost taky ne a v logu se objevují nová jména: Bytespider, GPTBot, ClaudeBot. První instinkt je zablokovat je všechny. To je ten drahý instinkt a neopraví, co se doopravdy rozbíjí.
Kteří AI boti chodí do vašeho e-shopu a co který dělá?
Nejsou všichni stejní, a právě to skoro nikdo nekontroluje. Firmy s AI provozují tři různé roboty se třemi různými jmény, právě proto, abyste mohli rozhodovat zvlášť:
- Trénink. Sbírají stránky pro budoucí verze modelu:
GPTBot (OpenAI), ClaudeBot (Anthropic), Google-Extended (Google), Bytespider (ByteDance, firma za TikTokem), CCBot. Když je zablokujete, nepřijdete o žádné návštěvy.
- Vyhledávání. Indexují váš e-shop, aby mohl být citován, když se někdo zeptá:
OAI-SearchBot, Claude-SearchBot, PerplexityBot. Zablokujete je a přestanete se objevovat v odpovědích.
- Požadavek člověka. Stahují vaši stránku, protože se na vás někdo právě zeptal:
ChatGPT-User, Claude-User. Neprocházejí web: obsluhují potenciálního zákazníka. OpenAI navíc upozorňuje, že protože jde o akce spuštěné uživatelem, pravidla v jeho robots.txt se na ně nemusejí vztahovat.
Seznam k blokování, který koluje po fórech, hází všechny tři skupiny do jednoho pytle. Zavře trénink – což jste klidně mohli chtít mít zavřené – a cestou vás vyřadí z indexu a zabouchne dveře před zákazníkem, který se ptal na vaše tenisky.
Zablokovat je všechny vás stojí prodeje, a je to změřené
Adobe sleduje přes bilion návštěv amerických maloobchodních webů a jedenáct měsíců v řadě naměřilo totéž: návštěvník, který přijde z AI, konvertuje zhruba o 60 % lépe než ten, který přijde jakýmkoli jiným kanálem. Na jednu návštěvu nechá o 37 % víc tržeb, do košíku přidává o 28 % častěji a na stránce stráví skoro o polovinu víc času.
Dává to smysl: než zákazník klikne, srovnání už proběhlo v chatu. Neprohlíží si, už se rozhodl.
A není to okrajové: návštěvnost maloobchodu přivedená z AI vzrostla o 62 % za rok a od konce roku 2024 se zdvanáctinásobila.
Zablokovat tréninkového robota vám ušetří přenosy. Zablokovat vyhledávacího robota vás vymaže z odpovědi, která se vás chystala citovat.
Google-Extended: jediný, kterého zavřete zadarmo
Je tu jeden, který má jen výhody, a skoro nikdo o něm neví. Google-Extended rozhoduje o tom, jestli Google smí váš text použít k tréninku Gemini, a je to povolení oddělené od Googlebota, který indexuje váš e-shop pro běžné vyhledávání.
Podstatné je tohle: AI souhrny nahoře v Googlu z Google-Extended nečerpají, čerpají z běžného indexu Googlebota. Můžete Googlu říct, ať na vašich detailech produktů netrénuje, a ve vyhledávání i v těch souhrnech se dál objevovat přesně jako dřív.
Bytespider váš robots.txt ignoruje
Tady se rozpadne polovina rad, které si přečtete. robots.txt je prosba, ne dveře. Funguje u toho, kdo se ji rozhodne respektovat.
Nejcitovanější případ je Bytespider, robot ByteDance – firmy za TikTokem –, který krmí jejich asistenta Doubao. ByteDance tvrdí, že robots.txt respektuje; co hlásí správci, je jiná věc: někteří zaznamenali až 1,4 milionu požadavků denně od jediného bota, tempo v řádu pětadvacetinásobku GPTBota. U Bytespidera robots.txt nestačí: musí se zavřít na serveru.
A není sám. V roce 2025 Cloudflare veřejně obvinil Perplexity, že při zablokování svého deklarovaného agenta prochází weby pod nedeklarovanými identitami: měnil user-agenta, vydával se za běžný Chrome na macOS a střídal adresy mimo své zveřejněné rozsahy. Cloudflare ho vyřadil ze seznamu ověřených botů. Perplexity to popřela.
Praktický závěr: robots.txt funguje u OpenAI, Anthropic a Googlu, kteří ho respektují a své agenty dokumentují. Na ostatní potřebujete skutečnou blokaci – pravidlo na serveru podle user-agenta, nebo přepínač pro blokování AI robotů, který vám už nabízí vaše CDN, pokud nějakou používáte.
Počty, které vysvětlují, proč váš e-shop padá
Zpátky k e-shopu s oblečením. Osm set modelů není osm set adres. Se zapnutým fasetovým vyhledáváním – 6 velikostí, 12 barev, 20 značek, 4 cenová pásma – vytvoří každá kategorie 5 760 kombinací s jednou hodnotou na filtr. Ve čtyřiceti kategoriích 230 000 URL. A to počítáme jednu možnost na filtr: jakmile zákazník může zaškrtnout dvě velikosti najednou, číslo vyskočí do milionů.
Žádná z těch stránek doopravdy neexistuje. Každá spustí těžký dotaz, který si mezipaměť neudrží, protože každá kombinace je jiná.
Tu díru nevykopala AI. Byla tam léta a platili jste za ni promrhaným rozpočtem procházení Googlu, jak jsme popsali v článku o fasetovém vyhledávání a CPU. AI jen znásobila počet robotů, kteří jí procházejí – boti už tvoří víc než polovinu veškerého provozu na webu –, a tam se e-shop se skromnými zdroji láme: ne kvůli jedné drahé návštěvě, ale kvůli padesáti najednou.
Proto blokování robotů léčí příznak. Ti, kdo přijdou příští měsíc, se budou jmenovat jinak.
Co dělat a v jakém pořadí?
- Zavřete URL, které by neměly existovat pro nikoho. Kombinace filtrů, výsledky interního vyhledávání, řazení, strana 47 výpisu, košík a zákaznický účet. Ani pro AI, ani pro Google. Tohle sníží zátěž CPU.
- Nechte otevřené vyhledávací roboty AI.
OAI-SearchBot, Claude-SearchBot, PerplexityBot, ChatGPT-User a Claude-User jsou ti, kdo vám přivádějí zákazníka, který konvertuje o 60 % lépe.
- Rozhodněte o tréninku.
GPTBot, ClaudeBot a CCBot jsou volitelní. Google-Extended zavřete zadarmo.
- Zablokujte Bytespidera na serveru, ne v
robots.txt: ten číst nebude.
- Týden čtěte logy před změnou i po ní. Jen to vám řekne, jestli jste se trefili.
A pokud server už nemá z čeho brát
Všechno výše předpokládá, že máte rezervu. Pokud jste na sdíleném hostingu a e-shop každé odpoledne padá, nejdřív uhaste požár: zavřete tréninkové roboty a pusťte dovnitř jen ty vyhledávací.
Ale ať je to rozhodnutí s datem, ne trvalý stav. E-shop, který zavřel dveře vyhledávacím robotům AI, se neobjeví, když se na něj lidé ptají, a to se nikdy neukáže v žádném grafu: prostě se to nestane.
Přesně tohle rozdělení má v sobě Ochrana proti botům pro PrestaShop: GPTBot, ClaudeBot, CCBot, Bytespider a ostatní tréninkoví roboti jsou zablokovaní na serveru – kam robots.txt nedosáhne –, zatímco vyhledávací boti AI a ověřený Google chodí dál a seznam se upravuje v administraci v den, kdy se změní. A pokud chcete, abychom se na to podívali s vámi, napište nám, jak se váš server drží.
Pokud nevíte, kde začít škrtat, napište nám, jaký máte katalog, kolik faset je zapnutých a na jakém serveru běží, a my vám řekneme, co zavřít, co nechat otevřené a co je potřeba opravit dřív, než vůbec sáhnete na robots.txt.