KI-Bots in PrestaShop: welche sperren und welche Umsatz bringen

Ein Modeshop mit achthundert Modellen fällt plötzlich jeden Nachmittag um. Der Server hat sich nicht geändert, der Traffic auch nicht, und im Protokoll tauchen neue Namen auf: Bytespider, GPTBot, ClaudeBot. Der erste Reflex ist, sie alle zu sperren. Das ist der teure Reflex, und er repariert nicht, was gerade kaputtgeht.

Welche KI-Bots deinen Shop besuchen und was jeder tut

Sie sind nicht alle gleich, und das ist der Teil, den fast niemand nachsieht. KI-Unternehmen betreiben drei verschiedene Robots mit drei verschiedenen Namen — genau damit du getrennt entscheiden kannst:

• Training. Sie sammeln Seiten für künftige Versionen des Modells: GPTBot (OpenAI), ClaudeBot (Anthropic), Google-Extended (Google), Bytespider (ByteDance, die TikTok-Firma), CCBot. Sie zu sperren kostet dich keinen einzigen Besuch.
• Suchmaschine. Sie indexieren deinen Shop, um ihn zitieren zu können, wenn jemand fragt: OAI-SearchBot, Claude-SearchBot, PerplexityBot. Sperrst du sie, tauchst du in den Antworten nicht mehr auf.
• Anfrage eines Menschen. Sie holen deine Seite, weil gerade jemand nach dir gefragt hat: ChatGPT-User, Claude-User. Sie crawlen nicht: Sie bedienen einen möglichen Kunden. OpenAI weist zudem darauf hin, dass bei nutzerinitiierten Aktionen die eigenen robots.txt-Regeln möglicherweise nicht greifen.

Die Sperrliste, die durch die Foren geht, wirft alle drei Gruppen in einen Topf. Sie schließt das Training — das du vielleicht wirklich schließen wolltest — und nimmt dich nebenbei aus dem Index und knallt dem Kunden die Tür zu, der nach deinen Sneakern gefragt hat.

Alle zu sperren kostet dich Umsatz, und das ist gemessen

Adobe verfolgt über eine Billion Besuche auf US-Shopseiten und misst seit elf Monaten in Folge dasselbe: Wer aus einer KI kommt, konvertiert rund 60 % besser als jemand über einen anderen Kanal. Er lässt 37 % mehr Umsatz pro Besuch, legt 28 % häufiger in den Warenkorb und bleibt fast die Hälfte länger auf der Produktseite.

Das ergibt Sinn: Wenn dieser Kunde klickt, hat der Vergleich längst im Chat stattgefunden. Er kommt nicht zum Schauen, er kommt entschieden.

Und es ist keine Randerscheinung: Der Traffic, den KI in den Handel schickt, ist in einem Jahr um 62 % gewachsen und hat sich seit Ende 2024 verzwölffacht.

Einen Trainings-Crawler zu sperren spart dir Bandbreite. Den Such-Crawler zu sperren löscht dich aus der Antwort, die dich zitieren wollte.

Google-Extended: der einzige, den du kostenlos schließen kannst

Es gibt einen, der nur Vorteile hat, und kaum jemand weiß davon. Google-Extended entscheidet, ob Google deine Texte zum Training von Gemini verwenden darf, und es ist eine von Googlebot getrennte Erlaubnis — Googlebot ist der, der deinen Shop für die gewohnte Suche indexiert.

Und jetzt der entscheidende Punkt: die KI-Zusammenfassungen oben bei Google speisen sich nicht aus Google-Extended, sondern aus dem normalen Index von Googlebot. Du kannst Google sagen, dass es nicht mit deinen Produktseiten trainieren soll, und erscheinst trotzdem genau wie vorher in der Suche und in diesen Zusammenfassungen.

Bytespider ignoriert deine robots.txt

Hier bricht die Hälfte der Ratschläge zusammen, die du lesen wirst. Die robots.txt ist eine Bitte, keine Tür. Sie wirkt bei denen, die sich entscheiden, sie zu achten.

Der meistzitierte Fall ist Bytespider, der Crawler von ByteDance — der TikTok-Firma —, der deren Assistenten Doubao füttert. ByteDance erklärt, die robots.txt zu respektieren; was Administratoren berichten, ist etwas anderes: Manche haben bis zu 1,4 Millionen Anfragen pro Tag von diesem einen Bot protokolliert, ein Tempo in der Größenordnung des Fünfundzwanzigfachen von GPTBot. Bei Bytespider reicht die robots.txt nicht: Er muss auf Serverebene geschlossen werden.

Und er ist nicht allein. 2025 warf Cloudflare Perplexity öffentlich vor, mit nicht deklarierten Identitäten zu crawlen, sobald der offizielle Agent gesperrt war: wechselnder User-Agent, Tarnung als gewöhnlicher Chrome auf macOS, rotierende Adressen außerhalb der veröffentlichten Bereiche. Cloudflare strich ihn von der Liste verifizierter Bots. Perplexity bestritt es.

Praktische Schlussfolgerung: Die robots.txt gilt für OpenAI, Anthropic und Google, die sie achten und ihre Agenten dokumentieren. Für den Rest braucht es echtes Blocken — eine Serverregel nach User-Agent, oder den Schalter zum Sperren von KI-Crawlern, den dein CDN dir längst anbietet, wenn du hinter einem sitzt.

Die Rechnung, die erklärt, warum dein Shop umfällt

Zurück zum Modeshop. Achthundert Modelle sind keine achthundert Adressen. Mit eingeschalteter Facettensuche — 6 Größen, 12 Farben, 20 Marken, 4 Preisspannen — erzeugt jede Kategorie 5.760 Kombinationen mit nur einem Wert je Filter. Über vierzig Kategorien sind das 230.000 URLs. Und das bei einer Option pro Filter: Sobald der Kunde zwei Größen gleichzeitig anhaken kann, geht die Zahl in die Millionen.

Keine dieser Seiten existiert wirklich. Jede feuert eine schwere Abfrage ab, die der Cache nicht behalten kann, weil jede Kombination anders ist.

Dieses Loch hat nicht die KI gegraben. Es war seit Jahren da, und du hast es mit verschwendetem Crawl-Budget bei Google bezahlt, wie wir es beim Thema Facettensuche und CPU beschrieben haben. Die KI hat nur die Zahl der Robots vervielfacht, die hindurchgehen — Bots machen inzwischen mehr als die Hälfte des Web-Traffics aus —, und genau da bricht ein Shop mit wenig Ressourcen: nicht an einem teuren Besuch, sondern an fünfzig gleichzeitig.

Deshalb behandelt das Sperren von Robots nur das Symptom. Die, die nächsten Monat kommen, heißen anders.

Was zu tun ist, der Reihe nach

1. Schließe die URLs, die für niemanden existieren sollten. Filterkombinationen, interne Suchergebnisse, Sortierungen, Seite 47 einer Liste, Warenkorb und Kundenkonto. Weder für die KI noch für Google. Das ist es, was die CPU senkt.
2. Lass die KI-Suchcrawler offen. OAI-SearchBot, Claude-SearchBot, PerplexityBot, ChatGPT-User und Claude-User bringen dir den Kunden, der 60 % besser konvertiert.
3. Entscheide über das Training. GPTBot, ClaudeBot und CCBot sind optional. Google-Extended ist kostenlos zu schließen.
4. Sperre Bytespider auf dem Server, nicht in der robots.txt: Er wird sie nicht lesen.
5. Sieh dir die Protokolle eine Woche lang an, davor und danach. Nur das sagt dir, ob du richtig lagst.

Und wenn der Server nicht mehr hergibt

All das setzt voraus, dass du Luft hast. Wenn du auf Shared Hosting sitzt und der Shop jeden Nachmittag umfällt, wird zuerst der Brand gelöscht: Trainings-Crawler zu, nur die Such-Crawler herein.

Aber als Entscheidung mit Datum, nicht als Dauerzustand. Ein Shop, der den KI-Suchmaschinen die Tür zugemacht hat, taucht nicht auf, wenn nach ihm gefragt wird, und das sieht man auf keiner Kurve: Es passiert einfach nicht.

Wenn du nicht weißt, wo du zu schneiden anfangen sollst, erzähl uns, welchen Katalog du hast, wie viele Facetten eingeschaltet sind und auf welchem Server er läuft, und wir sagen dir, was zu schließen ist, was offen bleibt und was repariert gehört, bevor du die robots.txt überhaupt anfasst.

Erzähl uns, wie dein Server dasteht