Bots und die Facettensuche von PrestaShop: 100 % CPU und Ausfall

Samstagnachmittag. Eine E-Mail Ihres Hosters warnt, Ihr Konto laufe seit Stunden auf 100 % CPU. Sie öffnen Ihre Statistik und erwarten eine Flut von Kunden – und finden das Gegenteil: vierzigtausend Seitenaufrufe und null Bestellungen.

Kein Angriff, kein kaputtes Modul, kein Shop, der Seltsames tut. Jemand hat angefangen, jeden einzelnen Filter Ihres Sortiments abzulaufen, einen nach dem anderen.

Was tatsächlich passiert

Ihr Shop hat eine Facettensuche: Größe, Farbe, Marke, Preis, Verfügbarkeit, dazu obendrauf die Sortierung. Das macht ihn bequem in der Benutzung.

Das Problem ist, dass jede Kombination dieser Filter eine eigene Webadresse ist. Größe M in Blau von einer Marke, nach Preis sortiert, ist eine. Größe M in Blau von derselben Marke, nach Neuheit sortiert, ist eine andere. Und so weiter durch jede mögliche Kombination: In einem mittelgroßen Shop sind das Hunderttausende, in einem großen Millionen.

Die Crawler der sozialen Netze und der KI-Dienste – die von Facebook, von TikTok, ein halbes Dutzend Unternehmen, von denen Sie nie gehört haben – haben beschlossen, sie alle sehen zu müssen. Und sie rufen sie alle ab, auf einmal, ohne Pause.

Jede dieser Adressen ist keine gespeicherte Seite: Sie ist eine frische Suche in Ihrer Datenbank.

Das Modul dahinter: die Facettensuche von PrestaShop

Die Filter Ihres Shops zeichnet ein bestimmtes Modul, Faceted search (ps_facetedsearch), das seit 1.7 mit PrestaShop ausgeliefert wird und die alte Layered navigation abgelöst hat. Wenn Sie Filter auf Ihren Kategorieseiten haben, ist es aktiv.

In Ihren Protokollen ist es leicht zu erkennen: Jede Kombination reist im Parameter q der Adresse und sieht so aus.

/12-t-shirts?q=Groesse-M/Farbe-Blau/Marke-Adidas

Wenn Ihr Zugriffsprotokoll Tausende Zeilen mit ?q= zeigt, alle verschieden und direkt hintereinander, wissen Sie, was die Maschine auffrisst.

Und darum ist es so teuer. Trifft eine dieser Anfragen ein, sucht das Modul nicht nur die Produkte zum Filter: Es berechnet auch die Zähler aller anderen Filter neu – dieses „Blau (12)“, „Grün (5)“ neben jedem Kästchen – und feuert dafür mehrere Zählabfragen gegen seine Indextabellen. Multiplizieren Sie das mit einem großen Sortiment und mit Tausenden Anfragen pro Minute.

Zwei Stellschrauben stecken im Modul selbst und fast niemand fasst sie an, unter Katalog → Facettensuche:

• Schalten Sie die Produktzahl neben jedem Filter ab. Sie ist der teuerste Teil jeder Anfrage und der, den in den meisten Shops niemand vermisst.
• Überprüfen Sie die Filtervorlagen je Kategorie. Jeder Filter, den Sie stehen lassen, vervielfacht die möglichen Kombinationen. Acht Filter in einer Kategorie sind nicht acht Adressen: Es sind Tausende.

Keine von beiden löst das Problem allein, aber beide senken die Kosten jedes Treffers, bevor Sie sonst etwas anfassen.

Warum es so wehtut

Eine gefilterte Suche gehört zum Teuersten, was ein Shop tut: Er muss das ganze Sortiment durchgehen, Merkmale abgleichen, zählen, wie viele Produkte unter jedem Filter übrig bleiben, und das Ergebnis sortieren. Ein Kunde führt drei oder vier pro Besuch aus. Ein Crawler drei oder vier pro Sekunde.

Und jetzt der Teil, der alle aus dem Konzept bringt: Caching rettet Sie nicht. Caching hilft, wenn viele Besucher dasselbe abfragen. Hier wiederholt sich nichts: Jede Kombination ist einmalig, also sind alle „Erstbesuche“ und alle gehen bis in die Datenbank durch.

Das Ergebnis ist immer dasselbe. Anfragen stauen sich, dem Server geht der Platz aus und der Shop antwortet nicht mehr – weder dem Roboter noch dem Kunden, der gerade bezahlen wollte. Fällt das mitten in eine Kampagne, haben Sie Werbung bezahlt, die auf eine Seite zeigt, die sich nicht öffnet.

Woran Sie erkennen, ob es Sie betrifft

Vier Anzeichen, und zwei zusammen machen es fast sicher:

• Hohe Auslastung ohne Verkäufe. Riesige Seitenaufrufe, keine Warenkörbe. Besuche und Bestellungen passen nicht zusammen, nicht einmal annähernd.
• Ihr Hoster warnt Sie, dass Sie zu viel verbrauchen, oder sperrt das Konto eine Weile, „um andere Kunden zu schützen“.
• Es fällt zu ungewöhnlichen Zeiten aus: in den frühen Morgenstunden, an einem Sonntag, in zufälligen Schüben ohne kaufmännisches Muster.
• Das Zugriffsprotokoll zeigt Tausende aufeinanderfolgender Adressen mit Filterparametern, alle verschieden, innerhalb von Sekunden abgerufen.

Wenn der Verwaltungsbereich währenddessen langsam ist, haben Sie die Bestätigung: Es liegt nicht am öffentlichen Teil, die Maschine ist ausgelastet. Wir haben es unter wann die Langsamkeit der Shop ist und wann der Server behandelt.

Was man Ihnen raten wird und warum es zu kurz greift

Dieses Problem zieht viele beliebte Ratschläge an, die in der Praxis nicht tragen:

1. „Sperr sie in der robots.txt.“ Diese Datei ist eine höfliche Bitte, keine Tür. Die Crawler, die sie beachten, sind nicht Ihr Problem; die, die Sie lahmlegen, lesen sie nicht. Und wenn Sie es übertreiben, gehorcht ausgerechnet Google – und Sie haben sich aus den Ergebnissen gelöscht.
2. „Sperr Facebook und TikTok namentlich.“ Das hält eine Woche. Sie ändern ihre Kennung, kommen aus Tausenden verschiedenen Adressen, und jeden Monat tauchen drei neue auf. Eine Liste, mit deren Pflege Sie nie fertig werden.
3. „Markier sie einfach als noindex.“ Eine Seite mit einem noindex-Hinweis kostet Sie trotzdem: Der Roboter muss sie erst abrufen, um diesen Hinweis überhaupt zu lesen. Das hilft der Suchmaschine, nicht Ihrer CPU.
4. „Nimm einen größeren Server.“ Doppelt zu zahlen, um einem Roboter Ihr Sortiment kostenlos auszuliefern, ist ein schlechtes Geschäft: Die nächste Spitze wird größer, denn je besser Sie antworten, desto schneller fragen sie.
5. „Schalt die Facettensuche ab.“ Das behebt die Last und zerstört den Shop: Über Filter finden Menschen, was sie kaufen werden. Am nächsten Tag sehen Sie es in der Conversion.
6. „Setz ein CDN davor und gut ist.“ Ein CDN beschleunigt, was sich wiederholt. Hier wiederholt sich nichts: Jede Kombination ist einmalig und erreicht Ihre Datenbank ohnehin.
7. „Schalt den Angriffsmodus ein.“ Entweder Sie machen es Ihren Kunden und auch Google schwer, oder die Roboter kommen weiter durch. Damit übersteht man einen Nachmittag, es ist keine Art zu leben.

Alle teilen denselben Fehler: Sie behandeln das Symptom, also den Traffic, statt der Ursache – dass Ihr Shop bereit ist, für jeden, der fragt, Millionen verschiedener Seiten herzustellen.

Wo die eigentliche Lösung liegt

Was wirklich trägt, ist in drei Schichten gebaut, und keine davon bedeutet, Filter abzuschalten:

• Entscheiden Sie, welche Kombinationen es gibt. Von allen, die Ihr Shop erzeugen könnte, ergeben nur eine Handvoll für einen Kunden oder für Google Sinn. Der Rest braucht keine eigenen Adressen, und das wegzunehmen schrumpft das Spielfeld von Millionen auf ein paar Tausend.
• Halten Sie das Teure davon ab, unten anzukommen. Anfragen, die Rauschen sind, werden beantwortet, bevor sie die Datenbank berühren, und es gibt eine Grenze, wie viele Suchen pro Minute eine Quelle abfeuern darf. Ein Kunde macht drei; wer dreihundert macht, ist kein Kunde, wie immer er sich auch nennt.
• Trennen Sie, wer um Ressourcen konkurriert. Crawling darf nie um dieselbe CPU kämpfen wie der Checkout eines Menschen. Richtig gebaut kann der Roboter warten; der Kunde kann es nicht.

Damit sinkt die Auslastung normalerweise schon am ersten Tag deutlich und der Shop fällt nicht mehr um – ohne dass aus Kundensicht ein einziger Filter angefasst würde und ohne bei Google Boden zu verlieren. Im Gegenteil: Sobald Sie Googles Zeit nicht mehr für vierhunderttausend wiederholte Seiten verbrauchen, sieht es sich die an, die Ihnen wichtig sind – genau das, was wir unter wo man anfängt, wenn man nicht auftaucht behandelt haben.

Wenn Sie damit schon Monate kämpfen

Es ist ein tückisches Problem, weil es nie sein Gesicht zeigt: Es gibt keinen Fehler zum Ansehen, nur einen Shop, der an manchen Tagen läuft und an anderen nicht, und einen Hoster, der Ihnen sagt, es liege an Ihnen.

Wenn Sie schon ein paar der Ratschläge von dieser Liste ausprobiert haben und immer noch am Anfang stehen, schreiben Sie uns. Wir gehen Ihre Protokolle durch, sagen Ihnen, wie viele dieser Anfragen echt und wie viele Rauschen sind, und richten die Filterung ein und messbar ein. Wir haben das etliche Male gemacht, und es zeigt sich am ersten Tag.

Erzählen Sie uns von Ihrem Fall