Stellen Sie sich Ihren Onlineshop wie ein großes Kaufhaus vor. Vor der Tür steht ein Besucher, der noch nie hier war: der Suchroboter von Google. Er weiß nicht, welche Etagen es gibt, welche Räume er betreten darf und wo die neuen Produkte stehen. Er braucht zwei Dinge: ein Schild, das sagt, welche Bereiche gesperrt sind, und einen Lageplan, der ihm alle wichtigen Räume zeigt.
Das Schild ist die robots.txt. Der Lageplan ist die Sitemap. Beide sind kleine Textdateien, und doch entscheiden sie mit darüber, ob Ihre Produkte bei Google auftauchen oder nicht. Ein einziger falscher Eintrag kann dazu führen, dass Ihr kompletter Shop aus der Suche verschwindet. Das ist leider schon vielen passiert.
In diesem Beitrag erklären wir einfach und Schritt für Schritt, was die beiden Dateien tun, wie Sie sie in Shopware 6 einrichten, welche Regeln sinnvoll sind und wie Sie prüfen, ob alles stimmt. Sie brauchen dafür keine Programmierkenntnisse.
Was ist die robots.txt?
Die robots.txt ist eine einfache Textdatei, die im Hauptverzeichnis Ihrer Domain liegt. Sie erreichen sie, indem Sie hinter Ihre Adresse einfach „/robots.txt" schreiben, also zum Beispiel bei Ihrem Shop unter der Adresse mit dem Zusatz robots.txt.
Darin stehen Regeln für Suchroboter, sogenannte Crawler. Diese Roboter besuchen Ihre Seite, lesen Inhalte und merken sie sich für den Suchindex. Bevor sie das tun, schauen sie zuerst in die robots.txt. Dort steht zum Beispiel:
- Welche Bereiche sie nicht besuchen sollen, etwa den Warenkorb oder das Kundenkonto.
- Wo die Sitemap liegt.
Ein einfaches Beispiel sieht so aus:
User-agent: * Disallow: /checkout/ Disallow: /account/ Sitemap: https://www.ihr-shop.de/sitemap.xml
Das heißt: Alle Roboter (der Stern steht für alle) sollen den Checkout und das Kundenkonto auslassen, und der Lageplan liegt unter der genannten Adresse.
Wichtig zu wissen: Die robots.txt ist eine höfliche Bitte, kein Schloss. Seriöse Suchmaschinen halten sich daran, aber die Datei schützt keine geheimen Inhalte. Wer etwas wirklich verbergen will, braucht einen Passwortschutz. Außerdem bedeutet „Disallow" nur „nicht besuchen". Es heißt nicht automatisch „nicht im Index". Dazu gleich mehr.
Was ist die Sitemap?
Die Sitemap ist der Lageplan Ihres Shops. Es ist eine Datei im XML-Format, die alle Adressen auflistet, die Suchmaschinen kennen sollen: Startseite, Kategorien, Produkte und Inhaltsseiten. Zu jeder Adresse kann sie zusätzlich ein Datum der letzten Änderung enthalten.
Warum ist das nützlich?
- Neue Seiten werden schneller gefunden. Der Roboter muss nicht erst alle Links durchklicken.
- Wichtige Seiten stehen schwarz auf weiß. Sie zeigen Google, was Ihnen wichtig ist.
- Sie sehen Probleme früher. In der Google Search Console lässt sich die Sitemap einreichen und Fehler werden sichtbar.
Shopware 6 erzeugt die Sitemap von allein. Sie liegt in der Regel unter der Adresse Ihres Shops mit dem Zusatz „/sitemap.xml". Bei Shops mit mehreren Sprachen oder Domains gibt es pro Verkaufskanal und Sprache eine eigene Sitemap. Das passt, denn jede Domain hat ihren eigenen Lageplan.
Ein großer Shop hat oft sehr viele Adressen. Darum zerlegt Shopware die Sitemap in mehrere kleine Dateien und fasst sie in einer Übersichtsdatei zusammen. Das ist normal und kein Fehler.
robots.txt in Shopware 6 bearbeiten
Hier gibt es einen Unterschied je nach Version.
Ab Shopware 6.7.1: Die robots.txt ist inzwischen Teil des Kerns. Sie finden die Einstellungen im Admin unter Einstellungen im Bereich zu den Stammdaten bzw. den Basisinformationen. Die Menünamen können je nach Version leicht abweichen. Dort tragen Sie Regeln ein, und Shopware ergänzt die Verweise auf die Sitemap für jede Domain automatisch. Für jede Domain wird eine eigene Datei ausgeliefert. Das ist praktisch, weil Sie nicht mehr in Dateien auf dem Server herumsuchen müssen.
Vor Shopware 6.7.1: Hier gibt es keine fertige Eingabe im Admin. Die Datei muss als normale Textdatei im öffentlichen Ordner des Shops liegen. Dafür brauchen Sie Zugriff auf den Server oder jemanden, der ihn hat. Alternativ gibt es Erweiterungen und Community-Plugins, die die Datei erzeugen. Bei Shops mit mehreren Domains braucht es meist eine kleine Umleitung, damit jede Domain ihre eigene Datei bekommt.
Unser Rat: Ändern Sie die robots.txt nie auf Verdacht auf dem Live-Shop. Erstellen Sie zuerst eine Kopie der alten Datei, ändern Sie dann in kleinen Schritten und prüfen Sie jedes Mal das Ergebnis. Wenn Sie unsicher sind, testen Sie zuerst in einer Testumgebung.
Welche Regeln in die robots.txt gehören
Eine gute robots.txt ist kurz und klar. Je mehr Sie hineinschreiben, desto leichter schleicht sich ein Fehler ein. Für Shops haben sich diese Bereiche bewährt:
- Warenkorb und Checkout: Diese Seiten sind für jeden Besucher anders und für die Suche wertlos.
- Kundenkonto und Anmeldung: Auch hier gibt es nichts, was bei Google erscheinen soll.
- Interne Suche mit vielen Varianten: Wenn jede Sucheingabe eine neue Adresse erzeugt, entstehen schnell tausende fast gleiche Seiten.
- Technische Pfade: Zum Beispiel Verzeichnisse für Admin und Schnittstellen.
Mehr zum Thema doppelte und unnötige Adressen lesen Sie in unserem Beitrag Shopware SEO.
Aufpassen bei Parametern
Shopware liefert in seinem Beispiel eine Regel mit, die Adressen mit Fragezeichen sperrt. Das sind Adressen mit Parametern, zum Beispiel für Filter oder Sortierung. Das kann sinnvoll sein, kann aber Nebenwirkungen haben: Auch Blätterseiten in Kategorien nutzen oft solche Parameter. Wer sie sperrt, nimmt Google womöglich den Weg zu Produkten auf Seite zwei und drei. Prüfen Sie daher, ob Ihre Regeln zu Ihren Kategorien passen.
Niemals sperren sollten Sie:
- Ihre wichtigen Kategorie- und Produktseiten
- Bilder, Stylesheets und Skripte, die Google zum Darstellen der Seite braucht
- Ihre Sitemap
Google rendert Seiten fast wie ein Browser. Sperren Sie Dateien, die das Aussehen bestimmen, kann Google Ihre Seite nicht richtig verstehen.
Neue Roboter: KI-Crawler
Inzwischen besuchen auch Roboter von KI-Diensten Ihre Seite. Ob Sie diese zulassen, ist eine Geschäftsentscheidung. Wer in KI-Antworten genannt werden möchte, lässt sie besser herein. Wer Inhalte schützen will, sperrt sie. Mehr dazu im Beitrag GEO-Optimierung.
Die Sitemap in Shopware richtig nutzen
Die Sitemap erzeugt Shopware im Hintergrund. Das geschieht über geplante Aufgaben, die in regelmäßigen Abständen laufen. Bei neuen Produkten kann es deshalb ein wenig dauern, bis sie in der Sitemap stehen. Das ist normal.
Damit alles zuverlässig klappt, gehen Sie so vor:
- Prüfen Sie, ob die Sitemap erreichbar ist. Rufen Sie die Adresse mit „/sitemap.xml" im Browser auf. Sie sollten eine Liste von Adressen oder eine Übersicht weiterer Dateien sehen.
- Prüfen Sie, ob die geplanten Aufgaben laufen. Wenn im Shop gar nichts Neues in der Sitemap auftaucht, liegt es häufig daran, dass der Hintergrunddienst nicht läuft. Fragen Sie Ihren Hoster oder Ihre Agentur.
- Reichen Sie die Sitemap in der Google Search Console ein. Mehr dazu im nächsten Abschnitt.
- Achten Sie auf saubere Inhalte. Nur Adressen, die Sie wirklich in der Suche sehen wollen, gehören hinein.
Was nicht in die Sitemap gehört
In die Sitemap gehören nur Seiten, die erreichbar sind (Statuscode 200), die indexiert werden sollen und die nicht auf eine andere Seite umleiten. Seiten mit „noindex", Weiterleitungen und Fehlerseiten haben dort nichts verloren. Sonst sendet Ihre Sitemap widersprüchliche Signale: Die Sitemap sagt „bitte aufnehmen", die Seite selbst sagt „bitte nicht".
Wenn Sie viele Weiterleitungen nutzen, etwa nach einem Relaunch, lohnt sich ein Blick auf 301-Weiterleitungen in Shopware einrichten.
Mehrere Sprachen und Domains
Bei mehrsprachigen Shops hat jede Sprache oder Domain ihre eigene Sitemap. Reichen Sie alle in der Search Console ein, jede bei der passenden Domain. So behalten Sie den Überblick, welche Sprache wie gut indexiert wird. Wie Sie Sprachen sauber aufbauen, steht in Mehrsprachigkeit in Shopware einrichten.
Die Sitemap bei Google einreichen und prüfen
Das Einreichen ist einfach und kostenlos. Sie brauchen dafür ein Konto bei der Google Search Console. Wie Sie das Werkzeug nutzen, erklären wir ausführlich im Beitrag Google Search Console für Onlineshops.
So geht es:
- Öffnen Sie die Search Console und wählen Sie Ihre Domain.
- Gehen Sie im Menü auf Sitemaps.
- Tragen Sie die Adresse Ihrer Sitemap ein, zum Beispiel „sitemap.xml".
- Klicken Sie auf Senden.
Nach kurzer Zeit zeigt die Search Console den Status. Dort sehen Sie drei Dinge:
- Erfolgreich: Google konnte die Datei lesen.
- Gefundene Seiten: Wie viele Adressen Google in der Sitemap sieht.
- Fehler: Probleme beim Lesen oder bei einzelnen Adressen.
Vergleichen Sie die Zahl der gefundenen Seiten mit dem, was Sie erwarten. Wenn Ihr Shop 5000 Produkte hat und Google nur 500 Seiten findet, stimmt etwas nicht. Dann lohnt sich die Suche nach der Ursache.
Zusätzlich hilft der Bericht zur Indexierung. Er zeigt Ihnen, welche Seiten Google aufgenommen hat und warum andere nicht. Typische Gründe sind „Gecrawlt, derzeit nicht indexiert", „Durch robots.txt blockiert" oder „Seite mit Weiterleitung".
Der robots.txt-Test
Prüfen Sie nach jeder Änderung an der robots.txt, ob wichtige Seiten noch erreichbar sind. In der Search Console gibt es dafür einen Bericht zur robots.txt. Prüfen Sie außerdem die Adresse im Browser und testen Sie einzelne Seiten mit der Live-Prüfung. So merken Sie Fehler, bevor sie Sichtbarkeit kosten.
Der große Irrtum: robots.txt gegen Index
Viele Shopbetreiber verwechseln zwei Dinge und handeln sich damit Ärger ein. Die robots.txt regelt das Crawlen, also das Besuchen einer Seite. Der Index ist aber das, was Google in den Suchergebnissen zeigt. Beides ist nicht dasselbe.
Ein Beispiel: Sie sperren eine Seite in der robots.txt. Gleichzeitig verlinkt eine andere Webseite auf genau diese Seite. Dann kann Google die Adresse trotzdem im Index führen, nur eben ohne Inhalt, mit dem Hinweis, dass die Beschreibung wegen der robots.txt nicht verfügbar ist. Das sieht unschön aus.
Wenn eine Seite wirklich nicht in Google erscheinen soll, nutzen Sie ein „noindex" in den Meta-Angaben der Seite. Wichtig ist: Google muss die Seite dafür besuchen dürfen, sonst sieht der Roboter das „noindex" nie. Sperren Sie die Seite also nicht zusätzlich in der robots.txt.
Eine einfache Faustregel:
- Nicht crawlen: robots.txt, für technische Pfade und Bereiche ohne Wert für die Suche.
- Nicht indexieren: noindex, für Seiten, die erreichbar sein dürfen, aber nicht in Google erscheinen sollen.
- Nicht öffentlich: Passwortschutz, für alles Vertrauliche.
Mit dieser Trennung vermeiden Sie die meisten Fehler.
Typische Fehler und wie Sie sie vermeiden
Fehler 1: Der ganze Shop ist gesperrt
Ein Klassiker nach einem Relaunch. Auf der Testversion stand „Disallow: /", damit Google sie nicht sieht, und die Zeile wurde beim Livegang vergessen. Folge: Der Shop verschwindet langsam aus Google. Prüfen Sie die robots.txt direkt nach jedem Livegang. Mehr dazu in unserer Relaunch-Checkliste.
Fehler 2: Wichtige Dateien sind gesperrt
Sind Bilder oder Stylesheets gesperrt, sieht Google Ihre Seite anders als Ihre Kundschaft. Das schadet der Bewertung.
Fehler 3: Die Sitemap enthält Fehlerseiten
Wenn viele Adressen in der Sitemap auf Fehlerseiten oder Weiterleitungen zeigen, verlieren Sie Vertrauen bei Google. Bereinigen Sie die Sitemap regelmäßig.
Fehler 4: Keine Sitemap in der Search Console
Ohne Einreichung dauert die Entdeckung neuer Seiten länger. Einmal einreichen, dann läuft es.
Fehler 5: Falsche Domain in der Sitemap
Zeigen die Adressen noch auf die Testdomain oder auf die Version ohne „www", obwohl Ihr Shop anders aufgerufen wird, entstehen Widersprüche. Prüfen Sie, dass Domain und Verkaufskanal in Shopware stimmen.
Fehler 6: Zu viele Regeln
Je länger die Datei, desto schwerer ist sie zu überblicken. Weniger ist hier mehr. Jede Regel sollte einen klaren Grund haben, den Sie in einem Satz erklären können.
Bonus: Ein kleiner Kontrollplan
Legen Sie sich einen festen Termin fest, zum Beispiel einmal im Quartal. Dann öffnen Sie die robots.txt im Browser und lesen sie Zeile für Zeile. Sie rufen die Sitemap auf und schauen, ob neue Produkte darin stehen. Sie prüfen in der Search Console die Berichte zu Sitemaps und Indexierung. Und nach jedem großen Update oder Relaunch machen Sie das zusätzlich sofort. Das dauert höchstens eine halbe Stunde und bewahrt Sie vor Überraschungen. Wie Sie die Ladezeit Ihres Shops parallel im Blick behalten, lesen Sie in Shopware Performance optimieren.
Fazit
Die robots.txt ist das Schild, die Sitemap der Lageplan: Zusammen helfen sie Suchmaschinen, Ihren Shop effizient zu verstehen. Shopware 6 erzeugt die Sitemap von allein, und ab Version 6.7.1 lässt sich auch die robots.txt direkt im Admin pflegen. Halten Sie die Regeln kurz, sperren Sie nur Bereiche ohne Suchwert und reichen Sie die Sitemap in der Google Search Console ein.
Denken Sie an die Trennung: robots.txt gegen Crawlen, noindex gegen Indexierung, Passwort gegen Vertrauliches. Prüfen Sie beide Dateien nach jedem Livegang und einmal im Quartal.
Wenn Sie unsicher sind, ob Ihr Shop sauber gecrawlt wird, sprechen Sie uns an. Wir prüfen Ihre Einstellungen und beheben Fehler, bevor sie Sichtbarkeit kosten.
Häufige Fragen zu robots.txt und Sitemap in Shopware 6
Was ist die robots.txt in Shopware 6?
Die robots.txt ist eine Textdatei, die Suchmaschinen sagt, welche Bereiche Ihres Shops sie besuchen dürfen und wo die Sitemap liegt. Ab Shopware 6.7.1 lässt sie sich im Admin pflegen, in älteren Versionen liegt sie als Datei auf dem Server.
Wo finde ich die robots.txt meines Shops?
Rufen Sie einfach Ihre Shop-Adresse mit dem Zusatz „/robots.txt" im Browser auf. Dort sehen Sie, was Suchmaschinen aktuell lesen. Das ist auch der schnellste Test nach einer Änderung.
Wo finde ich die Sitemap in Shopware 6?
Standardmäßig unter Ihrer Shop-Adresse mit dem Zusatz „/sitemap.xml". Bei mehreren Sprachen oder Domains gibt es pro Verkaufskanal eine eigene Sitemap. Shopware erzeugt sie automatisch über geplante Aufgaben.
Muss ich die Sitemap bei Google einreichen?
Nötig ist es nicht, aber sinnvoll. Google findet Seiten auch über Links. Mit eingereichter Sitemap werden neue Seiten oft schneller entdeckt, und Sie sehen in der Search Console Fehler und die Zahl der gefundenen Seiten.
Warum fehlen neue Produkte in der Sitemap?
Meist liegt es an den geplanten Aufgaben. Die Sitemap wird im Hintergrund erzeugt, deshalb kann es etwas dauern. Läuft der Hintergrunddienst nicht, bleibt sie veraltet. Fragen Sie in dem Fall Ihren Hoster oder Ihre Agentur.
Reicht die robots.txt, um eine Seite aus Google zu entfernen?
Nein. Sie regelt nur das Besuchen der Seite. Wollen Sie, dass eine Seite nicht in den Suchergebnissen erscheint, nutzen Sie ein noindex in den Meta-Angaben und sperren die Seite nicht zusätzlich in der robots.txt. Für Vertrauliches nutzen Sie einen Passwortschutz.
Kann eine falsche robots.txt meinem Shop schaden?
Ja, erheblich. Eine versehentliche Sperre des gesamten Shops oder wichtiger Dateien kann dazu führen, dass Seiten aus den Suchergebnissen verschwinden. Prüfen Sie die Datei deshalb nach jedem Livegang und jeder Änderung.



