llms.txt, robots.txt & KI-Crawler: Technisches GEO erklärt

Drei Arten von KI-Crawlern

Viele Unternehmen sprechen pauschal von „KI-Bots“. Für eine sinnvolle Steuerung musst du aber drei Zwecke unterscheiden, denn die großen Anbieter nutzen dafür jeweils eigene Kennungen (User-Agents):

• Trainings-Crawler sammeln Inhalte, die für das Training künftiger Modelle verwendet werden können. Wirkung: langfristig, über neue Modellversionen.
• Such-Crawler bauen einen Index auf, aus dem der Assistent bei einer Websuche Quellen auswählt. Wirkung: direkt auf Nennungen und Quellenlinks in aktuellen Antworten.
• Nutzer-Abrufe entstehen, wenn ein Nutzer im Gespräch eine bestimmte Seite abrufen lässt oder der Assistent im Auftrag des Nutzers eine Seite öffnet. Wirkung: unmittelbar im jeweiligen Gespräch.

Diese Trennung ist der Schlüssel: Du kannst zum Beispiel das Training ausschließen und trotzdem in der Suche sichtbar bleiben.

Die wichtigsten KI-Crawler im Überblick

Die Liste ist nicht abschließend: Es gibt weitere Crawler, etwa von anderen KI-Anbietern oder Datensammlern. Anbieter führen zudem gelegentlich neue Kennungen ein oder ändern bestehende. Prüfe deshalb regelmäßig die offiziellen Dokumentationen der Anbieter. Beachte außerdem: Nutzer-Abrufe wie ChatGPT-User oder Perplexity-User befolgen die robots.txt nach Angaben der Anbieter nicht zwingend, weil sie von einem Nutzer ausgelöst werden; ob Inhalte in der ChatGPT-Suche erscheinen, steuerst du über OAI-SearchBot. Stand der Tabelle: Oktober 2026.

robots.txt richtig konfigurieren

Die robots.txt liegt im Hauptverzeichnis deiner Domain (zum Beispiel unter /robots.txt) und enthält Regeln pro User-Agent. Seriöse Crawler lesen sie vor dem Abruf. Ein Regelblock besteht aus einer oder mehreren Zeilen „User-agent“ und darunter „Allow“- oder „Disallow“-Anweisungen.

Beispiel: Training sperren, Suche erlauben

Wenn du nicht möchtest, dass deine Inhalte in das Training einfließen, aber in KI-Suchen sichtbar bleiben willst, sieht ein Regelwerk sinngemäß so aus:

• „User-agent: GPTBot“ mit „Disallow: /“
• „User-agent: ClaudeBot“ mit „Disallow: /“
• „User-agent: Google-Extended“ mit „Disallow: /“
• „User-agent: OAI-SearchBot“, „User-agent: ChatGPT-User“, „User-agent: Claude-SearchBot“, „User-agent: Claude-User“, „User-agent: PerplexityBot“, „User-agent: Perplexity-User“ jeweils mit „Allow: /“
• Für alle übrigen Crawler („User-agent: *“) deine allgemeinen Regeln, etwa Ausschlüsse für interne Bereiche

Wenn ein Crawler keine eigene Regel hat, gilt für ihn der Block „User-agent: *“. Erlaubst du dort alles, sind auch die KI-Crawler zugelassen – eine separate Freigabe ist dann nicht zwingend, macht deine Absicht aber eindeutig.

Wichtige Hinweise

• Die robots.txt ist eine Bitte, keine technische Sperre. Seriöse Anbieter halten sich daran, andere nicht unbedingt.
• Änderungen wirken nicht rückwirkend. Was bereits gesammelt wurde, bleibt davon unberührt.
• Eine Sperre in der robots.txt verhindert das Abrufen, nicht zwingend die Erwähnung: Deine Marke kann trotzdem genannt werden, wenn andere Seiten über dich berichten.
• Teste nach jeder Änderung, ob deine wichtigsten Seiten für Googlebot und Bingbot weiterhin erreichbar sind. Ein Tippfehler kann die gesamte Website aus der Suche nehmen.

Welche Strategie passt zu dir?

Für die meisten Unternehmen, deren Website vor allem Kunden gewinnen soll, ist die offene oder selektive Strategie sinnvoll. Inhalte, die ohnehin öffentlich und werblich sind, verlieren durch Training selten an Wert – im Gegenteil, sie helfen dabei, dass KI-Modelle dein Angebot kennen.

llms.txt: Was die Datei ist und was sie (nicht) bringt

Die llms.txt ist ein Vorschlag aus dem Jahr 2024 für eine Textdatei im Markdown-Format, die im Hauptverzeichnis einer Website liegt. Sie soll Sprachmodellen eine kompakte Übersicht der wichtigsten Inhalte geben: eine kurze Beschreibung des Unternehmens oder Projekts und eine gegliederte Liste mit Links zu zentralen Seiten, jeweils mit einem Satz Erklärung. Teilweise wird ergänzend eine ausführlichere Variante mit vollständigen Inhalten angeboten.

Typischer Aufbau

• Eine Überschrift mit dem Namen des Unternehmens
• Ein kurzer Absatz, der zusammenfasst, wer ihr seid und was ihr anbietet
• Abschnitte wie „Leistungen“, „Ratgeber“ oder „Unternehmen“ mit Links und Kurzbeschreibungen

Der realistische Stand

Stand Oktober 2026 ist die llms.txt kein offizieller Standard, und keiner der großen Anbieter hat verlässlich bestätigt, dass er sie für die Auswahl von Quellen in Antworten verwendet. Sie wird vor allem von Entwickler-Dokumentationen und Tools genutzt, die Inhalte gezielt für Sprachmodelle aufbereiten. Für Unternehmenswebsites gilt daher: Die Datei ist schnell erstellt und schadet nicht, sollte aber keine Priorität vor robots.txt, Indexierung und Inhaltsqualität haben. Vorsicht bei Angeboten, die eine llms.txt als entscheidenden GEO-Hebel verkaufen.

Warum Google- und Bing-Index entscheidend sind

Viele KI-Assistenten betreiben keinen vollständig eigenen Webindex, sondern stützen sich auf bestehende Suchmaschinen. Nach allgemeinem Kenntnisstand nutzt ChatGPT für seine Suchfunktion in erheblichem Umfang den Index von Bing, während Gemini, die KI-Übersichten und der AI Mode auf dem Google-Index aufsetzen. Microsoft Copilot basiert ebenfalls auf Bing.

Daraus folgen zwei Pflichtaufgaben:

1. Google Search Console: Sitemap einreichen, Indexierungsberichte prüfen, Fehler wie „Gefunden – zurzeit nicht indexiert“ bei wichtigen Seiten beheben.
2. Bing Webmaster Tools: Website verifizieren, Sitemap einreichen, Indexierung kontrollieren. Viele Unternehmen haben das nie eingerichtet und sind deshalb in ChatGPT-Suchen schwächer vertreten, als sie sein könnten. Zusätzlich lässt sich über IndexNow eine schnellere Benachrichtigung über neue oder geänderte Seiten einrichten.

JavaScript, Rendering und Seitenstruktur

Googlebot kann JavaScript ausführen, wenn auch mit Verzögerung. Viele KI-Crawler tun das nach bisherigem Kenntnisstand nicht oder nur eingeschränkt. Wenn deine Texte erst im Browser per JavaScript geladen werden, sieht ein solcher Crawler unter Umständen nur eine leere Seite.

• Serverseitiges Rendering oder statische Seiten sorgen dafür, dass der Text direkt im HTML steht.
• Wichtige Inhalte nicht in Tabs, Akkordeons oder Pop-ups verstecken, die erst nach Interaktion nachgeladen werden.
• Keine Texte in Bildern: Preise, Leistungen oder Tabellen als Grafik sind für Crawler schwer oder gar nicht lesbar.
• Strukturierte Daten im JSON-LD-Format direkt im HTML einbinden, etwa Organization, LocalBusiness, Service, Product, Article oder FAQPage.

Ein einfacher Test: Rufe deine Seite mit deaktiviertem JavaScript auf oder sieh dir den Quelltext an. Was dort nicht steht, sehen viele KI-Crawler ebenfalls nicht.

Firewall, CDN und Bot-Schutz

Eine häufig übersehene Fehlerquelle: Sicherheitsdienste, CDNs und manche Hosting-Anbieter bieten Funktionen zum Blockieren von KI-Crawlern an oder aktivieren sie standardmäßig. Dann ist deine robots.txt korrekt, die Crawler erhalten aber trotzdem eine Fehlermeldung oder eine Prüfseite. Kontrolliere in den Einstellungen deines Anbieters, welche Bots blockiert oder herausgefordert werden, und gib die gewünschten Crawler gezielt frei. Auch aggressive Rate-Limits können Crawler ausbremsen.

Mit Logfiles prüfen, ob es funktioniert

Die zuverlässigste Kontrolle sind die Server-Logfiles. Dort siehst du, welcher User-Agent welche Seite wann abgerufen hat und welchen Statuscode er erhalten hat. Achte auf folgende Fragen:

• Rufen OAI-SearchBot, Claude-SearchBot, PerplexityBot und Bingbot deine wichtigsten Seiten regelmäßig ab?
• Erhalten sie Statuscode 200 oder Fehler wie 403 (verboten) oder 429 (zu viele Anfragen)?
• Gibt es Zugriffe von Bots, die sich als bekannte Crawler ausgeben, aber nicht aus deren offiziellen IP-Bereichen stammen? Die großen Anbieter veröffentlichen Möglichkeiten zur Überprüfung.

Ergänzend lohnt sich der Blick in deine Webanalyse: Besuche mit Referrern wie chatgpt.com, perplexity.ai, gemini.google.com oder claude.ai zeigen, ob Nutzer tatsächlich über KI-Antworten auf deine Seite kommen. Nicht jeder Aufruf überträgt einen Referrer, die Tendenz ist aber aufschlussreich – vor allem im Zusammenspiel mit den Crawler-Zugriffen aus den Logfiles.

Wenn du keinen direkten Zugriff auf Logfiles hast, kann dein Hosting-Anbieter oder deine Webagentur sie meist bereitstellen.

Technik-Check in einer Stunde: Schritt für Schritt

Mit dieser Reihenfolge prüfst du die wichtigsten technischen Punkte, ohne Spezialwerkzeuge zu benötigen:

1. robots.txt lesen: Rufe deine-domain.de/robots.txt auf. Suche nach Blöcken für die Crawler aus der Tabelle oben und nach einem pauschalen „Disallow: /“ unter „User-agent: *“.
2. Strategie festlegen: Entscheide dich für offen, selektiv oder geschlossen und passe die Regeln entsprechend an. Dokumentiere die Entscheidung, damit sie bei einem Relaunch nicht verloren geht.
3. Firewall und CDN prüfen: Sieh in den Einstellungen deines Hosting- oder CDN-Anbieters nach, ob KI-Crawler blockiert oder mit Prüfseiten herausgefordert werden.
4. Indexierung kontrollieren: In der Google Search Console und den Bing Webmaster Tools prüfst du, ob deine wichtigsten zehn Seiten indexiert sind. Fehlende Seiten reichst du zur Indexierung ein.
5. Quelltext ansehen: Öffne drei zentrale Seiten, rufe den Quelltext auf und prüfe, ob Überschriften und Fließtext dort stehen.
6. Strukturierte Daten testen: Prüfe Startseite und eine Leistungsseite mit einem Validator für Schema.org-Daten.
7. Logfiles stichprobenartig prüfen: Filtere die Logs der letzten Wochen nach den Namen der KI-Crawler und achte auf Statuscodes.
8. Optional llms.txt anlegen: Wenn alles andere steht, kannst du eine kurze llms.txt mit Beschreibung und Links zu deinen wichtigsten Seiten ergänzen.

Typische technische Fehler

• Pauschale Sperre aller KI-Bots aus Unsicherheit, einschließlich der Such-Crawler.
• Google-Extended mit Googlebot verwechseln: Wer Googlebot sperrt, verschwindet aus der Google-Suche – Google-Extended betrifft nur die Gemini-Nutzung.
• Bing ignorieren und damit eine wichtige Datenquelle für ChatGPT und Copilot vernachlässigen.
• Inhalte nur per JavaScript ausliefern.
• Firewall-Regeln vergessen, die der robots.txt widersprechen.
• Einmal einrichten und nie wieder prüfen, obwohl Anbieter Crawler ändern.

Alle technischen und inhaltlichen Punkte zum Abhaken findest du in der GEO-Checkliste, die Grundlagen im Artikel Was ist GEO?. Wenn du die technische Prüfung lieber abgeben möchtest, übernimmt EcoWise das im Rahmen eines GEO-Audits – mehr auf der Seite GEO & Ads in KI-Tools.