robots.txt für KI-Crawler

Die Datei robots.txt liegt im Stammverzeichnis einer Website und ist seit 2022 als RFC 9309 bei der IETF standardisiert. Sie enthält Gruppen von Regeln, die jeweils mit User-agent: für einen bestimmten Crawler beginnen und mit Allow: oder Disallow: festlegen, welche Pfade er abrufen darf. Der Standard hält ausdrücklich fest, dass diese Regeln keine Form der Zugriffskontrolle sind: Sie sind eine Bitte, die seriöse Crawler befolgen.

Warum KI-Crawler eigene Regeln brauchen

Früher genügte es meist, Suchmaschinen zu erlauben und einzelne Bereiche auszuschliessen. Mit KI-Anbietern kommen Crawler mit unterschiedlichen Zwecken hinzu, die getrennt behandelt werden wollen. Die Anbieter unterscheiden typischerweise drei Arten:

• Training: Inhalte werden gesammelt, die in das Training künftiger Modelle einfliessen können. Beispiele: GPTBot (OpenAI), ClaudeBot (Anthropic).
• Suche: Inhalte werden indexiert, damit der Assistent sie in Antworten mit Websuche verlinken kann. Beispiele: OAI-SearchBot (OpenAI), Claude-SearchBot (Anthropic), PerplexityBot (Perplexity).
• Nutzerabruf: Ein Assistent öffnet eine Seite, weil eine Nutzerin ihn konkret darum bittet. Beispiele: ChatGPT-User, Claude-User, Perplexity-User. Für solche Abrufe weisen einzelne Anbieter darauf hin, dass robots.txt nicht oder nur eingeschränkt angewendet wird.

Google nutzt für Gemini kein eigenes Crawling, sondern das Token Google-Extended: Es steuert, ob bereits gecrawlte Inhalte für das Training und die Antworten von Gemini-Modellen verwendet werden dürfen, ohne die Darstellung in der Google-Suche zu beeinflussen.

Die genauen Namen und Zwecke ändern sich. Massgeblich sind jeweils die Dokumentationsseiten der Anbieter, die unten verlinkt sind.

Typische Konfiguration

Ein Unternehmen, das in KI-Suchen sichtbar sein, aber nicht ins Training einfliessen will, erlaubt die Such- und Nutzer-Crawler und schliesst die Trainings-Crawler aus. Ein Unternehmen, das möglichst breit im Wissen der Modelle verankert sein will, erlaubt alle. Beides ist vertretbar; wichtig ist, dass die Entscheidung bewusst fällt und die Regeln regelmässig gegen die Dokumentation der Anbieter geprüft werden.

Grenzen

robots.txt wirkt nur für künftige Abrufe und nur bei Crawlern, die sich daran halten. Für eine verbindlichere Erklärung von Nutzungsvorbehalten gibt es ergänzende Ansätze wie das TDM Reservation Protocol. Wer Zugriffe technisch unterbinden will, muss das auf dem Server oder in einer vorgelagerten Firewall tun.

Was das für ein Schweizer Unternehmen bedeutet

Für ein Schweizer Unternehmen gehört robots.txt in eine schriftliche Agenten- und Bot-Policy: welche Anbieter zu welchem Zweck zugelassen sind, wer die Liste pflegt und wie oft sie überprüft wird. Manche Hosting- und CDN-Anbieter bieten zudem eigene Schalter oder Voreinstellungen zum Blockieren von KI-Crawlern an; was davon bei Ihnen aktiv ist, sollte geprüft und nicht vermutet werden.