# GPTBot

> GPTBot ist der Web-Crawler von OpenAI, der nach Angaben des Unternehmens Inhalte sammelt, die für das Training der generativen Basismodelle von OpenAI verwendet werden können.

Englisch: GPTBot  
Aktualisiert: 2026-10-16  
Webfassung: https://artemislabs.ch/wissen/glossar/gptbot

OpenAI dokumentiert seine Crawler auf einer eigenen Seite und nennt dort für jeden Crawler den Zweck, das Token für robots.txt und die Kennung im User-Agent. Diese Angaben sind die einzige verlässliche Quelle; die Liste wird von OpenAI angepasst und sollte vor Änderungen an der eigenen Konfiguration nachgelesen werden.

## Drei Crawler, drei Zwecke

OpenAI unterscheidet zwischen mehreren automatisierten Zugriffen:

- **GPTBot** sammelt Inhalte, die für das Training der generativen Basismodelle verwendet werden können. Wer GPTBot in robots.txt ausschliesst, signalisiert laut OpenAI, dass die Inhalte nicht für das Training verwendet werden sollen.
- **OAI-SearchBot** dient dazu, Websites in den Suchfunktionen von ChatGPT zu finden und anzuzeigen. Wer in diesen Suchergebnissen erscheinen möchte, sollte diesen Crawler nicht ausschliessen.
- **ChatGPT-User** steht für Abrufe, die eine Nutzerin oder ein Nutzer in ChatGPT oder über eine eigene Anwendung direkt auslöst, etwa wenn der Assistent eine bestimmte Seite öffnet. Für solche Abrufe gelten laut OpenAI die Regeln in robots.txt unter Umständen nicht in gleicher Weise, weil sie nicht automatisch gecrawlt werden; die genaue Formulierung steht in der Dokumentation.

OpenAI betont, dass die Einstellungen unabhängig voneinander sind. Ein Unternehmen kann also das Training ausschliessen und trotzdem in der Suche von ChatGPT auffindbar bleiben.

## Steuerung über robots.txt

Ein Ausschluss von GPTBot bei gleichzeitiger Zulassung der Suche sieht so aus:

```
User-agent: GPTBot
Disallow: /

User-agent: OAI-SearchBot
Allow: /
```

robots.txt ist nach RFC 9309 eine Bitte an Crawler, keine Zugriffssperre. Seriöse Betreiber halten sich daran; technisch erzwingen lässt sich ein Ausschluss nur auf Ebene des Servers oder einer vorgelagerten Firewall. OpenAI veröffentlicht dafür auch die IP-Adressbereiche seiner Crawler.

## Abwägung

Ein Ausschluss von GPTBot verhindert keine bereits erfolgte Nutzung und wirkt nur für künftige Abrufe. Er beeinflusst möglicherweise, was künftige Modelle ohne Websuche über ein Unternehmen wissen. Wie stark dieser Einfluss ist, lässt sich von aussen nicht messen.

## Was das für ein Schweizer Unternehmen bedeutet

Für ein Schweizer Unternehmen ist die Entscheidung über GPTBot eine Abwägung zwischen dem Schutz eigener Inhalte und der Präsenz im Wissen künftiger Modelle. Sie sollte bewusst getroffen, schriftlich begründet und für alle grossen Anbieter einheitlich geregelt werden, nicht zufällig durch eine Voreinstellung des Hosting-Anbieters.

## Quellen

- [OpenAI: Overview of OpenAI Crawlers](https://platform.openai.com/docs/bots)
- [RFC 9309: Robots Exclusion Protocol (IETF, 2022)](https://www.rfc-editor.org/rfc/rfc9309)

## Verwandte Begriffe

- [robots.txt für KI-Crawler](https://artemislabs.ch/wissen/glossar/robots-txt-ki-crawler.md)
- [TDM-Vorbehalt](https://artemislabs.ch/wissen/glossar/tdm-vorbehalt.md)
- [LLMO (Large Language Model Optimization)](https://artemislabs.ch/wissen/glossar/llmo.md)
- [Agent Readiness](https://artemislabs.ch/wissen/glossar/agent-readiness.md)

## Weiter

- [Artemis Protokoll: Kontrolle behalten](https://artemislabs.ch/leistungen/protokoll)
- [Standortbestimmung](https://artemislabs.ch/standortbestimmung)
- [Glossar](https://artemislabs.ch/wissen/glossar.md)