OAI-SearchBot und “web.run”

Der OAI-SearchBot ruft Webseiten automatisch ab, damit sie über die Suchfunktionen von ChatGPT gefunden werden können. Diese Abrufe können unabhängig von einer konkreten Nutzerfrage stattfinden.

„web.run“ bezeichnet hier den Aufruf eines Websuchwerkzeugs während einer Recherche. Wenn ChatGPT für eine Antwort Informationen aus dem Internet benötigt, kann es mit einem solchen Werkzeug nach passenden Quellen suchen und einzelne Webseiten öffnen. ChatGPT kann Fragen auch ohne Websuche beantworten.

Für Website-Betreiber bedeutet das: Ein Besuch des OAI-SearchBots zeigt, dass das Programm die Webseite abgerufen hat. Daraus lässt sich noch nicht erkennen, ob ChatGPT ihre Inhalte für eine Antwort verwendet oder die Webseite als Quelle nennt.

OpenAI unterscheidet zwischen OAI-SearchBot und GPTBot. Der OAI-SearchBot dient der Suche. Der GPTBot ruft Inhalte ab, die für das Training verwendet werden können. Beim Training lernen die KI-Modelle aus Texten und anderen Daten, Antworten zu formulieren.

Website-Betreiber können in der Datei robots.txt für jeden Crawler eigene Zugriffsregeln festlegen. So lässt sich der Zugriff für den OAI-SearchBot erlauben und für den GPTBot sperren. Die Website kann dadurch für die Suche zugänglich bleiben, während der Betreiber das Sammeln ihrer Inhalte für das Training ablehnt. Laut OpenAI kann es etwa 24 Stunden dauern, bis Änderungen an der robots.txt für die Suche berücksichtigt werden.

ChatGPT-User kann Webseiten im Auftrag eines Nutzers abrufen, etwa wenn ChatGPT den Inhalt einer angegebenen Webseite prüfen soll. Der Name kann dann im Zugriffsprotokoll der Website erscheinen. ChatGPT-User ist kein Crawler, der das Web automatisch durchsucht. Ob eine Website für die Suche freigegeben ist, wird unabhängig von diesen einzelnen Abrufen über die Einstellungen für den OAI-SearchBot in der robots.txt gesteuert.

Mit der Funktion „search“ sucht das Websuchwerkzeug nach Informationen im Internet. Je nach verwendetem KI-Modell kann es außerdem einzelne Webseiten mit „open_page“ öffnen und mit „find_in_page“ darin nach Textstellen suchen. ChatGPT kann auf diese Weise eine passende Webseite finden und anschließend Informationen auf der Seite nachschlagen.

Die öffentliche Beschreibung des Werkzeugs richtet sich an Entwickler, die die Websuche in eigene Anwendungen einbauen. OpenAI nennt dieses Werkzeug „web_search“. Die Beschreibung zeigt, welche Funktionen es bietet; sie legt keine feste Reihenfolge für jede Suche in ChatGPT fest.

Bei einer Websuche können mehr Webseiten herangezogen werden, als später in der Antwort verlinkt sind. OpenAI unterscheidet deshalb zwischen der Liste der aufgerufenen Webseiten und den Quellenlinks im Antworttext. Für eine Website bedeutet das: Ein protokollierter Seitenabruf belegt den Zugriff. Ob die Seite auch als Quelle genannt wurde, lässt sich an der Antwort prüfen.

OpenAI bietet Entwicklern eine Einstellung, mit der die Websuche ausschließlich bereits gespeicherte Informationen verwendet. Während dieser Suche werden keine neuen Inhalte direkt von Websites abgerufen. Dieser Betriebsmodus heißt „Cache-Only-Mode“. Ein Cache ist ein Zwischenspeicher, aus dem zuvor abgerufene Inhalte erneut verwendet werden können.

LLMrefs berichtet über eigene Tests dieses Betriebsmodus. Dabei waren Informationen zu aktuellen Ereignissen teilweise schon nach wenigen Stunden verfügbar. In anderen Tests konnten Inhalte noch abgerufen werden, die mehr als 30 Tage zuvor gespeichert worden waren. Nach Angaben von LLMrefs trugen sowohl OAI-SearchBot als auch ChatGPT-User zum gespeicherten Bestand bei. Diese Beobachtungen beschreiben die untersuchten Fälle; sie belegen keine feste Speicherfrist oder Aktualisierungshäufigkeit für alle Webseiten.

OpenAI erklärt nicht vollständig, welche Webseiten dauerhaft für die Suche gespeichert werden. Auch der Aufbau eines eigenen Suchindex ist nur teilweise beschrieben. Ein Suchindex enthält Informationen über Webseiten, mit denen ein Suchdienst passende Seiten wiederfinden kann. Die Verzögerung bei Änderungen an der robots.txt zeigt für sich genommen nicht, wie ein solcher Index aufgebaut ist.

Die genauen Regeln für die Reihenfolge der Suchtreffer und die Auswahl von Quellen sind ebenfalls nicht vollständig veröffentlicht. Unklar bleibt dabei, ob und wie OpenAI die Bedeutung von Texten in Zahlen umwandelt, um die Ähnlichkeit zwischen einer Suchanfrage und einer Webseite zu berechnen. Aus der thematischen Nähe einer Seite zu einer Frage lässt sich deshalb nicht vorhersagen, ob ChatGPT die Seite als Quelle verwendet.

OpenAI erklärt, dass Websites, die den OAI-SearchBot sperren, nicht in ChatGPT-Suchantworten erscheinen. Links zum direkten Aufrufen einer Website können trotzdem angezeigt werden. Für ChatGPT Atlas, den Browser von OpenAI, nennt das Unternehmen einen konkreten Fall: Eine Webadresse kann über einen anderen Suchanbieter oder über Links auf anderen Webseiten bekannt sein. Dann können die Adresse und der Seitentitel erscheinen, obwohl der OAI-SearchBot die verlinkte Seite nicht abrufen durfte. Daraus folgt nicht, dass ihr Inhalt als Beleg für die Antwort verwendet wurde.