Open AI
Wann nutzt ChatGPT die Websuche?
ChatGPT entscheidet anhand der Frage, ob es im Internet recherchiert. Bei seinem Training hat ChatGPT aus Texten und anderen Daten gelernt, Antworten zu formulieren. Informationen, die erst nach dem Training veröffentlicht wurden, kann es über die Websuche abrufen und für eine Antwort verwenden.
Für die Sichtbarkeit einer Website ist entscheidend, ob ChatGPT ihre Inhalte für eine Antwort verwendet und die Webseite als Quelle nennt.
Welche Aufgabe hat der OAI-SearchBot?
OpenAI verwendet den OAI-SearchBot, um Webseiten automatisch abzurufen und für die Suche in ChatGPT nutzbar zu machen. Ein solches Programm wird Crawler genannt. Der OAI-SearchBot kann eine Webseite bereits abrufen, bevor ein Nutzer eine Frage zu ihrem Thema stellt. Sein Zweck ist die Suche, nicht das Training von ChatGPT.
Wie kann ChatGPT im Web nach Informationen suchen?
Für die Suche nach Informationen zu einer Nutzerfrage steht ChatGPT ein Websuchwerkzeug zur Verfügung. Das Werkzeug kann nach Webseiten suchen, einzelne Seiten öffnen und innerhalb einer Seite nach bestimmten Textstellen suchen. ChatGPT kann damit zunächst eine passende Webseite finden und anschließend Informationen auf dieser Seite nachschlagen.
Werden alle aufgerufenen Webseiten als Quellen verlinkt?
ChatGPT kann bei einer Websuche mehrere Webseiten heranziehen und nur einen Teil davon in der Antwort als Quellen verlinken. Die Liste der aufgerufenen Webseiten und die Quellenlinks in der Antwort können deshalb voneinander abweichen. Ein Aufruf im Zugriffsprotokoll einer Website zeigt lediglich, dass die Seite abgerufen wurde. Ob ChatGPT die Seite als Quelle nennt, ist an den Links in der Antwort erkennbar.
Was bewirkt eine Sperre für den OAI-SearchBot?
Website-Betreiber können dem OAI-SearchBot den Zugriff in der Datei robots.txt untersagen. In dieser Datei stehen Regeln für Programme, die Webseiten automatisch abrufen. OpenAI erklärt, dass vom OAI-SearchBot ausgeschlossene Websites nicht in ChatGPT-Suchantworten erscheinen. Die Webadresse kann weiterhin als Link zum direkten Aufrufen der Website angezeigt werden. Ein solcher Link ist von einer Quellenangabe zu unterscheiden, die eine Aussage in der Antwort belegt.
Was ist über die Verarbeitung von Webseiten noch unbekannt?
OpenAI legt nicht vollständig offen, wie es Webseiten für seine Suche speichert und auswählt. Unklar bleibt zum Beispiel, ob die vom OAI-SearchBot abgerufenen Seiten dauerhaft in einem eigenen Suchindex erfasst werden. Ein Suchindex speichert Informationen über Webseiten, damit ein Suchdienst passende Seiten wiederfinden kann. Auch das Zusammenspiel mit den Suchdiensten anderer Anbieter ist nur teilweise beschrieben.
Unklar ist außerdem, welche Bestandteile OpenAI beim Auslesen einer Webseite entfernt. Webseiten enthalten neben dem Haupttext oft wiederkehrende Elemente wie Menüs und Fußzeilen. Diese Elemente werden als „Boilerplate“ bezeichnet. Die verwendeten Quellen erklären nicht, nach welchen Regeln OpenAI solche Elemente vom Haupttext trennt.
Quellenhinweis: OpenAI erklärt im Hilfeartikel „Searching the web with ChatGPT“, wann ChatGPT im Internet sucht und wie Quellen in Antworten angezeigt werden.
OpenAI beschreibt in „Overview of OpenAI Crawlers“ die Aufgabe des OAI-SearchBot und die Wirkung einer Sperre in der robots.txt.
Der Leitfaden „Web search“ beschreibt die Funktionen des Websuchwerkzeugs und den Unterschied zwischen aufgerufenen Webseiten und Quellenlinks. Er richtet sich an Entwickler, die die Websuche in eigene Anwendungen einbauen. Die beschriebenen Funktionen belegen keinen festen Ablauf für jede Suche innerhalb von ChatGPT.
https://developers.openai.com/api/docs/guides/tools-web-search
Wenn Sie mehr über die Sichtbarkeit Ihrer Website in KI-Systemen erfahren möchten, vereinbaren Sie ein kostenloses Erstgespräch mit mir.