Erklärungen

Bei einer KI-Suche verarbeitet ein Sprachmodell Informationen aus abgerufenen Quellen. Eine Quelle kann zwar das richtige Thema behandeln, aber trotzdem die gesuchte Erklärung nicht enthalten. Die Aussage, dass etwas funktioniert, beantwortet beispielsweise noch nicht die Frage, wie es funktioniert.

Beschreibt ein Text die notwendigen Schritte und ihren Zweck, liegen diese Informationen bereits zusammen vor. Das Modell muss die Erklärung dann nicht vollständig aus verstreuten Angaben oder seinem gespeicherten Wissen ergänzen. Für Webtexte folgt daraus: Die Antwort sollte den Zusammenhang ausdrücklich erklären, nach dem die Überschrift fragt.

Ouyang und Mitautoren untersuchten, wie Sprachmodelle durch zusätzliche Trainingsschritte besser auf Nutzeraufgaben reagieren können. Dafür nutzten sie vorgegebene Antwortbeispiele und menschliche Bewertungen verschiedener Modellausgaben. Die so trainierten Modelle lieferten in den untersuchten Aufgaben Antworten, die von den Bewertenden häufiger bevorzugt wurden.

Die Arbeit beschreibt damit, wie gewünschtes Antwortverhalten trainiert werden kann. Sie untersucht nicht unmittelbar, welche Webseiten ein KI-Suchsystem als Quelle auswählt. Eine feste Bevorzugung erklärender Webtexte lässt sich aus dieser Trainingsstudie allein deshalb nicht ableiten.

Die AutoGEO-Studie von Wu und Mitautoren untersuchte die Verwendung von Webinhalten in selbst zusammengestellten KI-Suchsystemen. Aus Vergleichen unterschiedlich stark berücksichtigter Texte ließen die Forschenden Regeln für die Überarbeitung ableiten.

Bei anspruchsvollen Recherchefragen gehörte das Erklären von Ursachen, Abläufen und Zusammenhängen zu den gemeinsamen Regeln der drei untersuchten Sprachmodelle. Die Regel wird als „In-depth“ bezeichnet und verlangt, das Wie und Warum eines Themas zu erläutern.

Texte, die anhand mehrerer solcher Regeln überarbeitet wurden, wurden in den Versuchen stärker in KI-Antworten berücksichtigt. Das liefert einen Hinweis auf den Nutzen erklärender Inhalte. Die Wirkung einer zusätzlichen Erklärung wurde dabei nicht unabhängig von allen anderen Textänderungen nachgewiesen.

Wei und Mitautoren untersuchten das sogenannte Chain-of-Thought-Prompting. Dabei erhält ein Sprachmodell Beispiele, die neben einer Aufgabe und ihrer Lösung auch die dazwischenliegenden Lösungsschritte zeigen. In den untersuchten großen Sprachmodellen verbesserte dieses Vorgehen die Ergebnisse bei verschiedenen Rechen- und Schlussfolgerungsaufgaben.

Die Studie bezieht sich auf Beispiele, die gezielt als Teil der Aufgabenstellung an das Modell übergeben werden. Sie untersucht nicht, ob eine Webseite mit Lösungsschritten häufiger gefunden oder zitiert wird. Beschriebene Schritte in einem Webtext können dem Modell Informationen für eine Erklärung liefern; daraus folgt aber keine Garantie für dieselbe Wirkung wie im Versuch.

Die Aussage „Die Seitenstruktur wird optimiert“ nennt eine Maßnahme, lässt aber offen, was dabei geschieht und welchem Zweck die einzelnen Schritte dienen.

Eine erklärende Fassung lautet: „Zunächst wird geprüft, welche Fragen die vorhandenen Seiten beantworten. Inhalte werden den passenden Themen zugeordnet und die Seiten erhalten Überschriften, die ihren jeweiligen Gegenstand benennen. So wird erkennbar, welche Informationen auf welcher Seite zu finden sind.“

Die zweite Fassung nennt konkrete Arbeitsschritte und das angestrebte Ergebnis. Soll ein KI-System erklären, was mit der Überarbeitung einer Seitenstruktur gemeint ist, enthält dieser Text bereits eine Beschreibung des Vorgehens.

Wenn ein Vorgang nur unter bestimmten Bedingungen zum beschriebenen Ergebnis führt, gehören diese Bedingungen in die Erklärung. Andernfalls fehlt dem Sprachmodell die Information, wann die Aussage gilt und wann nicht.

Die Erklärung sollte außerdem unterscheiden, ob ein Zusammenhang belegt ist oder nur als mögliche Erklärung vorgeschlagen wird. Eine Vermutung wird als solche benannt und durch eine sprachlich flüssige Darstellung nicht zur gesicherten Tatsache. Bei der Beschreibung von KI-Systemen gilt das auch für interne Abläufe, die öffentlich nicht dokumentiert sind.

Wenn Sie erfahren möchten, wie Sie die Texte Ihrer Website sprachlich für die Verarbeitung durch KI-Systeme verbessern können, vereinbaren Sie ein kostenloses Erstgespräch mit mir.