Textlänge

Ein Sprachmodell verarbeitet die Frage des Nutzers. Je nach Aufgabe bezieht es auch frühere Nachrichten aus dem Gespräch oder Informationen von Webseiten ein. Die Frage und die ergänzenden Texte bilden zusammen den Eingabekontext.

Das Kontextfenster gibt an, wie viel Text ein Sprachmodell auf einmal verarbeiten kann. Diese Menge wird in Token gemessen, also in kleinen Texteinheiten wie Wörtern oder Wortteilen. Ein größeres Kontextfenster bietet Platz für mehr Text. Mehr Text führt jedoch nicht automatisch zu besseren Antworten.

Bei einer KI-Suche kann das Sprachmodell nur einen Abschnitt Ihrer Webseite erhalten. Hinzu kommen möglicherweise Auszüge aus anderen Webseiten. Für die Antwort verarbeitet es dann die Nutzerfrage und diese Auszüge zusammen. Entscheidend ist in diesem Fall, wie lang diese Texte zusammen sind.

In der Studie „Context Length Alone Hurts LLM Performance Despite Perfect Retrieval“ bearbeiteten fünf Sprachmodelle Rechenaufgaben, Wissensfragen und Programmieraufgaben. Die Forscher verlängerten den Text, den die Modelle zu den Aufgaben erhielten. Bei vielen Tests sank die Zahl richtiger Lösungen, obwohl die Modelle die nötigen Angaben im Text korrekt gefunden und wiedergegeben hatten.

In zusätzlichen Versuchen mit zwei der Sprachmodelle verlängerten die Forscher den Text mit Leerzeichen. Bei weiteren Tests wurden die zusätzlichen Token so ausgeblendet, dass das Modell nur die Angaben zur Aufgabe und die Frage berücksichtigen konnte. Auch unter diesen Bedingungen nahm die Zahl richtiger Lösungen ab. Ähnliche Verschlechterungen traten auf, wenn die nötigen Angaben unmittelbar vor der Frage standen. Die Fehler ließen sich in diesen Versuchen also weder allein durch ablenkende Inhalte noch durch die Position der gesuchten Angaben erklären.

Für die Studie „Large Language Models Can Be Easily Distracted by Irrelevant Context“ ergänzten die Forscher mathematische Textaufgaben um Angaben, die für die Lösung nicht benötigt wurden. Die untersuchten Sprachmodelle machten dadurch häufiger Fehler. Dieser Befund betrifft den Inhalt der zusätzlichen Angaben. Die Versuche zur reinen Textlänge zeigen, dass auch die bloße Textmenge ein Problem sein kann.

Wer einen Website-Text überarbeitet, prüft bei jedem Absatz, was er erklärt oder belegt. Wiederholungen, lange Einleitungen ohne Sachinformationen und erneut eingefügte Navigationselemente im Haupttext lassen sich kürzen oder entfernen.

Die zentrale Antwort kann in einem kurzen Abschnitt am Anfang stehen. Ausführliche Erklärungen folgen darunter. In jedem Abschnitt sollten die Aussage, ihre Bedingungen und notwendige Belege zusammenbleiben. So bleibt auch ein einzelner Abschnitt verständlich, wenn er aus der Webseite übernommen wird.

Eine Vorgabe wie „18 Token pro Aussage“ berücksichtigt nicht, welche Erklärungen und Bedingungen eine Aussage benötigt. Wie viele Token ein Text enthält, hängt außerdem von der Sprache und der Aufteilung durch das verwendete Modell ab. Auch die Länge eines kurzen Zitats sagt nichts darüber aus, wie ausführlich der zugrunde liegende Website-Text sein muss.

Wenn Sie erfahren möchten, wie ausführlich die Texte Ihrer Website sein sollten und wie Sie die Inhalte übersichtlich gliedern können, vereinbaren Sie ein kostenloses Erstgespräch mit mir.