Noisy Token & Boilerplates

Der HTML-Quelltext beschreibt den Aufbau einer Webseite. Er kann außerdem Anweisungen zur Gestaltung, Programmcode für Funktionen und technische Kommentare enthalten. Beim Abruf einer Seite können deshalb auch Bestandteile anfallen, die keine Antwort auf die Nutzerfrage liefern.

Nicht jedes KI-Suchsystem übergibt den vollständigen Quelltext an ein Sprachmodell. Manche Verfahren entfernen technische Bestandteile oder wählen einzelne Abschnitte aus. Ob unnötiger Code das Modell überhaupt erreicht, hängt daher davon ab, wie das Suchsystem die abgerufene Seite aufbereitet.

Das Kontextfenster legt fest, wie viele Token ein Sprachmodell bei einer Aufgabe gleichzeitig berücksichtigen kann. Enthält die Eingabe neben der Frage und den Quellen viele unnötige Bestandteile, bleibt innerhalb dieses Rahmens weniger Platz für die benötigten Erklärungen.

Ist die vorgesehene Eingabe zu lang, muss das Suchsystem sie verkürzen oder weniger Material auswählen. Wird ein Dokument dabei einfach am Ende abgeschnitten, können wichtige Angaben verloren gehen. Ein Sprachmodell kann Informationen aus einem nicht übergebenen Abschnitt dann nicht aus dieser Quelle übernehmen.

Auch eine Eingabe, die vollständig in das Kontextfenster passt, muss das Modell inhaltlich auswerten: Welche Angaben beantworten die Frage, welche gehören lediglich zum allgemeinen Seitenaufbau? Ein größeres Kontextfenster beseitigt diese Aufgabe nicht. Aus der Größe einer Webseite allein lässt sich zudem nicht ableiten, welcher Ausschnitt einem konkreten KI-Suchsystem für seine Antwort vorliegt.

Tan und Mitautoren entwickelten mit HtmlRAG ein Verfahren, das abgerufene Webseiten für die Beantwortung von Fragen aufbereitet. Es entfernt unnötige technische Bestandteile und wählt passende Inhaltsbereiche aus. Aussagekräftige Strukturen, etwa Überschriften und Tabellen, sollen dabei erhalten bleiben.

In den Versuchen entfernte allein die HTML-Bereinigung mehr als 94 Prozent der Token des ursprünglichen Quelltexts. Dieser Wert bezieht sich auf das untersuchte Material und das verwendete Verfahren. Er bedeutet nicht, dass bei jeder Website derselbe Anteil entfernt werden kann.

HtmlRAG verdeutlicht damit zwei zusammengehörige Aufgaben: Die Eingabe verkürzen und die Beziehungen zwischen den verbleibenden Informationen bewahren. Alle HTML-Kennzeichnungen zu entfernen, wäre dafür keine gleichwertige Lösung.

Navigation, Fußbereich und allgemeine Hinweise entstehen häufig durch Vorlagen im Content-Management-System, kurz CMS. Dieselbe Vorlage kann diese Bestandteile auf vielen Seiten ausgeben. Bei einer Frage zum Seitenthema liefern wiederholte Menüpunkte oder allgemeine Werbetexte oft keine zusätzliche Erklärung.

Die Studie „An unsupervised perplexity-based method for boilerplate removal“ von Fernández-Pichel und Mitautoren untersucht die automatische Bereinigung solcher Webtexte. Das Verfahren bewertet Sätze mit einem Sprachmodell und entfernt Bestandteile, die nach dieser Bewertung als ungeeignet gelten. Das Verfahren verbesserte Ergebnisse bei der Suche, bei der Zuordnung von Texten zu Kategorien und bei der Bereinigung von Webseiten. Allerdings konnten auch relevante Sätze verloren gehen. Die Arbeit untersucht keine Quellenwahl heutiger KI-Suchdienste.

Auch das Forschungsprojekt Dripper von Liu und Mitautoren vergleicht Verfahren zum Erkennen von Hauptinhalten auf Webseiten. Die Ergebnisse unterscheiden sich je nach Verfahren. Die Studie bewertet, wie gut Hauptinhalte erhalten bleiben und andere Seitenelemente ausgeschlossen werden. Sie zeigt damit, warum die Qualität des Auslesens geprüft werden muss.

Bei der Überarbeitung werden große Blöcke mit Gestaltungsanweisungen, lange direkt eingebundene Skripte und technische Kommentare geprüft. Nicht benötigte Bestandteile lassen sich entfernen; weiterhin benötigter Code kann gegebenenfalls in separate Dateien ausgelagert werden. Ob das möglich ist, hängt von der Umsetzung der Website ab.

Auch leere oder unnötig ineinander verschachtelte HTML-Bereiche können vereinfacht werden. Lange interne Kennungen für Gestaltung und Funktionen sollten auf ihren Zweck geprüft werden. Solche Kennungen dürfen nicht allein wegen ihrer Länge gelöscht werden, wenn die Website sie weiterhin benötigt.

Erhalten bleiben müssen Angaben, die Bedeutung oder Funktion vermitteln: Überschriften, Absätze, Listen, Tabellen, Linkziele, Bildbeschreibungen und die Zuordnung von Formularbeschriftungen zu Eingabefeldern. Zusammengehörige Inhalte sollten im Seitenaufbau beieinanderstehen. Eine gekürzte Ausgabe hilft nicht, wenn anschließend unklar ist, zu welcher Aussage eine Erklärung oder Einschränkung gehört.

Die Vorlagen sollten Hauptinhalt, Navigation und Fußbereich technisch als unterschiedliche Bereiche kennzeichnen. Wiederholte Navigationen und mehrfach ausgegebene allgemeine Texte werden auf ihre Notwendigkeit geprüft. Für die Seite wichtige Hinweise bleiben erhalten.

Nach einer Änderung wird die veröffentlichte Seite mit dem Ergebnis eines Ausleseverfahrens verglichen. Sind die Hauptaussagen vollständig enthalten? Stehen Bedingungen noch bei den zugehörigen Aussagen? Fehlt eine Erklärung, wird geprüft, ob sie erst im Browser nachgeladen wird oder bei der Auswahl der Inhalte verloren geht.

Diese Kontrolle prüft die Aufbereitung für das verwendete Verfahren. Sie belegt nicht, dass jedes KI-Suchsystem denselben Text erhält.

Wenn Sie erfahren möchten, wie Ihr CMS die Inhalte Ihrer Website für KI-Suchsysteme zugänglich und klar gegliedert bereitstellen kann, vereinbaren Sie ein kostenloses Erstgespräch mit mir.