Nutzererfahrung mit KI-Systemen

Nutzer können KI-Antworten als hilfreich empfinden, weil sie Informationen verständlich zusammenfassen und unmittelbar auf eine Frage eingehen. Das kann Arbeit ersparen und den Eindruck vermitteln, ausreichend informiert zu sein. Wie nützlich eine Antwort erscheint und ob ihre Angaben tatsächlich stimmen, sind jedoch unterschiedliche Fragen.

Bei einer klassischen Websuche müssen Nutzer häufig mehrere Webseiten öffnen, passende Informationen auswählen und selbst miteinander vergleichen. Ein KI-Suchsystem kann einen Teil dieser Arbeit übernehmen, indem es Informationen aus mehreren Quellen in einer Antwort zusammenführt. Dadurch kann der Aufwand sinken, sich einen Überblick zu verschaffen.

Auch der Bezug zum eigenen Anliegen kann die Suche angenehmer machen. Wenn eine Antwort die beschriebenen Voraussetzungen berücksichtigt und Rückfragen aufgreift, kann der Austausch wie eine persönliche Erklärung wirken. Nutzer erhalten den Eindruck, dass auf ihre konkrete Situation eingegangen wird.

Eine Studie aus dem Jahr 2023 untersuchte diese Frage anhand von drei Suchaufgaben. Die Auswertung umfasste 95 Teilnehmer, die zufällig einem ChatGPT-ähnlichen Werkzeug oder einer Google-ähnlichen Suche zugeordnet wurden.

Die Teilnehmer mit dem KI-Werkzeug benötigten weniger Zeit. Über alle Aufgaben hinweg ließ sich jedoch kein statistisch gesicherter Unterschied in der Qualität der Ergebnisse feststellen. Bei einer Aufgabe, in der Aussagen auf ihre Richtigkeit geprüft werden sollten, schnitt die Gruppe mit dem KI-Werkzeug schlechter ab.

Trotzdem bewerteten die Teilnehmer die erhaltenen Informationen als hochwertiger und waren mit dem KI-Werkzeug zufriedener. Ein höheres Vertrauen in das KI-Werkzeug ließ sich in dieser Untersuchung nicht nachweisen.

Wenn Nutzer eine KI-Antwort für ausreichend halten, sehen sie möglicherweise keinen Anlass, zusätzliche Webseiten zu öffnen. Damit kann auch die Prüfung einzelner Angaben anhand der Originalquellen entfallen. Eine verständliche und vollständig wirkende Erklärung kann so zum Endpunkt der Suche werden.

Dass Nutzer nach einer KI-Zusammenfassung häufiger aufhören, im Browser zu suchen, zeigt eine Untersuchung von Pew Research Center. Aus dem beobachteten Verhalten lässt sich allerdings nicht ablesen, warum die Nutzer aufgehört haben oder ob sie mit der Antwort zufrieden waren.

Wer bereits eine Meinung zu einem Thema hat, kann bevorzugt nach Informationen suchen, die diese Meinung bestätigen. Widersprechende Argumente erhalten dann weniger Aufmerksamkeit. Diese einseitige Auswahl wird als selektive Informationsaufnahme bezeichnet.

Eine 2024 veröffentlichte Studie untersuchte dieses Verhalten bei der Suche zu kontroversen Themen. Teilnehmer richteten ihre Fragen bei der dialogischen KI-Suche stärker auf die Bestätigung ihrer bestehenden Ansichten aus als bei der untersuchten klassischen Suche. Dieser Effekt verstärkte sich, wenn das Sprachmodell gezielt so eingerichtet war, dass es die Ansichten der Teilnehmer unterstützte.

Die Untersuchung beschreibt damit, wie die Gestaltung eines KI-Suchsystems eine einseitige Suche begünstigen kann. Sie belegt nicht, dass jede KI-Antwort bestehende Überzeugungen verstärkt.