Gut im Imitieren, weniger im Argumentieren

Argumentation ist allgegenwärtig, sei es in der Politik, auf dem Arbeitsmarkt oder im Privatleben. „Wir tauschen an allen möglichen Stellen Argumente aus“, sagt Prof. Dr. Annette Hautli-Janisz, Juniorprofessorin für Natural Language Processing an der Universität Passau. Beim Auftakt der  Ringvorlesung zum Thema „Sprachmodelle – zwischen Hype und Realität“, die im Juni und Juli an der Universität Passau stattfindet, diskutierte sie mit Prof. Dr. Henning Wachsmuth vom Institut für Künstliche Intelligenz an der Universität Hannover die Frage, wie gut Sprachmodelle im Argumentieren sind - und wo die Grenzen liegen.

Beide Forschende kommen aus dem Bereich Natural Language Processing, der Verarbeitung natürlicher Sprache. Es handelt sich um ein Teilgebiet der künstlichen Intelligenz, das sich mit dem Verstehen und Erzeugen von Sprache durch Maschinen befasst.

Was Sprachmodelle können und was nicht – Einblicke in laufende Arbeiten

Wie sich Sprachmodelle zähmen lassen: Prof. Dr. Henning Wachsmuth und sein Team haben untersucht, ob Sprachmodelle in der Lage sind, beleidigende Aussagen zu entschärften, ohne den Inhalt zu verändern. Dazu ließen sie ein Modell und Menschen Kommentare überarbeiten, die sie im zweiten Schritt Menschen zur Bewertung vorlegten. Die maschinell erstellten Versionen wurden tatsächlich als gelungener eingestuft als die menschlichen Überarbeitungen. In einem weiteren Schritt testeten sie, wie weit das Sprachmodell jegliche argumentative Aufgaben lösen kann. Hier stieß das KI-Modell an Grenzen. Man müsse sich klarmachen, dass die Systeme nicht darauf ausgelegt seien, beim kritischen Denken zu unterstützen, sondern Anweisungen bestmöglich zu befolgen, so der Forscher.

Sprachmodelle als Imitatoren von Politikerinnen und Politikern: Ein Team um Prof. Dr. Hautli-Janisz und Steffen Herbold, Professor für AI-Engineering an der Universität Passau, wollte wissen: Können Sprachmodelle überzeugend in die Rolle von Politikerinnen und Politikern schlüpfen? Die Forschenden nutzten dazu einen Datensatz aus verschriftlichten Fragen und Antworten aus der britischen Politik-Talkshow BBC Question Time. Zusätzlich ließen sie ein Sprachmodell künstliche Antworten generieren und legten die Versionen britischen Bürgerinnen und Bürgern zur Bewertung vor. Die Befragten wussten zunächst nichts von dem Einsatz der Maschine. Ein Ergebnis: Die Teilnehmenden stuften die imitierten Antworten durchwegs als authentischer, schlüssiger und relevanter als die Statements der Politikerinnen und Politiker ein. „Generative Sprachmodelle sind so gut, dass sie Menschen nachweislich in die Irre führen können“, lautet ein Fazit von Prof. Dr. Hautli-Janisz. Die Studie ist als Vorabversion publiziert und befindet sich aktuell im Begutachtungsprozess.

KI als Bewährungsrichter in der Rechtsprechung: Ein Team um Prof. Dr. Hautli-Janisz untersuchte, wie sich Sprachmodelle als Bewährungsrichter machen. Der Grund: Im US-Staat Pennsylvania kommt künstliche Intelligenz als Unterstützung bei gerichtlichen Entscheidungen bereits zum Einsatz. Die Forschenden nutzten einen Datensatz mit Bewährungsanhörungen aus dem US-Staat Kalifornien, der im Internet öffentlich zugänglich ist. Sie anonymisierten die Anhörungsskripte und ließen das Sprachmodell auf deren Basis entscheiden. Das Ergebnis: „In 60 Prozent der Fälle repliziert das Modell die Entscheidung des Bewährungsrichters.“ In 20 Prozent aber entschied das Modell strikter und verweigerte die Bewährung. Die Forscherin betonte, dass hinter den Einsatz von KI in der Rechtsprechung ein großes ethisches Fragezeichen zu setzen sei. Die Studie ist noch nicht publiziert.

Idee – Sprachmodelle als vernünftige Papageien