Eine im Juni 2026 veröffentlichte Studie von Forschern der Stanford University und mehrerer US-amerikanischer Law Schools kommt zu einem bemerkenswerten Ergebnis: Jura-Professoren und Professorinnen bewerteten die Antworten von KI-Systemen in der Vertragsrechtslehre deutlich besser als die Antworten anderer Professoren. In einem blinden Vergleich bevorzugten die Professoren die KI-Antworten in rund drei Vierteln aller Fälle.
Die Untersuchung mit dem Titel “Law Professors Prefer AI Over Peer Answers” analysiert die Leistungsfähigkeit großer Sprachmodelle (LLMs) in einem Bereich, der traditionell als besonders anspruchsvoll gilt: juristische Bewertung und Argumentation. Anders als in Mathematik oder Naturwissenschaften existiert im Recht häufig keine eindeutig „richtige“ Antwort. Entscheidend sind vielmehr juristische Argumentationsqualität, Abwägung konkurrierender Gesichtspunkte und die Fähigkeit, vertretbare Schlussfolgerungen zu entwickeln („es kommt darauf an“).
Das zentrale Ergebnis fiel eindeutig aus: KI-Antworten wurden deutlich häufiger bevorzugt als Antworten menschlicher Lehrender. Gemini 2.5 Pro erreichte gegenüber den Professoren eine durchschnittliche Gewinnquote von 75,92 Prozent. NotebookLM kam auf 74,75 Prozent. Der durchschnittliche Wert der menschlichen Professoren lag dagegen lediglich bei 24,67 Prozent. Die Autoren der Studie betonen, dass Gemini 2.5 Pro in direkten Vergleichen gegen alle bis auf einen Professor besser abschnitt. NotebookLM übertraf sogar jeden menschlichen Teilnehmer, erzielte allerdings mit einem Professor ein statistisches Unentschieden.
Bemerkenswert ist zudem, dass sämtliche beteiligten Professoren im Durchschnitt die KI-Antworten bevorzugten. Die mittlere KI-Präferenzrate lag bei 75,81 Prozent. Selbst der kritischste Gutachter entschied sich noch in 56 Prozent der Fälle für die KI-Antwort.
Der Vorsprung der KI beschränkte sich dabei nach dem Ergebnis der Studie nicht nur auf reine Wissensabfragen. Über alle vier Fragekategorien hinweg erzielten die Modelle ähnliche Ergebnisse. Bei Gemini lagen die Gewinnquoten zwischen 74,24 Prozent bei Fallhypothesen und 77,17 Prozent bei Wissensfragen zu Fällen und Gesetzestexten. NotebookLM erreichte Werte zwischen 72,69 und 76,80 Prozent.
Die Autoren untersuchten außerdem, ob der Vorsprung der KI lediglich auf formalen Eigenschaften beruhte. Hierfür analysierten sie unter anderem Antwortlänge, Struktur, Klarheit, Argumentationsnuancen, juristische Bezüge, Selbstsicherheit und pädagogische Unterstützung. Die Auswertung ergab, dass längere Antworten zwar tendenziell besser bewertet wurden. Andere Merkmale wie Lesbarkeit oder pädagogische Strukturierung erklärten die Ergebnisse jedoch nicht ausreichend.
Die tatsächlichen Gewinnquoten der KI lagen systematisch über den Werten, die allein aufgrund solcher sprachlichen Merkmale zu erwarten gewesen wären. Nach Ansicht der Autoren spricht dies dafür, dass nicht bloß Stil oder Form, sondern zumindest teilweise die inhaltliche Qualität der Antworten den Ausschlag gab.
Quelle: jurios.de v. 18.06.2026
Bild: ©InfiniteFlow – stock.adobe.com
Der Beitrag kann nicht kommentiert werden.