StudentBench-Studie: KI-Tutoren erzielen so viel Lernerfolg wie menschliche Tutoren

Die Forschenden haben nicht nur geprüft, ob KI hilft, sondern ob sie gleichwertig hilft. Dafür nutzen sie einen sogenannten Äquivalenztest: Der Unterschied zwischen KI und Mensch muss mit hoher Sicherheit innerhalb eines vorab festgelegten, engen Korridors von ±4,09 Prozentpunkten liegen. Das Ergebnis ist eindeutig: Der gemessene Unterschied beträgt −0,58 Prozentpunkte, das Konfidenzintervall liegt vollständig im Korridor (p = 0,015). Auch unter einem strengeren Kriterium bleibt die Gleichwertigkeit bestehen.

Gegenüber der Kontrollgruppe brachte die KI-Nachhilfe nach Berücksichtigung der Ausgangsleistung 6,15 Prozentpunkte zusätzlichen Lernzuwachs. Das entspricht etwa 1,5 bis 2 zusätzlich richtig gelösten Aufgaben von 27, nach nur einer Stunde. Bemerkenswert ist die Breite des Ergebnisses: Es gilt nicht nur für teure Spitzenmodelle, sondern über 13 sehr unterschiedliche KI-Tutoren hinweg, darunter kleine und offen verfügbare Modelle. Sechs von zwölf einzeln getesteten KI-Tutoren bestanden den Gleichwertigkeitstest gegen den Menschen jeweils auch für sich allein.

Die Autoren betonen zudem, dass ihre KI-Tutoren bewusst einfach gebaut waren: zwei kurze Anweisungen, kaum zusätzliche Software. Ihr Ergebnis ist damit eher eine Untergrenze dessen, was KI beim Lernen leisten kann.

Im mathematischen Teil liegen KI und Mensch im Durchschnitt eng beieinander, die besten KI-Tutoren übertreffen die menschlichen Tutoren in drei von vier Bereichen. Im sprachlichen Teil sieht es anders aus: Dort erzielten menschliche Tutoren den höchsten Lernzuwachs über den gesamten Testteil, und der Durchschnitt aller KI-Tutoren lag in allen drei Sprachbereichen unter dem der Menschen. Für den sprachlichen Teil allein konnte die Studie die Gleichwertigkeit nicht nachweisen.

Wichtig für die Einordnung: Die Spitzenwerte stammen jeweils von einem anderen Modell. Einen KI-Tutor, der überall vorne liegt, gibt es in den Daten nicht, und über alle Bereiche hinweg unterschieden sich die zwölf gemeinsam getesteten KI-Tutoren statistisch nicht signifikant. Die Lehre daraus: Es kommt weniger auf das eine perfekte Modell an als darauf, wie KI in den Lernprozess eingebettet ist.

Die Antwortzeiten der KI-Tutoren lagen zwischen 1,9 Sekunden und 31 Sekunden pro Antwort. Je schneller ein Tutor antwortete, desto mehr Nachrichten schrieben die Lernenden (Rangkorrelation −0,81). Im mathematischen Teil ließ sich daraus eine ganze Kette nachweisen: Schnellere Antworten gingen mit mehr Dialog einher, mehr Dialog mit mehr richtig gelösten Übungsaufgaben, und mehr richtig gelöste Übungsaufgaben mit einem größeren Lernzuwachs. Zehn zusätzliche richtig gelöste Übungsaufgaben standen für rund 5,6 Prozentpunkte mehr Lernzuwachs.

Die Forschenden vermuten, dass genau dieser Effekt erklärt, warum auch Modelle, die bei der Unterrichtsplanung von Fachleuten schlechter bewertet wurden, menschliche Lernerfolge erreichten: Wer nicht warten muss, bleibt dran und übt mehr. Ein weiteres Detail aus einer Vorstudie passt dazu: Kurze, offene Anweisungen an die KI führten dort zu höheren Lernzuwächsen als ausführliche, detaillierte Vorgaben. Mehr Kontrolle über die KI bedeutet also nicht automatisch besseres Lernen.

Für die Praxis heißt das: Ein guter Lernbegleiter muss sofort verfügbar sein, zum Mitdenken einladen und viel aktives Üben ermöglichen. Statt fertige Lösungen zu liefern, sollte er erklären, nachfragen und zum nächsten eigenen Versuch ermutigen.

Eine Stunde ist nicht ein halbes Jahr. Gemessen wurde der Lernzuwachs direkt nach einer einzigen Lerneinheit. Ob das Gelernte nach Wochen oder Monaten noch sitzt, hat die Studie nicht untersucht. Die Autoren selbst verweisen auf Forschung, nach der Aktivität allein noch kein Lernen garantiert und mehr Übungsaufgaben nicht automatisch zu besserem Behalten führen.

Motivation war kein Thema. Die Teilnehmenden wurden für eine einzelne, bezahlte Sitzung rekrutiert. In einer Weiterbildung über Monate geht es dagegen um Durchhalten, um Rückschläge und um die Frage, warum man morgen wieder anfängt. Die Studie zitiert dazu die Selbstbestimmungstheorie: Menschen bleiben motiviert, wenn sie sich kompetent, selbstbestimmt und verbunden fühlen. Gerade das Gefühl der Verbundenheit entsteht vor allem zwischen Menschen.

Weitere Einschränkungen: Untersucht wurde ein englischsprachiger Zulassungstest mit überwiegend 18- bis 23-jährigen Studierenden. Es gab keine Vergleichsgruppe, die allein Übungsaufgaben bearbeitet hat, und für den sprachlichen Teil ließ sich die Gleichwertigkeit nicht belegen. Die Autoren weisen außerdem darauf hin, dass ein Teil der Ergebnisse von der statistischen Modellierung abhängt. Und: Die Kombination aus KI und menschlichem Trainer wurde nicht getestet.

Schon 1984 beschrieb der Bildungsforscher Benjamin Bloom das „Zwei-Sigma-Problem“: Einzelunterricht wirkt enorm, ist aber für die meisten Menschen unbezahlbar. StudentBench liefert nun belastbare Daten dafür, dass KI-Tutoren zumindest kurzfristig ähnliche Lernerfolge erzielen wie erfahrene menschliche Tutoren, und das zu einem Bruchteil der Kosten.

Die Studie zeigt aber auch, was KI allein nicht beantwortet: wie Lernende über Monate motiviert bleiben, wie Wissen dauerhaft hängen bleibt und wie anspruchsvolle Sprachaufgaben am besten vermittelt werden. Hier bleibt der Mensch wichtig.

Die beste Antwort ist deshalb nicht KI oder Mensch, sondern beides: ein KI-Lerntutor, der jederzeit antwortet, und Trainer, die motivieren, inspirieren und dich bis zum Abschluss begleiten.