Nur freigeben reicht nicht: Wharton-Studie zerlegt Human in the Loop

Kennst du den Workflow? Die KI schreibt, das Team liest drüber, jemand klickt auf „Freigeben“. Human in the Loop, Haken dran. Eine neue Studie der Wharton School sagt: Genau diese Variante ist die schwächste. Und sie spart nicht mal Zeit.

Was die Forscher gemessen haben

Kartik Hosanagar (Wharton) und Daehwan Ahn (University of Georgia) haben 285 Studierende in einem Kurs an der University of Georgia je eine Geschichte mit 1.000 Wörtern schreiben lassen. Am ersten Tag ohne KI, am zweiten mit ChatGPT 3.5, zufällig verteilt auf drei Arbeitsweisen:

• Human Confirmation: Die KI macht Idee, Gliederung, Entwurf und Überarbeitung. Der Mensch bestätigt oder verwirft nur.
• Human Creativity: Der Mensch entwickelt Idee und Gliederung selbst, die KI schreibt und überarbeitet.
• Copilot: Mensch und KI arbeiten durchgehend zusammen.

549 Geschichten, je vier Bewertungen. Die Studie erschien am 10.11. in PNAS Nexus.

Der Mensch am Anfang kostet keine Zeit

Das ist für mich der wichtigste Befund. Mit KI ging die Gesamtzeit gegenüber dem ersten Tag um 36,2 Prozent runter, das reine Schreiben sogar um 68,6 Prozent. Aber: Zwischen den drei Arbeitsweisen gab es bei der Gesamtzeit keinen signifikanten Unterschied. Wer Idee und Gliederung selbst macht, ist also nicht langsamer als jemand, der nur freigibt.

Gleichzeitig fiel die Qualität bei „Human Confirmation“ vom ersten zum zweiten Tag deutlich stärker als bei „Copilot“. Vor allem die Bewertung „interessant“ sackte ab. Die Freigabe-Gruppe war weniger zufrieden, weniger stolz auf ihr Ergebnis und erlebte weniger Spielraum. Rund 80 Prozent von ihnen sagten, die Grundidee kam von der KI.

Heißt: Die Freigabe-Taste ist keine Qualitätskontrolle. Sie ist das Ende einer Kette, deren wichtigste Glieder schon vergeben sind.

Das eigentliche Problem heißt Gleichklang

Der Second-Order-Punkt für Marken steckt in den Ähnlichkeitswerten. Die Texte aus „Human Confirmation“ waren einander inhaltlich am ähnlichsten (0,779 gegenüber 0,647 ohne KI). Am vielfältigsten unter den KI-Varianten blieb „Human Creativity“, also die Gruppe, die die Idee selbst mitbrachte.

Übertrag das auf Marketing: Wenn alle Teams Kampagnen per Freigabe abnicken, die das gleiche Modell entworfen hat, klingen Marken irgendwann gleich. Distinctiveness ist aber genau das, wofür Brand-Budget da ist. Meine Faustregel war schon vorher: Intern bleibt, was Urteil und Kontext braucht, also Positionierung, Briefing, finale Entscheidung. Die Studie liefert jetzt das Argument, warum das Briefing nicht an die KI gehen darf. Auch auf i4u.business schreibt die KI mit, aber die Positionen, die jeden Text tragen, lege ich vorher fest.

Der Haken

Studierende, kreatives Schreiben, ein älteres Modell, eine Sitzung. Die Autoren sagen selbst, dass sich das nicht eins zu eins auf andere Aufgaben oder neuere Modelle übertragen lässt. Und die Reihenfolge war fest: Tag eins immer ohne KI. Als Richtungssignal für Content-Teams taugt die Studie trotzdem, weil die Gruppen am zweiten Tag zufällig verteilt waren.

Was ich jetzt tun würde

• Jeden KI-Workflow im Team prüfen: Wer liefert Idee und Gliederung? Steht da „die KI“, ist das euer Risiko.
• Ein Pflichtfeld vor jedem Prompt: Kernaussage, Zielgruppe, was diesen Text von der Konkurrenz unterscheidet. Zwei Minuten, laut Studie kein Zeitverlust.
• Freigabe neu definieren: nicht „passt so“, sondern „passt zu unserer Positionierung“. Wer das nicht beurteilen kann, sollte nicht freigeben.

FazitHuman in the Loop gehört an den Anfang, nicht ans Ende. Wer nur freigibt, spart keine Zeit und verliert die Marke.