Coding-Agenten: 99 % im Test, 26 % im echten Leben. Kauft den Prozess

Kennst du das? Der Agent baut die neue Landingpage in zehn Minuten. Sieht fast fertig aus. Dann dauert der Rest zwei Tage: der Button, der mobil verrutscht, das Formular, das nicht abschickt, der Text, der an der falschen Stelle steht.

Genau dieses „fast“ hat jetzt eine Zahl.

Was die Studie gemessen hat

Forschende, laut The Decoder von Alibaba und mehreren asiatischen Universitäten, haben Co-Design Bench veröffentlicht. Die Eckdaten aus dem Paper:

• 273 Aufgaben, ausgewählt aus über 37.000 Anfragen in mehr als 26.000 echten Coding-Sitzungen. Bevorzugt wurden Fälle, in denen Nutzer nachbessern oder Änderungen zurücknehmen mussten.
• 2.331 versteckte Abnahmekriterien, von Fachleuten geschrieben. Bewertet wird die fertige App im Browser, ein zweiter KI-Prüfer sucht nach Attrappen und hart codierten Ergebnissen.
• Zehn Modelle im selben Agenten-Setup. Das beste erfüllt im Schnitt 69,9 Prozent der Kriterien, löst aber nur 26,4 Prozent der Aufgaben komplett.

Laut The Decoder liegen ältere Benchmarks bei über 99 Prozent, hier fallen die Werte um mehr als 35 Prozentpunkte. Am schwersten wird es, wenn eine Aufgabe Layout, Design, Interaktion und Inhalt gleichzeitig betrifft. Also genau dann, wenn es nach echter Website-Arbeit aussieht.

70 Prozent fertig ist bei einer Website 0 Prozent live

Was ich daran spannend finde: Die Lücke zwischen 70 Prozent der Kriterien und 26 Prozent fertigen Aufgaben ist kein Rundungsfehler. Das ist die Strecke zwischen Demo und Go-live. Kein Kunde sieht 70 Prozent einer Landingpage. Er sieht eine kaputte.

Heißt für Marketing-Teams: Der Agent spart euch nicht die Arbeit, er verschiebt sie. Vom Bauen zum Prüfen. Wer das nicht einplant, rechnet sich Produktivität schön und zahlt sie später in Freigabe-Schleifen zurück. Ich baue meine eigene Website mit Claude, und genau deshalb ist mir der Prozess wichtiger als das Modell: klare Abnahmekriterien, Screenshots auf Handy und Desktop, ein Mensch, der freigibt.

Die unterschätzte Zahl: das Setup schlägt das Modell

Der zweite Befund ist für Einkäufer noch wichtiger. Dasselbe kleinere Modell kam bei großen Umbauten je nach Arbeitsumgebung auf 75 oder 56 Prozent, und auch die Rangliste der Modelle änderte sich mit der Umgebung. Die Autoren empfehlen deshalb, Modell und Harness immer zusammen anzugeben.

Aus meiner Sicht ist das der eigentliche Reality Check für jede Tool-Auswahl. Ihr kauft kein Modell, ihr kauft ein System aus Modell, Werkzeugen, Prompts und Prüfschritten. Wer nur auf die Modell-Rangliste schaut, vergleicht Motoren und ignoriert das Auto.

Der Haken

Jede Aufgabe hat eine feste Anfrage, Rückfragen und Korrekturen mitten im Lauf wurden nicht getestet. Im Alltag arbeitet ihr iterativ, das hilft dem Agenten. Und die Bewertung machen KI-Prüfer, die selbst Fehler machen können.

Was ich jetzt tun würde

• Abnahmekriterien vorher schreiben. Fünf bis zehn prüfbare Punkte pro Seite (mobil, Formular, Ladezeit, Texte), bevor der Agent startet.
• Prüfzeit einplanen. Für jede KI-gebaute Änderung fest Zeit für Test und Freigabe im Plan, nicht „wenn Zeit ist“.
• Tools im eigenen Setup testen. Drei echte Änderungswünsche aus eurem Backlog, gleiche Kriterien, mehrere Tools. Das sagt mehr als jede Rangliste.

Bottom Line: Der Agent liefert 70 Prozent in Minuten, die restlichen 30 Prozent entscheiden, ob du live gehst, und die gehören immer noch dir.