BUSINESSEntwicklung · · 2 Min. Lesezeit · Quelle: Google Search Central Blog
robots.txt: Eine Zeile soll KI-Training bei vier Anbietern stoppen
Google, Microsoft, OpenAI und Anthropic haben am 30. Oktober 2026 ein gemeinsames Signal für die Datei robots.txt angekündigt. Website-Betreiber sollen damit in einem Schritt festlegen können, dass ihre Inhalte nicht für das Training generativer KI verwendet werden.
Das Wichtigste in Kürze
- Angekündigt am 30. Oktober 2026 von Google, Microsoft, OpenAI und Anthropic; Kennzeichen: __usage_ai-training in der robots.txt.
- Microsoft beachtet es ab 1. Februar 2027, Google plant die Unterstützung für 2027, OpenAI laut SiliconANGLE in den kommenden Monaten.
- Bisher nur ein einzelner IETF-Entwurf, kein Standard; eine Regel für alle Crawler (User-Agent: *) schließt das Kennzeichen nicht ein.
So soll das Signal aussehen
Bisher braucht jeder Anbieter einen eigenen Eintrag, etwa für GPTBot oder Google-Extended. Künftig soll ein gemeinsames Kennzeichen reichen, das wie ein Crawler-Name in der robots.txt steht:
User-Agent: __usage_ai-training
Disallow: /Auch einzelne Pfade lassen sich so ausnehmen. Wichtig: Eine Regel für alle Crawler (User-Agent: *) gilt laut Entwurf nicht für dieses Kennzeichen. Du musst es also ausdrücklich eintragen.
Wer wann mitmacht
- Microsoft: beachtet die neuen Einstellungen ab dem 1. Februar 2027.
- Google: plant die Unterstützung für 2027.
- OpenAI: laut SiliconANGLE „in den kommenden Monaten“.
- Anthropic: Der Entwurf stammt von einem Anthropic-Mitarbeiter; einen Termin nennt der Entwurf nicht.
- Meta: findet die Idee laut SiliconANGLE gut, hat die Umsetzung aber nicht zugesagt.
Was das Signal nicht leistet
Noch ist nichts fertig. Der Text ist ein einzelner Entwurf bei der IETF, kein verabschiedeter Standard, und Details können sich ändern. Das Kennzeichen beschreibt zudem nur einen Wunsch zur Nutzung. Es ist keine Crawling-Regel, Bots dürfen die Seite weiter besuchen. Die bestehenden Regeln der einzelnen Anbieter gelten weiter.
Die Nebenwirkung für deine Sichtbarkeit
Die Anbieter behandeln das Signal nicht gleich. Google will es wie ein Verbot von Google-Extended werten, wenn du Google-Extended nicht ausdrücklich nennst. Nur Seiten, die Google-Extended ausdrücklich erlauben, können laut Google über Grounding in Antworten der Gemini-Apps erscheinen und Klicks bekommen. Microsoft trennt Training und Grounding: In der Bing-Suche bleibst du auch mit Opt-out, weniger sichtbar in KI-Antworten kannst du laut Microsoft aber werden.
Was das für dich bedeutet
- Du musst heute nichts ändern: Das Signal wird erst ab 2027 breit beachtet, die bisherigen Einträge pro Anbieter gelten weiter.
- Wer KI-Training ablehnen will, bekommt einen einfacheren Weg, der aber nur künftige Nutzung betrifft und von niemandem technisch erzwungen wird.
- Die eigentliche Frage ist strategisch: Willst du in KI-Antworten vorkommen oder deine Inhalte schützen? Beides zugleich geht nur mit sauber getrennten Regeln.
So nutzt du das
Öffne deine-domain.de/robots.txt und prüfe, welche KI-Crawler dort stehen. Entscheide dann pro Bereich deiner Website, ob sie in KI-Antworten auftauchen soll, und halte das schriftlich fest, bevor du 2027 das neue Signal einträgst.
Luigis Einordnung
Aus Marketingsicht ist das eine gute Nachricht, weil aus einer Bastelarbeit eine klare Entscheidung wird. Bisher hat kaum ein Unternehmen seine robots.txt bewusst für KI gepflegt. Dabei ist das längst eine Frage der Positionierung: Wer in KI-Antworten genannt werden will, muss auffindbar sein. Auf i4u.business erlaube ich KI-Crawler deshalb bewusst, weil die Tool-Seiten in KI-Antworten zitiert werden sollen.
Das gilt aber nicht für jeden. Wer mit exklusiven Inhalten Geld verdient, etwa mit Kursen, Studien oder Fachtexten, kann zu Recht anders entscheiden. Mein Rat: Trenne deine Website in zwei Teile. Was dich bekannt machen soll, bleibt offen. Was du verkaufst, schützt du. Und trag das neue Signal erst ein, wenn du die Folgen für Google und Bing verstanden hast. Ein schnell kopierter Einzeiler kann dich mehr Sichtbarkeit kosten, als er schützt.
Quelle
Google Search Central Blog: Supporting a shared AI training control for websites
Weitere Quellen
- Bing Blog (Microsoft) – Termine, Syntax, Trennung von Training und Grounding
- IETF Datatracker – Entwurf vom 30.10.2026, noch kein Standard
- SiliconANGLE – Zeitplan OpenAI, Haltung von Meta
Dieser Beitrag wurde mit KI-Unterstützung recherchiert und geschrieben. Verantwortlich: Luigi Lugmayr.
