KI-Sichtbarkeits-Check

Die robots.txt ist eine Richtlinie: Sie sagt gutwilligen Crawlern, was sie abrufen dürfen. Davor sitzt aber oft eine Firewall, ein Security-Plugin oder eine Bot-Management-Schicht, die entscheidet, ob die Anfrage überhaupt beantwortet wird. Beide Ebenen können sich widersprechen – dann sieht die Seite offen aus, verhält sich aber geschlossen.

Meist steckt dahinter keine bewusste Entscheidung. Cloudflare und mehrere Managed-Hoster sperren KI-Crawler ab Werk, sodass eine Seite nach einem Plattformwechsel plötzlich abweist, ohne dass es jemand im Team bemerkt. Dieser Check ruft Ihre Startseite einmal je Crawler und einmal als normaler Browser ab und vergleicht die Antworten.

Wir haben diesen Check im September 2026 über 200 Domains laufen lassen und zunächst gemeldet, ein großer Teil sperre KI-Crawler. Ein guter Teil davon stimmte nicht: Der Durchlauf war schnell genug, um eine Drosselung auszulösen, und eine 429 ist keine Sperre. Daraus wurde die Regel, nach der dieses Tool arbeitet: Zu jeder Prüfung läuft ein Kontrollabruf als Browser mit, und ein Crawler gilt nur dann als abgewiesen, wenn die Kontrolle durchkommt und er nicht. Eine 429, eine Zeitüberschreitung oder eine für alle unerreichbare Seite ergeben „unklar“.

Common Crawl ist ein offener Webcrawl, mitfinanziert von denselben Unternehmen, die große Sprachmodelle trainieren, und eine wichtige Quelle ihrer Trainingsdaten. Eine Seite, die dort fehlt, taucht mit hoher Wahrscheinlichkeit auch im nächsten Modell nicht auf. Es ist zugleich die einzige Messung zur KI-Sichtbarkeit, die ohne bezahltes Werkzeug möglich ist – deshalb steht sie in diesem Check.

Zu fehlen ist kein Todesurteil, enthalten zu sein keine Garantie. Behandeln Sie es als ein Signal: Fehlt Ihre Seite im Index und weist Ihr Server zugleich den CCBot ab, hängen beide Tatsachen zusammen – und beide lassen sich beheben.

KI-Crawler holen in aller Regel nur HTML und führen kein JavaScript aus. Baut Ihre Seite ihren Text erst im Browser zusammen, bekommen sie eine leere Hülle. Wir zählen deshalb die Wörter im rohen HTML, das Ihr Server ausliefert. Eine niedrige Zahl bei einer Seite, die im Browser voll aussieht, ist das typische Merkmal einer im Browser gerenderten Seite – und das teuerste Sichtbarkeitsproblem, wenn man es ignoriert.

Werden Crawler abgewiesen und sollen sie hinein: Die Einstellung sitzt im CDN oder in der Firewall, nicht in der robots.txt. Bei Cloudflare heißt sie KI-Bot-Steuerung unter „Sicherheit“. Wollen Sie sie aussperren, tun Sie es bewusst in der robots.txt statt versehentlich an der Firewall – dann lässt sich der Unterschied später noch erkennen.

llms.txt ist eine junge Konvention: eine Textdatei im Wurzelverzeichnis, die Sprachmodelle auf die wichtigen Seiten hinweist. Verlässlich ausgewertet wird sie bislang von nichts. Sie kostet fast nichts und ersetzt keine der vier Prüfungen oben.