So prüft Botlight.
Jedes Verdikt, mit Quelle.
Ein Verdikt, das du nicht nachprüfen kannst, ist eine Behauptung, keine Messung. Auf dieser Seite steht alles, was ein Report behauptet: welche Crawler-Tokens geprüft werden und woher ihre Namen stammen, wie die vier Säulen gewichtet sind, warum die Kopfzahl gedeckelt statt gemittelt wird — und die Technik-Fragen, die dem Scanner am häufigsten gestellt werden.
Die sieben Antwortsysteme, und die Crawler dahinter
Eine robots.txt-Zeile kann alle drei Spalten auf einmal entscheiden. Training sammelt Seiten, um ein Modell zu trainieren — das zu sperren kostet dich keine Sichtbarkeit. Index baut den Abruf-Index, aus dem ein Assistent zitiert — sperre ihn, und du bist nicht zitierbar, egal wie gut die Seite ist. Live holt deine Seite in dem Moment, in dem jemand fragt — sperre ihn, und der Link, den der Assistent zeigen wollte, ist tot.
| System | Index | Live-Fetch | Training |
|---|---|---|---|
| ChatGPT OpenAI | OAI-SearchBot | ChatGPT-User | GPTBot |
| Google AI Google | Googlebot | — | Google-Extended, GoogleOther |
| Claude Anthropic | Claude-SearchBot | Claude-User | ClaudeBot |
| Perplexity Perplexity | PerplexityBot | Perplexity-User | — |
| Copilot Microsoft | bingbot | — | — |
| Meta AI Meta | — | meta-externalfetcher | meta-externalagent |
| Apple Intelligence Apple | Applebot | — | Applebot-Extended |
Die Namen kommen von den Herstellern selbst: OpenAI, Google, Anthropic, Perplexity und Apple. Ein Scan berichtet zusätzlich über fünfzehn weitere Crawler — Common Crawl, Amazonbot, Bytespider und den Rest — und liest deine robots.txt so, wie die Spezifikation es vorschreibt (RFC 9309), nicht so, wie sie aussieht.
Wie der Score entsteht — und warum er gedeckelt wird
Vier Säulen, gewichtet: Zugang 30% (dürfen KI-Systeme dich erreichen — robots.txt, Snippet-Direktiven, und ob dein CDN Bots dieselbe Seite ausliefert), Lesbarkeit 25% (steht der Inhalt im HTML, ist es genug, und ist er mehr Substanz als wiederholte Boilerplate), Struktur 25% (strukturierte Daten, Titel und Beschreibung, Canonical, Sitemap) und Zitierwürdigkeit 20% (hebbare Passagen, benannter Autor, ein Datum, eigene Quellen). Prüfungen, die nur für bestimmte Seitentypen Sinn ergeben — eine Autorenzeile auf einem Artikel, Produktdaten auf einer Produktseite — werden berichtet, aber anderswo nicht gewertet.
Die Kopfzahl ist die Zitierfähigkeit, und sie wird gedeckelt, nicht gemittelt: Wenn fünf von sieben Systemen deine Seite nicht abrufen dürfen, macht das sauberste Markup das nicht wett — also wird die Gesamtzahl auf das gedrückt, was das geschlossene Tor zulässt, und der Report nennt die Bedingung, die gegriffen hat. Shops bekommen eine zweite, separate Zahl — den Produktdaten-Score —, denn was ein Kaufagent aus Produktdaten liest, ist eine andere Frage als die, ob ein Antwortsystem eine Seite zitieren darf. Eine gemischte Zahl würde beide Antworten verstecken.
Ein hoher Score heißt: Die Systeme dürfen dich zitieren und können dich lesen — er verspricht nie, dass sie es tun. Die Auswahl passiert in den Modellen, ist von außen nicht messbar, und jedes Tool, das etwas anderes behauptet, verkauft eine erfundene Zahl.
Die Technik-Fragen
Nimmt mich eine GPTBot-Sperre aus ChatGPT?
Nein. GPTBot sammelt Seiten, um ein Modell zu trainieren. Zitiert zu werden läuft über OAI-SearchBot, der den Suchindex baut, und ChatGPT-User, der deine Seite öffnet, während die Antwort entsteht. Sperre diese beiden, und du bist nicht zitierbar — GPTBot allein zu sperren kostet dich keine Sichtbarkeit.
Warum ist Grok nicht in der Liste?
Weil es nichts zu prüfen gibt. Auf dieses Board kommt, wer eines mitbringt: ein Crawler-Token, das der Hersteller selbst veröffentlicht, sodass eine Zeile in deiner robots.txt nachweisbar für ihn gilt. xAI dokumentiert keines — die Entwicklerdokumentation behandelt die API und keinen Crawler, und xAI fehlt in Cloudflares Referenz der großen AI-Crawler, die zwanzig von zwölf Betreibern listet. Die kursierenden Token-Namen — GrokBot, xAI-Grok, Grok-DeepSearch, xAI-Bot — stammen aus Drittlisten, die sich widersprechen, und genau dieser Widerspruch ist der Punkt: Niemand hat eine Quelle. Ein Verdikt wäre hier erfunden, also gibt es keines. An dem Tag, an dem xAI ein Token veröffentlicht, bekommt Grok eine Kachel wie alle anderen.
Hilft eine llms.txt-Datei?
Kein Hersteller hat bestätigt, sie zu lesen. Sie ist ein vorgeschlagener Standard, und Botlight generiert dir eine — aber sie zählt nicht in deinen Score. Wer dir erzählt, sie sei Pflicht, rät.
Zurück zum Scanner — ein Scan ist kostenlos, braucht kein Konto und führt jede Prüfung dieser Seite live aus.