# ============================================================ # robots.txt – ernstneumeister.de # ============================================================ # Diese Webseite begrüßt KI-Crawler ausdrücklich. # Alle Inhalte dürfen indexiert, für KI-Antworten genutzt und # zum Trainieren von KI-Modellen verwendet werden. # # Funnel-/Confirm-Pages werden nicht über Disallow geblockt, # sondern über `` # direkt in den Pages. Grund: Wenn eine Seite per robots.txt # blockiert wäre, könnte Google den noindex-Tag nicht lesen – # bereits indexierte Funnel-Pages würden im Index hängen bleiben. # Steuerung des noindex-Tags: `noindex={true}` an Layout.astro # bzw. LandingLayout.astro. # # Index für KI-Crawler: https://ernstneumeister.de/llms.txt # Sitemap: https://ernstneumeister.de/sitemap-index.xml # Strukturierte Daten: JSON-LD im jeder Seite # ============================================================ # Standardregeln + Cloudflare Content Signals User-agent: * Content-Signal: search=yes, ai-input=yes, ai-train=yes Allow: / # Explizit eingeladene AI-Crawler # (gleiche Regeln, signalisiert ausdrückliche Erlaubnis pro Bot) User-agent: GPTBot User-agent: ChatGPT-User User-agent: OAI-SearchBot User-agent: ClaudeBot User-agent: Claude-Web User-agent: anthropic-ai User-agent: PerplexityBot User-agent: Perplexity-User User-agent: Google-Extended User-agent: Applebot-Extended User-agent: CCBot User-agent: cohere-ai User-agent: Meta-ExternalAgent User-agent: FacebookBot User-agent: Bytespider User-agent: Amazonbot User-agent: DuckAssistBot User-agent: Diffbot User-agent: Timpibot Allow: / Sitemap: https://ernstneumeister.de/sitemap-index.xml