Wie Sie robots.txt für KI-Agenten konfigurieren

Welche Bots prüfen

Öffnen Sie robots.txt auf Ihrer Website (z. B. ihredomain.de/robots.txt). Suchen Sie nach User-agent-Blöcken für diese Namen: GPTBot, ChatGPT-User, ClaudeBot, claude-web, PerplexityBot, Google-Extended, Amazonbot, Applebot-Extended. Wenn darauf Disallow: / folgt, ist der Bot vollständig blockiert.

Wie Sie KI-Bots entsperren

Entfernen oder kommentieren Sie die Disallow: /-Zeilen für jeden KI-Bot aus. Wenn Sie nur bestimmte Bereiche sperren möchten (z. B. Admin), belassen Sie Disallow nur für diese Pfade:

User-agent: GPTBot
Disallow: /admin/
Disallow: /checkout/

User-agent: ClaudeBot
Disallow: /admin/
Disallow: /checkout/

Prüfen Sie nach dem Speichern Ihre Website erneut auf idealbusiness.ai.

Shoptet

Gehen Sie in der Shoptet-Verwaltung zu Einstellungen → SEO → robots.txt. Suchen Sie die Regeln für GPTBot, ClaudeBot und andere KI-Bots und entfernen Sie die Disallow: /-Zeilen. Shoptet fügt einige Sperren automatisch hinzu — prüfen Sie nach dem Speichern, ob sie zurückgekehrt sind.

Shopify

Seit Juni 2024 blockiert Shopify keine KI-Bots mehr. Falls Sie ältere Anpassungen in robots.txt.liquid haben, prüfen Sie diese: Online Store → Themes → Edit code → Templates. Entfernen Sie Disallow-Regeln für GPTBot und ClaudeBot.

WooCommerce und WordPress

WordPress erzeugt robots.txt virtuell. Installieren Sie Yoast SEO oder Rank Math, suchen Sie den Bereich robots.txt in den Einstellungen und entfernen Sie Regeln, die KI-Bots blockieren. Falls keine vorhanden, prüfen Sie, ob eine physische robots.txt-Datei auf dem Server existiert.