01046b01e4
Umfangreiche Erweiterung der Skill-Bibliothek: Neue Skills für Humanisierung (Englisch/PT-BR), Design-Validierung, AI-SEO und Coolify-Deployment inkl. Regelwerke, Presets, Pattern-Referenzen, Testfälle und Automatisierungsskripte. Zusätzliche Skills für Revenue-Centric Design, Pier Cloud, OKF, Lebenslauf- und LinkedIn-Optimierung sowie zahlreiche Referenzdateien, Checklisten und YAML/JSON/Markdown-Templates. Einführung einer vollständigen OpenWiki-Dokumentation mit Architektur-, Domain- und Workflow-Beschreibungen, zentralem Index und automatisierten Updates. Modularer Aufbau, restriktive Lizenzen und umfassende Qualitäts- und Evaluationsmechanismen für alle neuen Inhalte.
32 lines
1.0 KiB
Markdown
32 lines
1.0 KiB
Markdown
---
|
|
name: agent-ready-ai-rules
|
|
description: >
|
|
Sub-skill de agent-ready-cloudflare: Implement AI Bot Rules in robots.txt
|
|
---
|
|
# Implement AI Bot Rules in robots.txt
|
|
|
|
Add explicit `User-agent` entries for AI crawlers in your robots.txt per
|
|
[RFC 9309](https://www.rfc-editor.org/rfc/rfc9309).
|
|
|
|
## Requirements
|
|
|
|
- Add `User-agent` blocks for AI-specific bots: `GPTBot`, `OAI-SearchBot`, `Claude-Web`, `Google-Extended`, `Amazonbot`, `anthropic-ai`, `Bytespider`, `CCBot`, `Applebot-Extended`
|
|
- Set `Allow` and/or `Disallow` rules matching your content policy
|
|
- A wildcard `User-agent: *` block alone is not sufficient — explicit AI bot entries are required
|
|
|
|
## Cloudflare
|
|
|
|
[AI Crawl Control](https://developers.cloudflare.com/ai-crawl-control/)
|
|
lets you manage AI bot rules from the dashboard without editing robots.txt manually.
|
|
|
|
## Validate
|
|
|
|
```
|
|
POST https://isitagentready.com/api/scan
|
|
Content-Type: application/json
|
|
|
|
{"url": "https://YOUR-SITE.com"}
|
|
```
|
|
|
|
Check that `checks.botAccessControl.robotsTxtAiRules.status` is `"pass"`.
|