01046b01e4
Umfangreiche Erweiterung der Skill-Bibliothek: Neue Skills für Humanisierung (Englisch/PT-BR), Design-Validierung, AI-SEO und Coolify-Deployment inkl. Regelwerke, Presets, Pattern-Referenzen, Testfälle und Automatisierungsskripte. Zusätzliche Skills für Revenue-Centric Design, Pier Cloud, OKF, Lebenslauf- und LinkedIn-Optimierung sowie zahlreiche Referenzdateien, Checklisten und YAML/JSON/Markdown-Templates. Einführung einer vollständigen OpenWiki-Dokumentation mit Architektur-, Domain- und Workflow-Beschreibungen, zentralem Index und automatisierten Updates. Modularer Aufbau, restriktive Lizenzen und umfassende Qualitäts- und Evaluationsmechanismen für alle neuen Inhalte.
1.0 KiB
1.0 KiB
name, description
| name | description |
|---|---|
| agent-ready-ai-rules | Sub-skill de agent-ready-cloudflare: Implement AI Bot Rules in robots.txt |
Implement AI Bot Rules in robots.txt
Add explicit User-agent entries for AI crawlers in your robots.txt per
RFC 9309.
Requirements
- Add
User-agentblocks for AI-specific bots:GPTBot,OAI-SearchBot,Claude-Web,Google-Extended,Amazonbot,anthropic-ai,Bytespider,CCBot,Applebot-Extended - Set
Allowand/orDisallowrules matching your content policy - A wildcard
User-agent: *block alone is not sufficient — explicit AI bot entries are required
Cloudflare
AI Crawl Control lets you manage AI bot rules from the dashboard without editing robots.txt manually.
Validate
POST https://isitagentready.com/api/scan
Content-Type: application/json
{"url": "https://YOUR-SITE.com"}
Check that checks.botAccessControl.robotsTxtAiRules.status is "pass".