Files
SlipItIn/.github/skills/agent-ready-cloudflare/robots-txt/SKILL.md
Tim Krampitz 01046b01e4 Neue Skills, Referenzen & OpenWiki-Doku integriert
Umfangreiche Erweiterung der Skill-Bibliothek: Neue Skills für Humanisierung (Englisch/PT-BR), Design-Validierung, AI-SEO und Coolify-Deployment inkl. Regelwerke, Presets, Pattern-Referenzen, Testfälle und Automatisierungsskripte. Zusätzliche Skills für Revenue-Centric Design, Pier Cloud, OKF, Lebenslauf- und LinkedIn-Optimierung sowie zahlreiche Referenzdateien, Checklisten und YAML/JSON/Markdown-Templates. Einführung einer vollständigen OpenWiki-Dokumentation mit Architektur-, Domain- und Workflow-Beschreibungen, zentralem Index und automatisierten Updates. Modularer Aufbau, restriktive Lizenzen und umfassende Qualitäts- und Evaluationsmechanismen für alle neuen Inhalte.
2026-07-26 14:00:58 +02:00

817 B

name, description
name description
agent-ready-robots-txt Sub-skill de agent-ready-cloudflare: Implement robots.txt

Implement robots.txt

Publish a valid robots.txt at your site root per RFC 9309.

Requirements

  • Serve /robots.txt as text/plain with HTTP 200
  • Include User-agent directives with Allow/Disallow rules
  • Reference your sitemap if one exists: Sitemap: https://example.com/sitemap.xml

Cloudflare

AI Crawl Control can manage your robots.txt from the dashboard, including AI-specific bot rules.

Validate

POST https://isitagentready.com/api/scan
Content-Type: application/json

{"url": "https://YOUR-SITE.com"}

Check that checks.discoverability.robotsTxt.status is "pass".