Generador de robots.txt

Define qué rutas pueden rastrearse, añade tu sitemap y descarga un archivo robots.txt listo para publicar.

User-agentRutas permitidas, una por líneaRutas bloqueadas, una por líneaCrawl-delay opcionalURL del sitemap

robots.txt generado

User-agent: *
Allow: /
Allow: /api/public/
Disallow: /admin/
Disallow: /api/internal/

Sitemap: https://openutils.org/sitemap.xml

Control

Reglas por ruta

Combina directivas Allow y Disallow para definir el acceso de rastreadores.

Descubrimiento

Indica la ubicación del mapa del sitio en el mismo archivo.