Hello
je regarde de plus prés robot.txt généré par spip
quelques explications me serais utile car je comprend pas mon affichage du robot
seulement, spip à prévu de sortir au moins ces lignes:
User-agent: *
Allow: Allow: Disallow: Disallow: Disallow: Disallow: Disallow: Disallow: Disallow: Disallow: Crawl-delay: 1 Sitemap: #URL_SITE_SPIP/sitemap.xml
et là : User-agent: * Crawl-delay: 10
pourquoi ?