robot.txt.html

Groupes Escal
1

Bonsoir,

Je constate qu'il n'y a pas de robot.txt.html

par defaut sur escal

est il possible de prévoir son intégration dans escal

ou dois je faire mon propre fichier ?

Allow: /local/cache-css/
Allow: /local/cache-js/
Disallow: /local/
Disallow: /ecrire/
Disallow: /sites/
Allow: /sites/[(#URL_SITE_SPIP|replace{'www\.',''}|replace{'ww2\.',''}|replace{'\.g2w\.fr',''}|replace{'http://',''}|replace{'https://',''})]

Crawl-delay: 13

User-agent: bingbot
Crawl-delay: 29

User-Agent: MJ12bot
Crawl-Delay: 31

pour soulager la charge ....

--
http://spipfactory.com/

C’est une plateforme d’hébergement autogéré en association de loi 1901; Certifié Koak 2.0.
Propulsée par la mutualisation de SPIP 3.2.1 [23954] + écran de sécurité 1.3.6,
habillage par le squelette ESCAL 4.0.45 - dev - Utilisé par 1490 sites.
SpipFactory héberge 27 sites mutualisés (Version : 23375)

2

ah bien vu, je vais donc simplement créer un robot dans mon /squelettes avec les lignes qui vont faire ralentir les moteurs qui sollicite trop le serveur (IRC spip)

Crawl-delay: 13

User-agent: bingbot
Crawl-delay: 29

User-Agent: MJ12bot
Crawl-Delay: 31

et l’indexation du pseudo plugin mutualisation

Disallow: /mutualisation/

Disallow: /sites/ ===> la je suis pas certain , car j’ai peur que certaine partie des sites hébergés ne soient plus référencés

Allow: /sites/[(#URL_SITE_SPIP|replace{‹ www. ›,‹  ›}|replace{‹ ww2. ›,‹  ›}|replace{‹ .g2w.fr ›,‹  ›}|replace{‹  ›,‹  ›}|replace{‹  ›,‹  ›})]