robot.txt et spip

Général
1

Bonjour,
j’y connais pas grand chose en robot.txt

mais quelqu’un a mis dans son répertoire /squelettes sur une mutu un fichier robot.txt
mais cela est 'il vraiment utile et a quoi sert il ?

merci pour votre éclairage

#HTTP_HEADER{Content-Type: text/plain; charset=#CHARSET}

robots.txt

@url: #URL_SITE_SPIP

[# @generator: SPIP (#SPIP_VERSION|header_silencieux)]

@template: #SQUELETTE

User-agent: *
Allow: /local/cache-css/
Allow: /local/cache-js/
Noindex: /local/
Noindex: /plugins-dist/
Noindex: /plugins/
Noindex: /squelettes-dist/
Noindex: /squelettes/
Disallow: /ecrire/
Disallow: /lib/
Disallow: /prive/
Disallow: /spip.php?action=*
Disallow: /spip.php?page=login*
Disallow: /*.api/
Crawl-delay: 1

pour le robot Twitterbot

User-agent: Twitterbot
Disallow: /local/
Allow: /local/cache-gd2/
Allow: /local/cache-vignettes/

Sitemap: #URL_SITE_SPIP/sitemap.xml

2

et par rapport à celui de base fourni par SPIP, quel différence ?

3

c’est bien ma question a quoi sert il ?

4

De ce que j’en sais, ça ne sert à rien d’en rajouter via le squelette car SPIP en génère un. Sinon pour savoir à quoi sert le fichier je ne peux que te renvoyer vers la meilleur base de connaissance du monde :

5

a surcharger celui de base en principe