Précisions sur le robot.txt.html

Général
1

Bonjour à tous !

Selon les recommandation vues sur internet, j'ai vu que le robot.txt ne devait pas avoir de lignes vides et devait éviter le référencement des pages générant du contenu 'automatique' comme celui du résultat d'une recherche.

J'ai donc mis dans mon robot.txt.html :
#HTTP_HEADER{Content-Type: text/plain; charset=#CHARSET}
# robots.txt
# @url: #URL_SITE_SPIP
# @generator: SPIP #SPIP_VERSION
# @template: #SQUELETTE
User-agent: *
Disallow: /local/
Disallow: /ecrire/
Disallow: /extensions/
Disallow: /lib/
Disallow: /plugins/
Disallow: /prive/
Disallow: /squelettes-dist/
Disallow: /squelettes/
Disallow: spip.php?page=recherche
Sitemap: #URL_SITE_SPIP/sitemap.xml

Notez donc que j'ai supprimmer les lignes vides et ajouté : Disallow: spip.php?page=recherche pour tenter d'empêcher le référencement du résultat d'une recherche...

Qu'en pensez-vous ?

Merci d'avance de vos réactions...

Gilles L

2

Bonjour,

je suis surpris par le Disallow sur le dossier "squelettes"

Eric LM
Le 14/02/2014 10:25, robomatix a écrit :

Bonjour à tous !

Selon les recommandation vues sur internet, j'ai vu que le robot.txt ne devait pas avoir de lignes vides et devait éviter le référencement des pages générant du contenu 'automatique' comme celui du résultat d'une recherche.

J'ai donc mis dans mon robot.txt.html :
#HTTP_HEADER{Content-Type: text/plain; charset=#CHARSET}
# robots.txt
# @url: #URL_SITE_SPIP
# @generator: SPIP #SPIP_VERSION
# @template: #SQUELETTE
User-agent: *
Disallow: /local/
Disallow: /ecrire/
Disallow: /extensions/
Disallow: /lib/
Disallow: /plugins/
Disallow: /prive/
Disallow: /squelettes-dist/
Disallow: /squelettes/
Disallow: spip.php?page=recherche
Sitemap: #URL_SITE_SPIP/sitemap.xml

Notez donc que j'ai supprimmer les lignes vides et ajouté : Disallow: spip.php?page=recherche pour tenter d'empêcher le référencement du résultat d'une recherche...

Qu'en pensez-vous ?

Merci d'avance de vos réactions...

Gilles L
_______________________________________________
liste spip
spip@rezo.net - désabonnement : envoyer un mail à spip-off@rezo.net

Infos et archives : http://listes.rezo.net/mailman/listinfo/spip
Discuter chez rezo.net

Documentation de SPIP : http://www.spip.net/

Irc : de l'aide à toute heure : http://spip.net/irc

3

En fait, ça empêche le référencement des squelettes, mais pas celui des pages générés par ceux-ci !

Gilles L

Le 14/02/2014 11:06, Eric Le Meur a écrit :

Bonjour,

je suis surpris par le Disallow sur le dossier "squelettes"

Eric LM
Le 14/02/2014 10:25, robomatix a écrit :

Bonjour à tous !

Selon les recommandation vues sur internet, j'ai vu que le robot.txt ne devait pas avoir de lignes vides et devait éviter le référencement des pages générant du contenu 'automatique' comme celui du résultat d'une recherche.

J'ai donc mis dans mon robot.txt.html :
#HTTP_HEADER{Content-Type: text/plain; charset=#CHARSET}
# robots.txt
# @url: #URL_SITE_SPIP
# @generator: SPIP #SPIP_VERSION
# @template: #SQUELETTE
User-agent: *
Disallow: /local/
Disallow: /ecrire/
Disallow: /extensions/
Disallow: /lib/
Disallow: /plugins/
Disallow: /prive/
Disallow: /squelettes-dist/
Disallow: /squelettes/
Disallow: spip.php?page=recherche
Sitemap: #URL_SITE_SPIP/sitemap.xml

Notez donc que j'ai supprimmer les lignes vides et ajouté : Disallow: spip.php?page=recherche pour tenter d'empêcher le référencement du résultat d'une recherche...

Qu'en pensez-vous ?

Merci d'avance de vos réactions...

Gilles L
_______________________________________________
liste spip
spip@rezo.net - désabonnement : envoyer un mail à spip-off@rezo.net

Infos et archives : http://listes.rezo.net/mailman/listinfo/spip
Discuter chez rezo.net

Documentation de SPIP : http://www.spip.net/

Irc : de l'aide à toute heure : http://spip.net/irc

_______________________________________________
liste spip
spip@rezo.net - désabonnement : envoyer un mail à spip-off@rezo.net

Infos et archives : http://listes.rezo.net/mailman/listinfo/spip
Discuter chez rezo.net

Documentation de SPIP : http://www.spip.net/

Irc : de l'aide à toute heure : http://spip.net/irc

4

Tant qu’on interdit pas la possibilité de fouiller dans les squelettes. Interdire son référencement, oui bon pourquoi pas, dans le sens où ça n’est pas du contenu lié au site, mais une source (que l’on peut étudier comme n’importe quelle page html ou css).