google ref le backend !

Hello,
J'étais déjà tombé sur un backend
en faisant des recherches sur google
(et trouvé ça plutôt naze)
et là ça vient d'arriver à un de mes sites spip !!

Faut donc interdire le backend à google
via le robot.txt si je ne m'abuse.

Et ça devrait y pas faire partie de la dist, ça ?
JLuc

Faut donc interdire le backend à google

Pour quelle raison ?

via le robot.txt si je ne m'abuse.

Oui c'est robots.txt à la racine cf.

Et ça devrait y pas faire partie de la dist, ça ?

Non, je ne pense pas.

-- Fil

On Thu, 2007-05-17 at 22:33 +0200, Fil wrote:

> Faut donc interdire le backend à google

Pour quelle raison ?

parce qu'un backend c'est censé bouger tout le temps.
Ça m'est déjà arrivé d'avoir un flux rss remonté par google avec
dedans des infos qui n'avaient plus rien à voir avec ma recherche.
De plus, tout ce qu'un rss remonte à priori, c'est des trucs qui sont
également ailleurs dans le site.
Le seul cas ou ça remonte des trucs différents c'est quand on cherche
"machin truc" et qu'il y a "machin" dans un article et "truc" dans un
autre, à l'autre bout du site.
Dans ce cas, le lien entre les 2 est rarement pertinent.

> via le robot.txt si je ne m'abuse.

Oui c'est robots.txt à la racine cf.
Protocole d'exclusion des robots — Wikipédia

> Et ça devrait y pas faire partie de la dist, ça ?
Non, je ne pense pas.

  Comme le fichier est censé être à la racine et que spip est souvent
dans un sous répertoire "spip", le fichier ne sera pas pris en compte
dans 99% des installations.

--
À+, Pif.

Fil wrote:

Faut donc interdire le backend à google

Pour quelle raison ?

parceque n'est pas une page à consulter comme les autres

son contenu n'est pas fixe et ne correspond pas à ce que google a indexé
(même si google est assez rapide à mettre à jour sur un site actif)

il n'y a pas de mise en page
(ou sinon : "à quoi bon faire une mise en page ?")

ce fichier permet la mise en oeuvre d'une _fonctionnalité_
alors que je veux offrir un _contenu_ aux utilisateurs de google.

cette page est moins ciblée précise que la page référencée dedans
et donc répond moins bien à la requete sur google
(ça se discutte cependant, car l'algo google est très siouxx...)

et simplement car j'aimerais que l'user google
vienne visiter le site !!

via le robot.txt si je ne m'abuse.

j'ai mis ça dedans :

User-Agent: *
Disallow: /spip.php?page=backend

J'ai aussi mis des rel="nofollow" dans les liens vers le backend.
Je suis pas sur de la pertinence de ces nofollow dans ce cas
si quelqu'un peut apprécier ?

Ya aussi des pragam noindex, mais dans un xml, j'ose pas.

Oui c'est robots.txt à la racine cf.
Protocole d'exclusion des robots — Wikipédia

C'est pas indiqué ni ailleurs
si les paramétres genre ?page=backend sont correctement traités
et j'ai l'impression qu'on peut pas mettre de regexp
(pour traiter genre si jamais ya un paramétre comme &lang=en ou &what=breves ou ...)

Et ça devrait y pas faire partie de la dist, ça ?

Non, je ne pense pas.

ohoh,
ben alors, ça pourrait se trouver dans le couteau suisse...

JL

christian lefebvre wrote:

  Comme le fichier est censé être à la racine et que spip est souvent
dans un sous répertoire "spip", le fichier ne sera pas pris en compte
dans 99% des installations.

sisi c'est bien explicite dans les docs de robots.txt
que ce fichier doit être à la racine du site,
mais qu'il peut tb gérer des fichiers dans des sousrépertoires,
voire des sousrep entiers.
par ex

User-Agent: *
Disallow: /spip/spip.php?page=backend

JLuc

On Fri, 2007-05-18 at 11:02 +0200, JLuc wrote:

christian lefebvre wrote:
> Comme le fichier est censé être à la racine et que spip est souvent
> dans un sous répertoire "spip", le fichier ne sera pas pris en compte
> dans 99% des installations.
sisi c'est bien explicite dans les docs de robots.txt
que ce fichier doit être à la racine du site,
mais qu'il peut tb gérer des fichiers dans des sousrépertoires,
voire des sousrep entiers.

ce que je voulais dire, c'est que l'install de spip devra alors écrire
dans un fichier qui n'est pas dans son rbo à lui.
s'il y a un robot.txt dans la distrib spip, il ne sera pas déposé à la
racine mais dans /spip, donc pas vu par le robot.

christian lefebvre wrote:

On Fri, 2007-05-18 at 11:02 +0200, JLuc wrote:

christian lefebvre wrote:

  Comme le fichier est censé être à la racine et que spip est souvent
dans un sous répertoire "spip", le fichier ne sera pas pris en compte
dans 99% des installations.

sisi c'est bien explicite dans les docs de robots.txt
que ce fichier doit être à la racine du site,
mais qu'il peut tb gérer des fichiers dans des sousrépertoires,
voire des sousrep entiers.

ce que je voulais dire, c'est que l'install de spip devra alors écrire
dans un fichier qui n'est pas dans son rbo à lui.
s'il y a un robot.txt dans la distrib spip, il ne sera pas déposé à la
racine mais dans /spip, donc pas vu par le robot.

ok.
JL

JLuc a écrit :

Fil wrote:

Faut donc interdire le backend à google

Pour quelle raison ?

parceque n'est pas une page à consulter comme les autres

son contenu n'est pas fixe et ne correspond pas à ce que google a indexé
(même si google est assez rapide à mettre à jour sur un site actif)

moi je trouve que le fait que google indexe aussi les fils rss est très utile, je suis souvent tombé sur un fil rss dans mes recherches et assez souvent, je les ai rajoutés à ma page netvibes

Fil a écrit :

Faut donc interdire le backend à google

Pour quelle raison ?

Le backend c'est déjà un référencement,
comme les pages réponse de google, yahoo ou msn.

Je n'ai pas envie que google, en réponse à une requête,
renvoie les pages yahoo citant mon site en réponse à cette même requête
au lieu de renvoyer ces pages elles - mêmes.

ça tombe bien car google n'en a certainement pas envie non plus,
mais j'aimerais qu'il fasse pareil pour le backend,
car c'est un référencement aussi, pas le contenu référencé.

JL à retardement