bonjour,
je reçois un mail de la BNF (département du dépôt légal) qui m’indique que leur robot d’archivage est bloqué sur un site que je gère et l’archivage du site leur est impossible.
Or le fichier robots.txt est celui fourni par Spip sans modification. Donc, il ne devrait pas y avoir blocage…
Quand j’ai demandé un peu plus d’explications à mon interlocuteur de la BNF, il m’indique deux choses :
-
que la signature de leur robot est « Mozilla/5.0 (compatible; bnf.fr_bot; +https://www.bnf.fr/fr/capture-de-votre-site-web-par-le-robot-de-la-bnf) » et la présence du mot « bot » peut engendrer un blocage. Et je vois dans le code de Spip ici qu’il y a un test IS_BOT sur le mot « bot » justement.
Du coup, il pourrait y avoir un blocage du fait de ce test IS_BOT ? Et si oui, comment est-il possible d’autoriser le bnf.fr_bot et pas les autres ? -
L’interlocuteur de la BNF me dit qu’il obtient un erreur 429 : est-ce lié simplement au blocage au point 1 ou bien que leur robot serait effectivement un peu trop agressif (trop de consultations en peu de temps) ?
Merci d’avance pour vos lumières car j’en manque sérieusement sur ce sujet.
christophe