[spip-dev] RSS et bots

Bonjour,

Je viens de lire avec intérêt https://lehollandaisvolant.net/?d=2021/01/25/18/31/26-contourner-les-paywall-astuce-pour-vos-scripts

Extraits :
"Les sites et blogs veulent que Google détecte leur site y compris le titre. Donc s’ils voient un « Google Bot », ils lui envoient une page simplifiée, sans script à la con.

Si vous utilisez Wget ou cURL, ajoutez une option pour spécifier l’user-agent utilisé et mettez ça :"

Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

…/…

"D’un côté une partie des sites mettent des captchas partout pour savoir si vous êtes bien un humain et avoir accès aux fonctionnalités, de l’autre, les pages qu’ils servent aux robots indexeurs sont 100 fois mieux que celles servies aux humains."

==> Et au milieu de tout ça, SPIP résiste encore et toujours à l'envahisseur. Merci.