Salut à tous !
Quelqu’un a-t-il explication MERCI !
Depuis 6 jours, déferlement MASSIF de visiteurs vers mon site : Populi-Scoop - Dès 2006 : pertinence factuelle & critique.
De 2000/6000 par jour, c’est quasiment +120 000 quotidien.
Les statistiques explosent, je crois que les IA avalent et reprenent les contenus, JUSTE une thèse ou piste.
Google analytique les trace, d’où viennent ?
Pays Utilisateurs actifs
Singapore 83 k 58 710,6 %
United States 32 k 20 576,4 %
Hong Kong 20 k 2 020 700,0 %
Japan 17 k -
Germany 15 k 167 877,8 %
Vietnam 11 k -
Indonesia 10 k
Tous les sites des serveurs se font essentiellement visiter par des bots IA de nos jours,
soit pour aspirer / parcourir tous les contenus (très nombreux et les plus ennuyants, ceux qui devraient être bridés logiquement),
soit parce que les utilisateurs utilisent des agents IA qui vont eux-même faire les lectures sur le web de certaines pages pour rédiger leur réponse.
La « lutte » est difficile (et savoir si c’est un bot ou non pour les stats n’est pas toujours évident), passe souvent par un JS intermédiaire qui va « valider » le navigateur utilisé, et les solutions sont plus facilement implémentables côté serveurs, reverse-proxy…
Tu as possiblement un nouveau plugin WAF (que je n’ai pas testé du tout) pour SPIP qui peut peut être filtrer une partie des visiteurs.
Après sans accès aux logs, c’est difficile de savoir : ce qu’on voit nous c’est qu’il y a des bots « très idiots » (plus idiots que ceux des moteurs de recherche habituels), qui se perdent dans des paginations croisées si elles existent sur ton site (il faut éviter), ou se perdent avec les urls arborescentes en ne lisant pas le <base href>… tout un programme…
Oui, c’est vraiment dommage, et un gaspillage total de ressources.
Le pire, c’est que même avec ref=nofollow , base , et des URLs canoniques correctement configurées , certains crawlers continuent d’envoyer des MILLIONS de requêtes . On pourrait penser qu’après un million de réponses identiques, le crawler comprendrait qu’il n’y a rien de plus à récupérer. Mais non. Ce sont probablement des agents/crawlers IA mal codés, qui brûlent autant de carbone qu’une petite forêt tropicale, financés par de l’argent d’investisseurs en plein délire, et qui apportent zéro valeur. Et en plus, ils ne sont même pas surveillés. Pourquoi impliquer des humains pour le contrôle qualité, si de toute façon personne ne vérifie rien.
Bref. Tout cela m’a inspiré à créer laSPIP WAF . Tu peux l’installer, et si tu arrives à identifier l’IP des bots, tu peux les bloquer via la liste de blocage (DENYLIST) dans le formulaire de configuration:
Et s’il n’y a pas d’IP spécifique à cibler, tu peux aussi essayer de bloquer les acteurs connus grâce à la blocage par listes d’IP . Elle récupère automatiquement des IP malveillantes répertoriées et les bloque également. Je serais curieux de savoir si, après avoir activé ces blocklists, la charge de ton serveur diminue déjà.
La doc: SPIP Web Application Firewall (WAF) - SPIP-Contrib
Je continue avec ce sujet : quelle méthode ou bien plugin pour identifier les IP des boots ?
Le flux des visites persiste, d’habitude ce genre de saturation s’arrête en 1 , 2 ou 3 jours…
Cette fois ça sature le site et le déstabilise jusqu’à de ne plus être visible et est déformé…
Ma question : quelle méthode ou bien pluggin pour identifier les IP des boots ?
Lequel de ces deux plugins est pertinent ?
SPIP WAF Cpanel 1.0.0
Synchronise les IPs bannies par le WAF vers le Bloqueur d’IP cPanel via l’API.
OU SPIP WAF 1.2.12
Web Application Firewall pour SPIP
