Le Hollandais Volant

C’est moi ou y a une fonction qui permet à un navigateur qui fait un putain de hit sur CHAQUE lien présent dans une page ?

Voilà le log : https://lehollandaisvolant.net/files/faulty-log.log

208 hit en moins de 11 secondes. Forcément le serveur n’aime pas ça. Et moi non plus.

Désormais je blackliste les IP à vu.
Raz le bol que des personnes qui veulent juste lire normalement voient des erreurs à cause d’une poignée de tarés.

Le navigateur merdique :

Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_2) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.141 Safari/537.36

Probablement un safari configuré pour faire chier le monde.

ÉDIT : il semble qu’il existe des clickbot, principalement sur les serveur d’Amazon AWS, et qui servent à cliquer sur tous les liens d’une page.

*facepalm*

ÉDIT : Sick me signal que ça pourrait être un aspirateur de site.
Je ne pense pas : seule une page est téléchargée, mais ensuite il y a des hit sur tous les liens dans cette page. Ça s’arrête là : les fichiers liés à ces pages là ne sont pas téléchargés.
Par ailleurs, le but d’avoir un aspirateur est de l’aspirer une fois. Ici, l’aspiration est lancée plusieurs fois par jour.

Je ne pense pas non plus que ce soit Archive.org qui fasse ça : ils récupèrent une page et la stockent. Ils n’aspirent pas un site ensuite plusieurs fois par jour.

J’ai tout de même bloqué (via Robots.txt) certains robots dédié à la télémétrie et au SEO : PetalBot, SemrushBot, AhrefsBot, Dotmic DotBot, Proximic bot.
Je n’ai pas besoin de ça de toute façon.