Le Hollandais Volant

Je suis en train d’éplucher les logs de mon site. C’est fascinant.

Mais je suis aussi impressionné par la quantité de trafic "fantôme" : le nombre de bots est impressionnant.

On connait GoogleBot, BingBot, éventuellement DDG ou Yandex, voire Yahoo si ça existe encore.

Mais connaissez-vous PetalBot, SemrushBot, AhrefsBot, dotbot, MJ12bot… ? Des robots commerciaux ou SEO :

This data has immense value for SEO community as it helps marketing professionals to better understand the fundamental algorithms of the world's largest search engines so that they could optimize websites accordingly

(source)

Ou encore UptimeRobot ? Le robot qui fait un simple hit à la racine toutes les 5 minutes pour savoir si le site répond.

Ou encore AppleBot, qui sert pour Siri et Spotlight.