Le robot d'Alertoweb

Vous voyez passer notre robot dans les journaux de votre serveur ? Voici ce qu'il fait, et comment l'arrêter si vous le souhaitez.

Ce qu'il fait

Alertoweb est un service de veille : ses utilisateurs choisissent quelques pages web publiques à suivre (une page de tarifs, une fiche produit…) et sont prévenus quand elles changent. Notre robot récupère ces pages, et seulement elles, une fois par jour. Si votre serveur répond par une erreur, il réessaie un peu plus tôt, avec des délais croissants (15 minutes, 1 heure, 4 heures). Une page suivie par plusieurs utilisateurs n'est récupérée qu'une fois.

Ce qu'il ne fait pas

Il ne parcourt pas votre site : il ne suit aucun lien, il ne visite que les adresses que nos utilisateurs ont ajoutées.
Il ne télécharge que le HTML de la page : ni images, ni feuilles de style, ni scripts, et il n'exécute pas de JavaScript.
Il n'envoie aucun formulaire, ne se connecte à aucun compte et n'accepte pas de cookies.
Il espace ses requêtes vers un même site d'au moins 5 secondes et ignore les pages de plus de 5 Mo.
Il utilise les requêtes conditionnelles (ETag, Last-Modified) : une page inchangée ne coûte presque rien à votre serveur.

Comment le reconnaître

Il s'annonce avec l'en-tête User-Agent suivant :

Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/153.0.0.0 Safari/537.36

Comment le bloquer

Notre robot respecte le fichier robots.txt de votre site (RFC 9309). Pour lui interdire tout votre site, ajoutez :

User-agent: Mozilla
Disallow: /

Vous pouvez aussi n'interdire que certaines pages (Disallow: /tarifs…). Le fichier est relu au plus tard 24 heures après votre modification. Les pages interdites ne sont plus récupérées, et nos utilisateurs sont informés qu'elles ne peuvent pas être surveillées.

Vous pouvez aussi simplement nous écrire (adresse ci-dessous) : nous ajoutons votre site à notre liste d'exclusion, et notre robot ne le visite plus, quel que soit le contenu de votre robots.txt.

Nous contacter

Une question, un problème, une demande de retrait : charles.delongueil@gmail.com.