InferensLab-Check : notre crawler
Chaîne User-Agent : InferensLab-Check/1.0 (+https://inferenslab.com/bot)
Ce qu'il fait
- Il visite un site UNIQUEMENT quand son propriétaire (ou un visiteur) soumet le domaine au check public d'InferensLab.
-
Il lit d'abord votre
robots.txtet le respecte strictement : si votre site nous interdit le passage, aucun contenu n'est récupéré et le check le constate comme un signal, sans jamais le contourner. - Volume : une quinzaine de requêtes au maximum par check, avec un délai entre les requêtes ; un même domaine n'est pas réanalysé pendant 7 jours (cache).
- Il ne se fait jamais passer pour un autre robot ni pour un navigateur.
C'est une position de principe : un outil qui mesure l'interprétabilité ne triche pas avec les conventions du web. Notre démarche est « audit-grade, adossé à une doctrine formelle » : inferenslab.org.
Comment l'exclure
Ajoutez à votre robots.txt :
User-agent: InferensLab-Check Disallow: /
Contact
Questions ou demande de suppression de données : [email protected]. Données conservées 12 mois, supprimées sur demande.