LinkBot

LinkBot est le robot d’exploration de Link (linkco.ai). Il s’identifie ainsi :

LinkBot/<version> (+https://linkco.ai/bot)

Pourquoi il lit votre site

Pour deux raisons seulement. Quelqu’un a entré l’adresse de votre site dans le test en direct de linkco.ai, pour que Link décrive ce que l’entreprise vend et à qui. Ou bien Link cherche des entreprises susceptibles d’acheter à l’un de ses utilisateurs, et lit la page d’accueil (parfois aussi la page « À propos ») des entreprises qu’il envisage.

Ce qu’il lit

Du texte public seulement : votre fichier robots.txt, votre page d’accueil, et, pour un site testé, jusqu’à 30 autres pages du même domaine et le plan du site qu’indique votre robots.txt. Il ne lit qu’en https, n’exécute pas de JavaScript, ne remplit aucun formulaire et ne suit pas de liens vers d’autres domaines.

À quelle fréquence

Rarement. Un même site Web est lu au plus quelques fois par jour, et chaque test lit au plus 31 pages. LinkBot lit au plus 4 pages à la fois sur un même site et respecte la directive Crawl-delay.

Comment le bloquer

LinkBot respecte robots.txt (RFC 9309). Pour lui interdire tout votre site :

User-agent: LinkBot
Disallow: /

Si votre robots.txt ne répond pas (erreur de serveur), LinkBot ne lit rien.