LinkBot

LinkBot ist der Webcrawler von Link (linkco.ai). Er gibt sich so zu erkennen:

LinkBot/<version> (+https://linkco.ai/bot)

Warum er Ihre Website liest

Nur aus zwei Gründen. Jemand hat die Adresse Ihrer Website in den Live-Test auf linkco.ai eingegeben, damit Link beschreibt, was das Unternehmen an wen verkauft. Oder Link sucht Unternehmen, die bei einem seiner Nutzer kaufen könnten, und liest die Startseite (manchmal auch die Seite „Über uns“) der Unternehmen, die infrage kommen.

Was er liest

Nur öffentlichen Text: Ihre robots.txt, Ihre Startseite und bei einer getesteten Website bis zu 30 weitere Seiten derselben Domain sowie die Sitemap, die Ihre robots.txt nennt. Er liest nur über https, führt kein JavaScript aus, füllt keine Formulare aus und folgt keinen Links auf andere Domains.

Wie oft

Selten. Eine Website wird höchstens ein paar Mal am Tag gelesen, und jeder Test liest höchstens 31 Seiten. LinkBot liest höchstens 4 Seiten einer Website gleichzeitig und beachtet Crawl-delay.

So sperren Sie ihn

LinkBot beachtet robots.txt (RFC 9309). Um ihn von Ihrer ganzen Website fernzuhalten:

User-agent: LinkBot
Disallow: /

Antwortet Ihre robots.txt nicht (ein Serverfehler), liest LinkBot nichts.