LinkBot

LinkBot — веб-робот сервиса Link (linkco.ai). Он представляется так:

LinkBot/<version> (+https://linkco.ai/bot)

Зачем он читает ваш сайт

Только по двум причинам. Кто-то ввёл адрес вашего сайта в живой тест на linkco.ai, чтобы Link описал, что продаёт компания и кому. Или Link ищет компании, которые могут купить у одного из его пользователей, и читает главную страницу (иногда и страницу «О компании») рассматриваемых компаний.

Что он читает

Только публичный текст: ваш файл robots.txt, главную страницу и, для тестируемого сайта, до 30 других страниц того же домена и карту сайта, указанную в robots.txt. Он читает только по https, не выполняет JavaScript, не заполняет формы и не переходит по ссылкам на другие домены.

Как часто

Редко. Один сайт читается не больше нескольких раз в день, и каждый тест читает не более 31 страницы. LinkBot читает не больше 4 страниц одного сайта одновременно и соблюдает Crawl-delay.

Как его заблокировать

LinkBot соблюдает robots.txt (RFC 9309). Чтобы закрыть для него весь сайт:

User-agent: LinkBot
Disallow: /

Если ваш robots.txt не отвечает (ошибка сервера), LinkBot ничего не читает.