LinkBot

LinkBot 是 Link（linkco.ai）的网络爬虫。它的标识如下：

LinkBot/<version> (+https://linkco.ai/bot)

它为什么读取您的网站

只有两个原因。有人在 linkco.ai 的在线测试中输入了您网站的地址，以便 Link 描述该公司卖什么、卖给谁。或者 Link 正在为其某位用户寻找可能的买家公司，并读取所考虑公司的首页（有时也包括“关于”页面）。

它读取什么

只读取公开文本：您的 robots.txt 文件、首页，以及（对于被测试的网站）同一域名下最多 30 个其他页面和 robots.txt 中列出的站点地图。它只通过 https 读取，不运行 JavaScript，不填写表单，也不跟随指向其他域名的链接。

多久一次

很少。同一网站每天最多被读取几次，每次测试最多读取 31 个页面。LinkBot 对同一网站最多同时读取 4 个页面，并遵守 Crawl-delay。

如何阻止它

LinkBot 遵守 robots.txt（RFC 9309）。要让它不读取您的整个网站：

User-agent: LinkBot
Disallow: /

如果您的 robots.txt 没有响应（服务器错误），LinkBot 不会读取任何内容。