MJ12bot 蜘蛛爬虫屏蔽垃圾SEO蜘蛛

Majestic是英国的专业搜索引擎，成百上千的企业使用13种语言和60多个国家/地区来绘制互联网地图，这些地图独立于基于消费者的搜索引擎。Majestic还支持其他合法技术，这些技术有助于了解不断变化的Web结构。网站所有者可以在majestuc上查看有关其自己网站的数据。爬取 User-AgentMozilla/5.0 (compatible; MJ12bot/v1.4.8; http://m

gzlearm

2898人浏览 · 2020-11-04 09:31:58

gzlearm · 2020-11-04 09:31:58 发布

Majestic是英国的专业搜索引擎，成百上千的企业使用13种语言和60多个国家/地区来绘制互联网地图，这些地图独立于基于消费者的搜索引擎。Majestic还支持其他合法技术，这些技术有助于了解不断变化的Web结构。网站所有者可以在majestuc上查看有关其自己网站的数据。

爬取 User-Agent

Mozilla/5.0 (compatible; MJ12bot/v1.4.8; http://mj12bot.com/)

robots.txt 拦截

User-agent: MJ12bot
Disallow: /

如何降低MJ12bot的速度?

您可以通过将以下内容添加到robots.txt文件中来轻松降低bot的速度：

User-Agent: MJ12bot
Crawl-Delay: 5

抓取延迟应为整数，表示两次请求之间等待的秒数。MJ12bot将在两次向您的站点发出请求之间最多延迟20秒-但是请注意，尽管这不太可能，但您的站点仍可能同时从多个MJ12bot爬网。进行较高的抓取延迟可以最大程度地减少对您的网站的影响。如果将此抓取延迟参数用于*通配符，则该参数也将处于活动状态。
如果我们的机器人检测到您对任何其他机器人都使用了抓取延迟，则即使没有特别要求MJ12bot，它也会自动缓慢爬行。