最近运维发现有几个蜘蛛貌似没事啥用还疯狂爬取，经常导致服务器卡顿。网上搜了一圈普遍认为可以直接禁掉。

把禁用的蜘蛛放在robots里即可

User-Agent: MJ12bot

Disallow: /

User-Agent: SemrushBot

Disallow: /

User-Agent: AhrefsBot

Disallow: /

User-Agent: DotBot

Disallow: /

这些都是没用的蜘蛛,可以直接屏蔽。