1. 首页>>运营笔记>>网站运营

这几个垃圾蜘蛛都禁掉,浪费服务器资源?

最近运维发现有几个蜘蛛貌似没事啥用还疯狂爬取,经常导致服务器卡顿。网上搜了一圈普遍认为可以直接禁掉。

把禁用的蜘蛛放在robots里即可

User-Agent: MJ12bot

Disallow: /


User-Agent: SemrushBot

Disallow: /


User-Agent: AhrefsBot

Disallow: /


User-Agent: DotBot

Disallow: /

这些都是没用的蜘蛛,可以直接屏蔽。

如无特别说明,文章均为本站原创。转载请注明出处:http://www.pddo.cn/wz/346.html

发表评论

点击我更换图片

评论列表

联系我们

在线咨询:点击这里给我发消息

微信号:cjpay01

工作日:9:30-18:30,节假日休息