Linux服务器宝塔运转堵塞100%解决办法

近期很多朋友遇到Linux服务器宝塔运行堵塞100%,如下图。Linux服务器宝塔运行堵塞100%解决办法,宝塔面板下nginx屏蔽垃圾蜘蛛禁止抓取不影响火车头发布,解决宝塔运行堵塞100%的最简单的方法。

1653571452-ffe4f3b75d17e3b

故事的开始是群里很多人反映,Linux服务器宝塔运行堵塞100%,于是我自己看了下服务器也是同样的问题,我就查看了一下服务器日志,发现一些垃圾蜘蛛,一直爬行很多,比如以下这些垃圾,太烦人了。

Mozilla/5.0 (compatible; SemrushBot/6~bl; +http://www.semrush.com/bot.html)"
Mozilla/5.0 (compatible; AhrefsBot/6.1; +http://ahrefs.com/robot/)"

本人一直使用的linux系统服务器宝塔面板管理,个人感觉比较方便。网上查找方法,屏蔽这些垃圾。 网上找到的代码如下:目前为止比较好用。

#禁止Scrapy等工具的抓取
if ($http_<a href="https://www.admin17.cn/tag/user"><b style="color:#000000">user</b></a>_<a href="https://wwww.admin17.cn/tag/agent"><b style="color:#000000">agent</b></a> ~* (Scrapy|Curl|HttpClient)) {
return 403;
}
#禁止指定UA及UA为空的访问
if ($http_user_agent ~* "FeedDemon|Indy Library|Alexa Toolbar|AskTbFXTV|AhrefsBot|CrawlDaddy|CoolpadWebkit|Java|Feedly|UniversalFeedParser|ApacheBench|Microsoft URL Control|Swiftbot|ZmEu|oBot|jaunty|Python-urllib|lightDeckReports Bot|YYSpider|DigExt|HttpClient|MJ12bot|heritrix|Bytespider|Ezooms|<a href="https://k5l.cn/tag/google"><b style="color:#000000">google</b></a>bot|JikeSpider|SemrushBot|^$" ) {
return 403;
}
#禁止非GET|HEAD|POST方式的抓取
if ($request_method !~ ^(GET|HEAD|POST)$) {
return 403;
}

宝塔面板下使用方法如下: 1、找到文件目录/www/server/nginx/conf文件夹下面,新建一个文件

agent_deny.conf

内容就是以下代码。

#禁止Scrapy等工具的抓取
if ($http_user_agent ~* (Scrapy|Curl|HttpClient)) {
return 403;
}
#禁止指定UA及UA为空的访问
if ($http_user_agent ~* "FeedDemon|Indy Library|Alexa Toolbar|AskTbFXTV|AhrefsBot|CrawlDaddy|CoolpadWebkit|Java|Feedly|UniversalFeedParser|ApacheBench|Microsoft URL Control|Swiftbot|ZmEu|oBot|jaunty|Python-urllib|lightDeckReports Bot|YYSpider|DigExt|HttpClient|MJ12bot|heritrix|Bytespider|Ezooms|Googlebot|JikeSpider|SemrushBot|^$" ) {
return 403;
}
#禁止非GET|HEAD|POST方式的抓取
if ($request_method !~ ^(GET|HEAD|POST)$) {
return 403;
}

2、找到网站设置里面的第7行左右 写入代码:

root /www/wwwroot/www.admin17.cn;
include agent_deny.conf; (就是添加到这一行的位置。)
#SSL-START SSL相关配置,请勿删除或修改下一行带注释的404规则

如果你网站使用火车头采集发布,使用以上代码会返回403错误,发布不了的。如果想使用火车头采集发布,请使用下面的代码

#禁止Scrapy等工具的抓取
if ($http_user_agent ~* (Scrapy|Curl|HttpClient)) {
return 403;
}
#禁止指定UA访问。UA为空的可以访问,比如火车头可以正常发布。
if ($http_user_agent ~ "FeedDemon|Indy Library|Alexa Toolbar|AskTbFXTV|AhrefsBot|CrawlDaddy|CoolpadWebkit|Java|Feedly|UniversalFeedParser|ApacheBench|Microsoft URL Control|Swiftbot|ZmEu|YandexBot|jaunty|Python-urllib|lightDeckReports Bot|YYSpider|DigExt|HttpClient|MJ12bot|heritrix|Bytespider|Ezooms|Googlebot|JikeSpider|SemrushBot" ) {
return 403;
}
#禁止非GET|HEAD|POST方式的抓取
if ($request_method !~ ^(GET|HEAD|POST)$) {
return 403;
}

按以上方法设置完之后,立竿见影,降下来了,如下图:

1653571453-ed097749b66d34f
© 版权声明
THE END
喜欢就支持一下吧
点赞6 分享
评论 抢沙发
头像
欢迎您留下宝贵的见解!
提交
头像

昵称

取消
昵称表情图片

    暂无评论内容