nginx和apache严禁故意User Agent

2021-04-07 17:04 jianzhan

禁止使用一些User Agent能够节约一些总流量还可以避免一些故意的浏览,特别是在是部分检索模块网络爬虫,比如大家的网站便是一个地区性站点,沒有必需被一些海外的检索模块网络爬虫数据库索引,都可以以禁掉,实际实际操作以下:

1、编写该文档:
# vi /usr/local/nginx/conf/nginx.conf
2、提升下列內容(实例):

if ($http_user_agent ~ "JikeSpider|Indy Library|Alexa Toolbar|bingbot|AskTbFXTV|AhrefsBot|CoolpadWebkit|Microsoft URL Control|YYSpider|DigExt|YisouSpider|HttpClient|MJ12bot|heritrix|EasouSpider|Ezooms|curl" )
    return 403;
}

有一些英语单词正中间有时间格,因此两侧必须应用双引号,禁止使用了多个个检索模块网络爬虫,也有好多个故意注水机等,能够剖析系统日志依据状况屏蔽掉故意的User Agent。

假如是apache得话可参照下边实例。
查询系统日志发觉很多的同样User Agent,核查发觉是IE6的标示,封了能够预防那时候的CC进攻,但会导致IE6客户没法浏览。
例如:
190-207-149-57.dyn. - - [19/Oct/2014:23:36:36 +0800] 
" HTTP/1.0" 302 -
"" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)"
201-248-102-175.dyn. - - [19/Oct/2014:23:36:36 +0800]
" HTTP/1.0" 403
" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)"
190-206-82-223.dyn. - - [19/Oct/2014:23:36:36 +0800]
" HTTP/1.0" 302 -
"" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)"

不会太难发觉她们的User-Agent全是Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)。这一是IE6的标示
了解这一点就行办了
ess里边屏蔽掉掉她们就可以处理了
ess当中.难题处理

SetEnvIfNoCase User-Agent "Mozilla/4.0" shit_user
Order Allow,Deny
Allow from all
Deny from env=shit_user
RewriteCond %{HTTP_USER_AGENT} Mozilla\/4\.0 [NC]
RewriteRule .* - [R=503,L]
发觉Out of Stock表明断货中,可考虑到选购其他VPS。自备Google访问器有简易的汉语翻译作用。
买老外的网站域名、vps都需美金。有个人信用卡可立即选购。无卡无美金的申请注册Paypal到淘宝网请人充美金就可以。老外VPS选购实例教程参照:index.php/archives/259/
Google: Here are a few of the web sites mend for o...
张小三資源网: 忘掉把SELINUX改动为permissive了,前文已加上。 无需脚本制作得话,手动式还可以不删核心,查...