禁止使用一些User Agent能够节约一些总流量还可以避免一些故意的浏览,特别是在是部分检索模块网络爬虫,比如大家的网站便是一个地区性站点,沒有必需被一些海外的检索模块网络爬虫数据库索引,都可以以禁掉,实际实际操作以下:
1、编写该文档:
# vi /usr/local/nginx/conf/nginx.conf
2、提升下列內容(实例):
if ($http_user_agent ~ "JikeSpider|Indy Library|Alexa Toolbar|bingbot|AskTbFXTV|AhrefsBot|CoolpadWebkit|Microsoft URL Control|YYSpider|DigExt|YisouSpider|HttpClient|MJ12bot|heritrix|EasouSpider|Ezooms|curl" ) return 403; }
190-207-149-57.dyn. - - [19/Oct/2014:23:36:36 +0800]
" HTTP/1.0" 302 -
"" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)"
201-248-102-175.dyn. - - [19/Oct/2014:23:36:36 +0800]
" HTTP/1.0" 403
" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)"
190-206-82-223.dyn. - - [19/Oct/2014:23:36:36 +0800]
" HTTP/1.0" 302 -
"" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)"
不会太难发觉她们的User-Agent全是Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)。这一是IE6的标示
了解这一点就行办了
ess里边屏蔽掉掉她们就可以处理了
ess当中.难题处理
SetEnvIfNoCase User-Agent "Mozilla/4.0" shit_user发觉Out of Stock表明断货中,可考虑到选购其他VPS。自备Google访问器有简易的汉语翻译作用。
Order Allow,Deny
Allow from all
Deny from env=shit_user
RewriteCond %{HTTP_USER_AGENT} Mozilla\/4\.0 [NC]
RewriteRule .* - [R=503,L]