在 Nginx 中将爬虫过来的请求转到指定的后端服务

一般识别爬虫的方法是通过 UserAgent，这种办法最直接，但也很容易伪造，先不管这个了。

实现在 Nginx 中使用 map 指令来匹配一个变量：

map $http_user_agent $is_bot {
    default 0;
    ~[a-z]bot[^a-z] 1;
    ~[sS]pider[^a-z] 1;
    'Yahoo! Slurp China' 1;
    'Mediapartners-Google' 1;
}

在这里我们生成了一个名为 $is_bot 的变量，该变量默认值是 0 ，如果匹配到上述 4 种正则表达式的情况后，值就变成1。你可以继续往 map 中添加新的表达式规则。
然后在 location 中使用该变量：

location / {
    error_page 418 =200 @bots;
    if ($is_bot) {
       return 418;
    }
    proxy_pass http://tomcat_for_normal_visitors;
}

@bots 的定义：

location @bots {
    proxy_pass http://tomcat_for_bot;
}

当判断当前请求是爬虫的时候，返回 418 错误码。
通过 error_page 将 418 错误码改为 200 （正常请求响应码），然后进入 @bots 这个 location 进行下一步处理。@bots 中将请求反向代理到你指定的后端应用。

如此便可将正常的用户访问和爬虫访问独立开来，使二者不会互相影响。

版权属于：Joyber

本文链接：https://blog.qqvbc.com/default/283.html

转载时须注明出处及本声明