爬虫的话,应该直接返回给他一个disallow / 的robots.txt 文件
如果返回404的话,表示随便爬
如果返回5xx的话。。。。 俺不知道
On Tuesday, October 16, 2012 5:44:19 PM UTC+8, Sheng LUO wrote:
首先,openresty很爽,速度很快。谢谢作者,哈哈
我原来的网站是nginx+fastcgi+php的,由于爬虫很讨厌,准备用openresty来替换nginx做防火墙兼反向代理。
大概的思路是用lua和redis来判断是不是爬虫,是的话,就返回5xx,不是的话就放行。
但是问题是,我怎么从lua里面调用php呢?类似与ngx.fastcgi_pass...?
期待大牛的回答,谢谢