有没有类似php 的similar_text可以实现对Post内容的相似性对比

pxy4cc · 2015-12-29T07:06:32+00:00

Hello! 2015-12-27 21:01 GMT-08:00 jakiejia: > 我理解的意思是在入口函数不&#...

有没有类似php 的similar_text可以实现对Post内容的相似性对比

pxy4cc

如题，目前网站深受各种机器人发的垃圾贴骚扰。
想着是不是从nginx层面过滤更好
不知道ngx lua有有没有类似php 的similar_text 这样的函数可以使用

比如对 index.php的post，可以对比同一个IP5分钟内的post内容，如果相似性到80%就全部deny掉。

membphis

php 的 similar_text ，看看他是怎么写的，如果是 C 的，抽离出来编译成 so 动态库，然后就可以被 luajit 直接使用了。

2015-12-29 7:06 GMT+08:00 FP <px...@gmail.com>:

如题，目前网站深受各种机器人发的垃圾贴骚扰。
想着是不是从nginx层面过滤更好
不知道ngx lua有有没有类似php 的similar_text 这样的函数可以使用

比如对 index.php的post，可以对比同一个IP5分钟内的post内容，如果相似性到80%就全部deny掉。

--

Membhis

My github: https://github.com/membphis

Our Book: OpenResty Best Practices

pxy4cc

感谢回复，总感觉用php的模块会不会效率很低？不知道有没有原生的比较方法

刚刚又想到一个问题。Post的内容有的时候会是文字，有时候会是图片、压缩包等，有什么办法判断post的内容的格式呢？
如果是非文本，就没有必要去做相似性比较了

在 2015年12月29日星期二 UTC+11下午12:26:12，YuanSheng Wang写道：

php 的 similar_text ，看看他是怎么写的，如果是 C 的，抽离出来编译成 so 动态库，然后就可以被 luajit 直接使用了。

2015-12-29 7:06 GMT+08:00 FP <pxy...@gmail.com>:
如题，目前网站深受各种机器人发的垃圾贴骚扰。
想着是不是从nginx层面过滤更好
不知道ngx lua有有没有类似php 的similar_text 这样的函数可以使用

比如对 index.php的post，可以对比同一个IP5分钟内的post内容，如果相似性到80%就全部deny掉。

--

--

Membhis
My github: https://github.com/membphis
Our Book: OpenResty Best Practices

aaashun

没有原生模块,

这个算文本距离的算法是Oliver在1993年提的, 源码在此 http://codepad.org/hEGu5ujC

看了一下是干干的三层循环, 复杂度O(N**3), 省不了

On Tuesday, December 29, 2015 at 7:17:16 PM UTC+8, FP wrote:

感谢回复，总感觉用php的模块会不会效率很低？不知道有没有原生的比较方法

刚刚又想到一个问题。Post的内容有的时候会是文字，有时候会是图片、压缩包等，有什么办法判断post的内容的格式呢？
如果是非文本，就没有必要去做相似性比较了

在 2015年12月29日星期二 UTC+11下午12:26:12，YuanSheng Wang写道：
php 的 similar_text ，看看他是怎么写的，如果是 C 的，抽离出来编译成 so 动态库，然后就可以被 luajit 直接使用了。

2015-12-29 7:06 GMT+08:00 FP <pxy...@gmail.com>:
如题，目前网站深受各种机器人发的垃圾贴骚扰。
想着是不是从nginx层面过滤更好
不知道ngx lua有有没有类似php 的similar_text 这样的函数可以使用

比如对 index.php的post，可以对比同一个IP5分钟内的post内容，如果相似性到80%就全部deny掉。

--

--

Membhis
My github: https://github.com/membphis
Our Book: OpenResty Best Practices

aaashun

关于Post内容类型的判断, 目前TimeBug同学在做lua-resty-sniff模块, 我把邮件代到, 帮你催催他 ^_^

On Wednesday, December 30, 2015 at 9:50:37 AM UTC+8, aaashun wrote:

没有原生模块,
这个算文本距离的算法是Oliver在1993年提的, 源码在此 http://codepad.org/hEGu5ujC

看了一下是干干的三层循环, 复杂度O(N**3), 省不了
On Tuesday, December 29, 2015 at 7:17:16 PM UTC+8, FP wrote:
感谢回复，总感觉用php的模块会不会效率很低？不知道有没有原生的比较方法

刚刚又想到一个问题。Post的内容有的时候会是文字，有时候会是图片、压缩包等，有什么办法判断post的内容的格式呢？
如果是非文本，就没有必要去做相似性比较了

在 2015年12月29日星期二 UTC+11下午12:26:12，YuanSheng Wang写道：
php 的 similar_text ，看看他是怎么写的，如果是 C 的，抽离出来编译成 so 动态库，然后就可以被 luajit 直接使用了。

2015-12-29 7:06 GMT+08:00 FP <pxy...@gmail.com>:
如题，目前网站深受各种机器人发的垃圾贴骚扰。
想着是不是从nginx层面过滤更好
不知道ngx lua有有没有类似php 的similar_text 这样的函数可以使用

比如对 index.php的post，可以对比同一个IP5分钟内的post内容，如果相似性到80%就全部deny掉。

--

--

Membhis
My github: https://github.com/membphis
Our Book: OpenResty Best Practices

timebug.info

关于 lua-resty-sniff 根据内容特征识别文件类型的模块我们争取元旦后整理下开源出来哈，熟悉 golang 的同学可以直接看下 golang 标准库中的 sniff 模块实现，我们就是参考它的。

aaashun <aaa...@gmail.com>于2015年12月30日周三上午9:55写道：

关于Post内容类型的判断, 目前TimeBug同学在做lua-resty-sniff模块, 我把邮件代到, 帮你催催他 ^_^

On Wednesday, December 30, 2015 at 9:50:37 AM UTC+8, aaashun wrote:
没有原生模块,
这个算文本距离的算法是Oliver在1993年提的, 源码在此 http://codepad.org/hEGu5ujC

看了一下是干干的三层循环, 复杂度O(N**3), 省不了
On Tuesday, December 29, 2015 at 7:17:16 PM UTC+8, FP wrote:
感谢回复，总感觉用php的模块会不会效率很低？不知道有没有原生的比较方法

刚刚又想到一个问题。Post的内容有的时候会是文字，有时候会是图片、压缩包等，有什么办法判断post的内容的格式呢？
如果是非文本，就没有必要去做相似性比较了

在 2015年12月29日星期二 UTC+11下午12:26:12，YuanSheng Wang写道：
php 的 similar_text ，看看他是怎么写的，如果是 C 的，抽离出来编译成 so 动态库，然后就可以被 luajit 直接使用了。

2015-12-29 7:06 GMT+08:00 FP <pxy...@gmail.com>:
如题，目前网站深受各种机器人发的垃圾贴骚扰。
想着是不是从nginx层面过滤更好
不知道ngx lua有有没有类似php 的similar_text 这样的函数可以使用

比如对 index.php的post，可以对比同一个IP5分钟内的post内容，如果相似性到80%就全部deny掉。

--

--

Membhis
My github: https://github.com/membphis
Our Book: OpenResty Best Practices

pxy4cc

感谢各位的回复。今天突然有了个新的想法来阻止机器人垃圾贴

方法1.
我在页面伪造一个图片，然后正常访问过这个图片的，在5分钟内的post内容可以通过，不然直接discard

方法2
就是用lua读取post内容，然后进行关键字过滤，包含指定关键字的全部discard

方法3
就是我这问题里的，对2分钟内的post请求的内容进行相似性比较，然后相似性大于80%就discard

目前看似乎方法1的实现最简单。但是感觉可能会遇到一个客户端长时间没有动作，比如在进行编辑操作，然后超时导致内容被抛弃

而方法2的问题在于post的内容多样化，要能判断内容是文件还是文本，而且还涉及到多种编码的问题

方法3就是我本文提到的问题了，只是我不是码农，对golang也不熟悉，目前看有点难

虚心请教各位，用什么方法最好呢

在 2016年1月1日上午10:01，timebug <timeb...@gmail.com>写道：

Hi

关于 lua-resty-sniff 根据内容特征识别文件类型的模块我们争取元旦后整理下开源出来哈，熟悉 golang 的同学可以直接看下 golang 标准库中的 sniff 模块实现，我们就是参考它的。

aaashun <aaa...@gmail.com>于2015年12月30日周三上午9:55写道：
关于Post内容类型的判断, 目前TimeBug同学在做lua-resty-sniff模块, 我把邮件代到, 帮你催催他 ^_^

On Wednesday, December 30, 2015 at 9:50:37 AM UTC+8, aaashun wrote:
没有原生模块,
这个算文本距离的算法是Oliver在1993年提的, 源码在此 http://codepad.org/hEGu5ujC

看了一下是干干的三层循环, 复杂度O(N**3), 省不了
On Tuesday, December 29, 2015 at 7:17:16 PM UTC+8, FP wrote:
感谢回复，总感觉用php的模块会不会效率很低？不知道有没有原生的比较方法

刚刚又想到一个问题。Post的内容有的时候会是文字，有时候会是图片、压缩包等，有什么办法判断post的内容的格式呢？
如果是非文本，就没有必要去做相似性比较了

在 2015年12月29日星期二 UTC+11下午12:26:12，YuanSheng Wang写道：
php 的 similar_text ，看看他是怎么写的，如果是 C 的，抽离出来编译成 so 动态库，然后就可以被 luajit 直接使用了。

2015-12-29 7:06 GMT+08:00 FP <pxy...@gmail.com>:
如题，目前网站深受各种机器人发的垃圾贴骚扰。
想着是不是从nginx层面过滤更好
不知道ngx lua有有没有类似php 的similar_text 这样的函数可以使用

比如对 index.php的post，可以对比同一个IP5分钟内的post内容，如果相似性到80%就全部deny掉。

--

--

Membhis
My github: https://github.com/membphis
Our Book: OpenResty Best Practices

--