心得:文章伪原创检测与传统检测方法比较(总结篇)

　　心得:文章伪原创检测与传统检测方法比较(总结篇)

　　文章伪原创检测与传统检测方法比较传统的词频分析算法在短文本关键词匹配方面差一个数量级！从对垃圾的识别识别来看差距可以变成几十个数量级！一样道理短文本检测需要根据词频分布规律进行组合！这就要比pairwise匹配要求更高！检测出垃圾会带来巨大的成本性！文本分类怎么检测垃圾？需要从以下几个方面考虑！垃圾文本识别推荐几篇比较好的文章，还有推荐几篇短文本识别以及短句分词方面好文和清华大学写的对话式语义语音检测技术的基本原理和相关论文分享垃圾文本识别：从模型到算法-dbscan垃圾文本识别文献综述(总结篇)：周翱博士，卡耐基梅隆大学，liwang&zhaozheng编写垃圾文本识别：中科院自动化所-yuanwentian&xiangliu,singh。

　　ai这几年特别火，工业界和学术界上也都有大量类似应用的文章出现，比如垃圾邮件自动过滤，好多人都搞清楚垃圾邮件和正常邮件的区别，以及如何识别！主要应用可以看我的垃圾邮件解码文章垃圾邮件过滤文章垃圾文本识别(最后一篇文章更好看)垃圾邮件词云。

　　抛个砖，希望有大神来解答。我只知道现在机器学习有个neuralnetworktutorial,可以看看。一些关键词的词频统计会比较高，但是普通文本检测的文本太短，用nn/cnn的话太高精度反而不可取，毕竟很多关键词都是近义词，一字之差都可能给判错。如果普通文本用传统网络结构会准确一些，但是耗时比较久（一般得需要很长时间收集数据），如果仅用词袋（bag-of-words）的话可能就不如fvm+词嵌入的方式。