网页采集器的自动识别算法和aaaa文本匹配的影响

　　网页采集器的自动识别算法和aaaa文本匹配的影响

　　网页采集器的自动识别算法是根据服务端配置的一个数据包来进行匹配的，比如，有人通过正则表达式匹配到正则表达式包含aaaa的网页，那么网页数据包采用aaaa后，即自动识别为垃圾，再例如正则表达式匹配到正则表达式包含#ddr3的网页，那么网页数据包采用#ddr3后，即自动识别为垃圾。

　　这要看搜索引擎的机制，有些是直接查询没有aaaa等文字的网页有些则是在扫描各种网页后加上aaaa，这个过程中加上的文字，当然仍然是spam所以其实就是spam网页识别算法和aaaa文本匹配的问题要彻底解决就只能重新设计搜索引擎的机制，自动识别未中文的垃圾网页，加入搜索排序算法，使其不会导致意外的流量入口希望能帮到你。

　　我觉得是上图的三个因素的影响1.http数据请求的原始json2.经过了一些系统匹配，无误后，有无非结果返回3.在重试1000次后，没有无效（无推荐结果）请求。这三点是网页识别的必要条件，而http响应封装了很多的匹配和判断，如果结果1000次都无法识别那就好尴尬了。

　　对于特定网站的图片检索，使用二值模式具有更明显的效果和性能优势。flash的传输特性决定了这些特性的使用。

　　广告、爬虫类，查重影响主要还是统计相关性，因为关键词的匹配的确很复杂，有多少链接是公开域名，多少链接是ng-www或www-www，多少是seo，多少不是。在查重上会先影响频次和次数，再影响匹配方式。没有特殊需求没必要自己处理统计。