如何防止采集网站内容

　　如何防止采集网站内容1.摘要一句话摘要: 无法采集js生成的内容网站.

　　两个. 如何防止网站内容被采集

　　在实施多种反采集方法时，有必要考虑它是否会影响搜索引擎对网站的爬网，因此首先要分析一般采集器与搜索引擎爬网程序之间的区别.

　　相似之处:

　　a. 两者都需要直接获取网页的源代码才能有效地工作，

　　b. 他们都将在一个单位时间内多次抓取所访问网站的内容；

　　c. 从宏观上看，两个IP都会改变；

　　d. 两者不耐烦地破解您的某些网页加密（验证），例如网页内容是通过js文件加密的，例如需要输入验证码才能浏览内容，例如需要登录来访问内容等.

　　区别:

　　搜索引擎采集器首先忽略整个网页的源代码脚本和样式以及html标记代码，然后对其余文本执行一系列复杂的处理，例如词法和句法分析. 采集器通常通过html标签的特征来捕获所需的数据. 在制定采集规则时，您需要填写目标内容的开始和结束符号，以便找到所需的内容. 或针对特定网页使用特定规则. 表达式可以过滤出您所需的内容. 无论是使用开始和结束标签还是正则表达式，都涉及html标签（网页结构分析）.

　　然后提出一些反采集方法

　　1. 限制IP地址每单位时间的访问次数

　　分析: 除非是程序访问，否则任何普通人都不能在一秒钟内访问同一网站5次. 有了这种偏好，只剩下搜索引擎采集器和烦人的采集器.

　　缺点: 一种尺寸适合所有人，这也将阻止搜索引擎包括该网站

　　适用的网站: 不太依赖搜索引擎的网站

　　采集器的工作: 减少单位时间内的访问次数并降低采集效率

　　2，阻止ip

　　分析: 通过后台计数器记录访问者的IP和频率，手动分析访问记录，并阻止可疑IP.

　　缺点: 似乎没有缺点，但是网站管理员有点忙

　　适用的网站: 所有网站和网站站长都可以知道哪些机器人是Google或百度

　　采集器将做什么: 打游击战！使用ip代理采集一次并更改一次，但这会降低采集器的效率和网络速度（使用代理）.

　　3. 使用js加密Web内容

　　注意: 我没有碰过这种方法，只是从其他地方看

　　分析: 无需分析，搜索引擎爬虫和采集器都被杀死

　　适用的网站: 非常讨厌搜索引擎和采集器的网站

　　采集器会这样做: 如果你这么好，如果你这么好，他就不会来接你

　　4. 网站的版权或一些乱七八糟的文字被隐藏在网页中，这些文字样式被写在css文件中

　　分析: 尽管无法阻止采集，但是采集的内容将填充您网站的版权声明或一些垃圾文本，因为一般采集器不会同时采集您的css文件，并且文本将是显示时没有样式Out.

　　适用的网站: 所有网站

　　采集器的工作方式: 对于受版权保护的文本，很容易处理和替换. 对于随机的垃圾文本，请快点.

　　5. 用户可以登录访问网站内容

　　分析: 搜索引擎采集器不会为每种此类网站设计登录过程. 我听说采集器可以设计为模拟用户登录并提交特定网站的表单行为.

　　适用的网站: 讨厌搜索引擎并希望阻止大多数采集器的网站

　　采集器的工作: 为用户登录行为创建一个模块并提交表单

　　6. 使用脚本语言进行分页（隐藏分页）

　　分析: 同样，搜索引擎爬网程序不会分析各种网站的隐藏分页，这会影响搜索引擎将其收录在内. 但是，当采集器编写采集规则时，他必须分析目标网页代码，并且那些了解某些脚本知识的人将知道该页面的真实链接地址.

　　适用的网站: 不高度依赖搜索引擎的网站以及那些采集您信息的网站不了解脚本知识

　　采集器将要做什么: 应该说采集器将要做什么. 无论如何，他必须分析您的网页代码，并顺便分析您的分页脚本. 不需要太多时间.

　　7. 反热链接措施（仅允许通过网站页面连接进行查看，例如: Request.ServerVariables（“ HTTP_REFERER”））

　　分析: ASP和PHP可以通过读取请求的HTTP_REFERER属性来确定该请求是否来自该网站，从而限制了采集器，还限制了搜索引擎爬网程序，这严重影响了网站上搜索引擎的反垃圾内容包括在内.

　　适用的网站: 不要考虑搜索引擎中收录的网站.

　　采集器会做什么: 伪装HTTP_REFERER，这并不困难.

　　8，完整Flash，图片或pdf表示网站内容

　　分析: 对搜索引擎采集器和采集器的支持不好. 许多对SEO有所了解的人都知道这一点.

　　适用的网站: 专为媒体设计且不关心搜索引擎的网站.

　　采集器的工作: 停止采集，离开.

　　9. 网站随机采用不同的模板

　　分析: 由于采集器根据网页结构定位所需的内容，因此，一旦两次更改模板，采集规则将变为无效，这还不错. 这对搜索引擎爬虫没有影响.

　　适用的网站: 动态网站，不考虑用户体验.

　　采集器将执行的操作: 一个网站的模板不能超过10个. 只需为每个模板制定一个规则. 不同的模板使用不同的采集规则. 如果模板超过10个，则由于目标网站非常难以更改模板，因此最好撤回.

　　10. 使用动态和不规则的html标签

　　分析: 这是更异常的. 考虑到带空格和不带空格的html标签的效果相同，因此效果与页面显示相同，但​​是用作采集器的标签是两个不同的标签. 如果辅助页面html标记中的空格数是随机的，则

　　采集规则无效. 但是，这对搜索引擎爬网程序影响很小.

　　适用于网站: 所有不希望遵守网页设计准则的动态网站.

　　采集器的工作: 仍然存在对策. 仍然有许多HTML清洁器. 首先清理html标签，然后编写采集规则；您应该在使用采集规则之前清理html标签，否则您可以获得所需的数据.

　　摘要:

　　一旦必须同时搜索引擎采集器和采集器，这将非常令人沮丧，因为搜索引擎的第一步是采集目标网页的内容，这与采集器的原理相同，因此许多防止采集的方法也阻碍了搜索引擎对网站的收录工作感到无奈，对吗？尽管以上10条建议并非100％反采集，但几种方法的结合使用却拒绝了大量采集器.