网站内容采集(常见的网页数据采集都有哪些难点呢？(组图))

　　网站内容采集(常见的网页数据采集都有哪些难点呢？(组图))

　　摘要：随着网页制作和网站技术的发展，ajax、html5、css3等新技术层出不穷，给网页数据采集的工作带来了很大的困难。让我们来看看常见的。网页数据采集有什么难点。

　　1. 网页结构复杂多变

　　网页本身基于html这种松散的规范，经历了各大浏览器混战的时代，每个IT巨头都有自己的标准，互不兼容，导致网页非常复杂多变结构体。从专业上讲，网页是半结构化数据，也就是说不是结构化的，而网页数据采集本身就是计算机完成的工作。众所周知，计算机最擅长执行重复性任务。工作，也就是必须有严格规则的东西，所以网页结构的多变意味着web采集工具必须能够适应变化才能做好。这说起来容易，但实现起来却非常困难。优采云采集器 使用一个非常简单的原则来实现这一点：自定义流程。我们认为，只有定制做一件事的整个过程，才能说软件能够适应变化，因为不同的处理需要根据不同的情况进行，不同的过程就是不同的处理。但仅仅拥有自定义流程是不够的。为了真正适应变化，组合过程需要能够处理各种情况。该网页是供人们查看的。因此，只要每个流程步骤都可以模拟人的操作，那么在将人连接到互联网时的各个操作步骤都是根据情况而定的。结合起来，可以模拟在电脑中操作网页的情况。优采云采集器 考虑到计算机和人类处理网络数据的特点，

　　2. 各种格式的网络数据

　　网页上显示的内容，除了有用的数据外，还有各种无效信息、广告、链接等。即使是有效信息，也有各种显示方式、列表、表格、自定义结构、列表-明细页面、分页显示，甚至鼠标点击显示、鼠标滑动显示、输入验证码显示等，网页上出现的数据格式多样化也是一个难点。因此，为了能够处理好，提取数据的逻辑必须非常智能，必须对提取的数据进行一定程度的处理。

　　3. 使用ajax异步加载数据

　　异步加载，也称为ajax，是一种使用脚本更新部分页面数据而不重新加载整个页面的技术。这对现在几乎所有 采集器 来说都是一个致命的障碍。因为现在几乎所有的采集器都使用post方式，也就是向web服务器发送请求，获取响应字符串，然后解析字符串截取数据。ajax会导致获取到的字符串中根本没有数据，只有脚本程序，执行脚本时会加载数据。对于 post采集器 来说，这是一个无法逾越的障碍，因为先天的原则不足以处理这种情况。对于这种问题，可以使用优采云采集器来处理，因为优采云采集器模拟人为操作，没有post，也没有解析字符串, 只是模拟人类操作网页的行为，无论网页后端以何种方式加载数据，当数据显示在网页上时，优采云采集器都可以将数据提取到一种视觉方式。所以它可以轻松处理ajax加载的数据。一句话，只要你能打开一个网站看到数据，就用优采云采集器捕获这个数据。

　　4. 网站访问频率限制

　　现在几乎所有的网页数据采集工具都是单机程序，也就是说他能使用的最大资源就是单台电脑的所有资源，比如内存、cpu、带宽等，当处理更少的网页这个没问题，但是如果你想采集大量的网页，就得采用多线程等技术来加快访问网页的速度。当然，对方网站一般都有一些安全措施来保证单个IP，也就是不能太快访问单个电脑，否则会造成太大压力。当访问速度过快时，一般会封锁IP，限制其继续访问，从而导致采集中断。优采云采集器使用云采集，每个云采集

　　5. 网站访问不稳定

　　网络不稳定，这种现象很常见，网站也不稳定。如果网站一次访问压力太大，或者服务器有问题，可能无法正常响应用户查看网页的请求，对于人来说，问题不大偶尔出错，重新打开网页或者等待一段时间，然后对于网页数据采集工具，对于突发情况比较麻烦，因为不管发生什么，人都会来根据情况制定应对策略，但程序只能按照既定逻辑运行。一旦出现意外情况，很可能会因为不知道如何处理而崩溃或者逻辑中断。为了处理这些情况，优采云采集器 内置了一套完整的逻辑判断方案，允许用户自定义网站访问不稳定时如何处理各种情况。因此，当网站发生错误时，优采云采集器可以等待、重试，或者采集任何其他用户定义的流程逻辑，比如skip、back、然后刷新等，甚至重新打开登录页面，重新登录等，用户可以自定义判断条件和处理流程，从而应对各种不稳定的情况。

　　6. 预防采集 措施

　　除了上述困难之外，一些网站为了屏蔽一些恶意采集、复制内容、不尊重版权的做法，并采取一些技术措施防止他人采集，例如，验证码、点击显示数据等可以识别人和机器，在一定程度上防止了恶意采集行为，但也给正常浏览和采集带来了障碍。优采云采集器内置了一些功能，比如识别验证码、点击元素等，可以帮助用户突破这些限制。但是优采云团队一直主张采集数据需要授权，即如果你需要采集一个网站数据，那么你应该先联系网站

　　本文是网页数据采集系列原创文章的第五篇。网页数据采集系列将对网页数据采集这个话题进行全面深入的探讨。欢迎大家讨论，互相学习。

　　讨论请进群：web data采集，群号：254764602，加群密码：web data采集

　　本文于2013年11月9日首发于“优采云采集器”，转载请注明出处。