优采云采集器破解版网页数据采集系统网页信息采集

　　优采云采集器破解版网页数据采集系统网页信息采集

　　优采云采集器破解版是一款完全免费的*敏*感*词*网页信息采集工具，主要用于抓取互联网内容。 优采云采集器具有高效强大的数据采集和排序功能，可以针对不同的网页采用不同的配置，快速突破主流网站防采集策略，内置强大的数据格式化引擎, 支持自定义采集采集功能，可以快速过滤网站各种元素，获取有效内容。

　　

　　【基本介绍】优采云网站数据采集系统基于完全自主研发的分布式云计算平台。可以在短时间内从各种网站或网页轻松获取。标准化的数据可以帮助任何需要从网络获取信息的客户实现数据自动化采集、编辑、标准化，摆脱对人工搜索和数据采集的依赖，从而降低获取信息的成本，提高效率。涉及政府、高校、企业、银行、电子商务、科研、汽车、房地产、媒体等多个行业和领域。

　　优采云是一个通用的网页数据采集器，它不是针对某个网站某个行业数据采集，而是可以在网页上或网页的源代码中看到。几乎所有的短信都可以采集，市面上98%的网页都可以用优采云代替采集。

　　使用本地采集（单机采集），除了抓取大部分网页数据外，还可以对采集进程中的数据进行初步清洗。如果使用程序自带的正则工具，请使用正则表达式来格式化数据。可以在数据源实现去除空格、过滤日期等各种操作。其次优采云还提供了分支判断功能，可以对网页中的信息是否正确进行逻辑判断，从而实现用户的筛选需求。

　　Cloud采集不仅具备本地采集（单机采集）的所有功能，还可以实现定时采集、实时监控、自动去重存储、增量采集 ，自动识别验证码，API接口多样化导出数据和修改参数。同时，使用云端多节点并发运行，采集会远远快于本地采集（单机采集），任务启动时自动切换多个IP也可以避免网站的IP封锁，实现采集数据最大化。

　　【运行原理】优采云网站数据采集客户端使用的开发语言是C#，运行在Windows上。客户端主程序负责任务配置和管理，任务云采集控制，云集成数据管理（导出、清理、发布）。数据导出程序负责将数据导出为Excel、SQL、TXT、MYSQL等，支持一次导出百万条数据。本地采集程序负责根据工作流打开和抓取网页，采集数据通过正则表达式和Xpath原理，快速获取网页数据。

　　整个采集流程基于火狐内核浏览器，通过模拟人的思维操作（如打开网页、点击网页上的按钮）自动提取网页内容。系统全程可视化流程操作，无需专业知识，轻松实现数据采集。 优采云通过精准定位网页源代码中每条数据的XPath路径，可以批量精准采集输出用户需要的数据。

　　【软件亮点】舆情监测

　　全方位监控公众信息，第一时间掌握舆情动态

　　市场分析

　　获取用户真实行为数据，全面掌握客户真实需求

　　产品研发

　　风险预测

　　高效信息采集和数据清洗，及时应对系统风险

　　

　　【软件功能】简单采集

　　简单的采集模式内置了数百个主流的网站数据源，比如京东、天猫、大众点评等流行的采集网站。只需参考模板设置参数即可快速获取网站。 @公共数据。

　　智能防堵

　　优采云采集可以针对不同的网站自定义浏览器识别（UA）、自动代理IP、浏览器Cookie、验证码破解等功能的组合，实现网站绝大多数的突破反采集策略。

　　云采集

　　云采集，5000多台云服务器支持，7*24小时不间断运行，可实现定时采集，无需人员值守，灵活适配业务场景，助您提升采集效率，并保证数据的及时性。

　　API 接口

　　通过优采云API，可以轻松获取采集接收到的优采云任务信息和数据，灵活调度任务，如远程控制任务启停，高效实现数据采集和归档。基于强大的API系统，还可以与公司各种内部管理平台无缝对接，实现各种业务自动化。

　　自定义采集

　　根据采集不同用户的需求，优采云可以提供自定义模式自动生成爬虫，可以批量准确识别各种网页元素，以及翻页、下拉、ajax、页面滚动、条件判断等。此类功能支持不同网页结构的复杂网站采集，满足多种采集应用场景。

　　方便的定时功能

　　只需简单几步，点击设置即可实现采集任务的定时控制，无论是单个采集定时设置，还是预设日或周、月定时采集。同时自由设置多个任务，根据需要进行多种选择时间组合，灵活部署自己的采集任务。

　　自动数据格式化

　　优采云内置强大的数据格式化引擎，支持字符串替换、正则表达式替换或匹配、去除空格、添加前缀或后缀、日期时间格式化、HTML转码等诸*敏*感*词*，采集该过程是全自动的，无需人工干预即可获取所需格式的数据。

　　无限关卡采集

　　众多主流新闻和电商网站，收录一级商品列表页、二级商品详情页、三级评论详情页；不管网站有多少层，优采云所有采集数据都可以无限，满足采集各种业务需求。

　　登录后支持网站采集

　　优采云内置采集登录模块，只需配置目标网站的账号密码，即可使用该模块采集登录数据；同时优采云还有采集Cookie自定义功能，首次登录后可以自动记住cookie，免去多次输入密码的繁琐，支持更多网站采集。

　　【安装教程】（1）下载优采云安装包，在保存路径找到对应的压缩文件。

　　

　　(2）Install优采云

　　A.解压下载的优采云安装包（一定要解压！）如果没有解压软件，需要重新下载解压软件。解压后得到如下文件夹。

　　

　　

　　B.请分别勾选“安装前阅读”和“配置前阅读”。本文档提供了极其重要的信息，对您的操作优采云非常重要。

　　C.点击OctopusSetup.exe文件进行安装（建议以管理员权限运行）

　　

　　(3）优采云login

　　打开优采云采集器软件，输入用户名和密码，点击登录。

　　登录后，进入主界面，主界面介绍如下：

　　

　　[采集Process]优采云采集的原理中我们提到优采云模拟人们浏览网页的行为来执行数据采集，比如打开一个网页，点击一个按钮等，在优采云采集器客户端，我们可以自己配置这些流程。

　　优采云数据采集，一般有以下几个基本流程，其中打开网页和提取数据必不可少，其他流程可以根据自己的需要添加或删除。

　　

　　1、打开网页

　　这一步根据设置的URL打开网页，一般是网页采集流程的第一步，用于打开指定的网站或网页。如果有多个相似的 URL 需要打开来执行同一个 采集 进程，则应将它们作为第一个子步骤放入循环中。即使用URL循环打开网页。

　　

　　2、Click 元素

　　在这一步中，在网页上的指定元素上进行鼠标左键点击动作，例如点击按钮、点击翻页、点击跳转到其他页面等。

　　

　　3、input 文字

　　这一步在输入框中输入指定的文字，例如输入搜索关键词，输入账号等。在网页的输入框中输入设置的文字，如使用时输入关键字一个搜索引擎。

　　

　　4、cyclic

　　此步骤用于重复一系列步骤。根据配置，支持多种循环方式。

　　1）循环单个元素：重复点击页面上的一个按钮；

　　2）Circular 固定元素列表：循环处理网页中固定数量的元素；

　　3）Circular and unfixed element list：循环处理网页中不固定数量的元素；

　　4）循环网址列表：循环打开一批指定网址的网页，然后进行同样的处理；

　　5）循环文本列表：循环输入一批指定文本，然后执行相同的处理步骤。

　　

　　5、提取数据

　　在这一步中，根据自己的需要，在网页中提取自己需要的数据字段，点击选择任意一个即可。除了从网页中提取数据，您还可以添加特殊字段：当前时间、固定字段、空字段、当前网页网址等。

　　一个完整的采集任务必须收录“提取数据”，并且提取的数据中必须至少收录一个字段。如果没有，程序在启动采集时会报错，提示“采集字段未配置”。

　　

　　另外优采云的规则市场有很多既定的规则，可以直接下载导入优采云使用。

　　一个。如何下载采集rules

　　优采云采集器内置规则集市，用户共享配置的采集规则互相帮助。使用规则市场下载规则，不需要花时间研究和配置采集进程。很多网站采集规则可以在规则市场搜索到，下载运行采集即可。

　　规则下载方式有3种：打开优采云官网()->爬虫规则；打开优采云采集器Client -> 行情 -> 爬虫规则；直接访问多多官网( ) -> 爬虫规则。

　　

　　B.如何使用规则

　　一般从规则市场下载的规则都是后缀为.otd的规则文件。下载的规则文件会自动导入4.*以后的版本。在之前的版本中，您需要手动导入下载的规则文件。将下载的规则保存到相应位置。然后打开优采云client->task->import->select task。邮件或QQ和微信收到的规则是一样的。

　　

　　【使用教程】单个网页信息采集tutorial

　　本教程向您展示如何采集单个网页上的数据，适用于采集某个页面上的数据。只有“打开网页”和“提取数据”两个步骤，是最简单的流程配置，但在所有流程中都是必不可少的。目的是让大家了解如何创建自定义采集任务，掌握最基本的自定义任务配置方法。

　　第一步打开网页

　　登录优采云7.0采集器→点击左上角“+”图标→选择自定义采集（也可以点击首页自定义采集下的“立即使用” )，进入任务配置页面。然后输入网址→保存网址，系统会进入流程设计页面，自动打开之前输入的网址。

　　

　　网页打开后，我们可以修改任务名称。如果不修改，则默认为网页标题。运行采集前可以随时修改任务名称。

　　

　　第 2 步提取数据

　　在网页上，只需选择要提取的数据，窗口右上角就会有相应的提示。在本教程中，我们以提取新闻标题、日期和文本为例。请灵活使用并选择您需要的。

　　

　　提取数据设置好后，可以点击保存开始运行采集。但是此时的字段名称是系统自动生成的。为了更好的满足您的需求，您可以点击右上角的“流程”进入流程页面修改字段名称。首先选择要修改的字段名称。这时候下拉框中会出现备选字段名，可以直接选择使用。如果您没有想要的内容，只需输入一个新的字段名称。修改字段名后，点击“确定”保存。保存后即可运行采集。

　　

　　所有版本都可以跑本地采集，旗舰版及以上可以跑云采集和设置定时云采集，但是跑本地采集测试之前跑云采集。任务运行采集后，可以选择Excel、CSV、HTML等格式导出或导入数据库。数据导出后，可以点击链接进入数据存储文件夹查看数据。文件默认以任务名称命名。

　　

　　分页列表详细信息采集

　　步骤1 登录优采云7.0采集器→点击新建任务→自定义采集，进入任务配置页面：然后输入网址→保存网址，系统进入流程设计页面并自动打开之前输入的网址。

　　

　　在优采云中，我们需要如下图在浏览器中循环点击电影名称，然后在详情页中提取数据信息，所以我们需要做一个翻页循环再循环点击在电影名称上提取数据列表。

　　第2步我们先做一个循环翻页的过程。这一步将模拟在采集处手动点击翻页。鼠标点击浏览器页面中的“下一页”按钮，如下图所示，弹出对话框。在框中选择“循环单击下一页”；那么翻页循环就完成了。

　　

　　创建一个循环点击下面的电影名称

　　我们需要打开每部电影的链接，进入详情页，然后在采集details中输入数据。结合步骤2中建立的翻页循环，我们可以自动点击下一页翻页，可以一一打开每一页的片名列表进入详情页，从而完成点击所有电影细节，最终达到提取所有数据的效果。

　　步骤3 用鼠标点击下图中第一个片名的“教父：第二部”链接，右侧操作提示框中会出现一些选项。我们选择“全选”选项，然后选择“循环点击每个链接”选项就够了，这样循环点击片名到详情页的步骤就完成了。

　　提示在7.0之前的优采云版本中，会弹出一个选项框供用户选择。在7.0中，为了让用户在操作时看到网页，这个提示框只是移到了右边，简化了操作流程。而在点击第一部电影《教父：第二部》的链接后，该链接在浏览器中被选中，并在网页上被标记为绿色框。同时优采云的智能算法也自动检测到链接。还有其他几个类似的元素，也就是本例中的另外两个电影片名链接。我们选择“全选”选项以自动选择所有标题链接。这时优采云提醒我们这组元素已经被选中。然后我们要逐个点击链接才能进入详情页采集，所以接下来选择“循环点击每个链接”选项，此时优采云会自动模拟人的操作，并执行刚才设置的“循环点击每个链接”。 “一个链接”的动作将刚刚选中的片名列表中的第一个作为示例页面，点击详情链接跳转到详情页面，我们可以在后续步骤中提取数据。

　　下一步是提取数据的最后一步。结合前面的步骤，我们终于完成了所有电影细节的采集

　　Step 4 在页面上点击要提取的电影标题字段，其中标题字段被选中并用红框表示，然后在弹出的提示框中选择“采集这个元素的文本”即可表示采集的为页面中的文本数据，

　　然后选择在浏览器中同样的方式点击其他字段，然后选择“采集元素的文本”

　　

　　第五步提取完成后，我们可以点击处理按钮，然后修改字段名称。这里的字段名相当于header，方便采集时区分各个字段类别。在下图界面修改字段名称，修改完成后点击“确定”保存

　　

　　第六步点击“保存并启动”，然后在弹出的对话框中选择“启动Local采集”

　　系统会在本地启动一个采集任务和采集data。任务采集完成后，会弹出采集结束提示。接下来，选择导出数据。这里选择导出excel2007为例，然后点击确定。然后选择文件存储路径，然后单击“保存”。这样就得到了我们最终需要的数据。

　　

　　以下是数据示例

　　

　　[FAQ]优采云采集器Can采集别人的背景资料？

　　优采云采集器 不能采集 无法访问后台数据。因为后台数据采集需要有后台访问权限，优采云是正规的采集软件，不会提供此类侵权服务。

　　但是优采云可以对他网页的后台数据执行采集。

　　在安装过程中读取文本“OctopusSetup.msi”时出错

　　点击“setup.exe”安装下载包不解压会出现这个错误；

　　解决方案：

　　1.请务必先将zip文件解压到一个文件夹；

　　2.安装时，文件夹内应收录3个文件。 （安装必读，setup.exe和setup.msi）

　　Windows 安装程序有问题。安装优采云采集器时提示“缺少所需的DLL文件”

　　原因：电脑系统版本过低，不支持优采云采集器的安装。

　　解决方法：如果电脑系统换成Windows7以上，可以重新安装优采云采集器

　　在Win8下，安装msi安装包时经常出现错误代码2502、2503。

　　

　　其实这个错误是安装权限不足造成的。 msi安装包不像其他exe安装程序。点击安装包上的“右键”后，没有“以管理员身份运行”选项。

　　方法一

　　将鼠标放在Win8屏幕的左下角，等待Win8 Metro界面的缩略图出现，点击鼠标右键，在弹出的菜单中选择“命令提示符（管理员）”。

　　

　　打开“命令提示符（管理员）”

　　

　　找到你要安装的程序的路径，例如：我要安装的程序在D盘的Others文件夹中

　　

　　点击路径栏，复制路径，然后复制程序名

　　

　　在“命令提示符（管理员）”中输入你要安装的程序的完整路径和程序名msiexec /package（注意空格），例如：我想安装msxml在Others文件夹下磁盘D

　　

　　然后按 Enter，安装程序将自动启动。此时安装过程中不会遇到2502、2503错误。

　　方法二

　　1. 要打开任务管理器，可以在桌面任务栏上右击打开任务管理器，也可以通过按键盘上的Ctrl+Alt+Delete键打开任务管理器。同时。

　　打开任务管理器后，切换到“详细信息”选项卡，找到explorer.exe的进程，如下图：

　　

　　2.我们可以通过右键单击来结束explore.exe的进程，也可以通过选择它并单击下面的结束任务来结束它。接下来，在任务管理器上点击“文件”-“运行新任务”，如下图：

　　在里面输入“explorer.exe”，然后勾选“使用系统管理权限创建这个任务”，然后点击“确定”。然后您就可以正常安装或卸载您的软件了。

　　

　　tips：其实整个过程其实就是重启explorer.exe（资源管理器）。有同学说在任务管理器中右键explorer.exe重启还不行吗？

　　答案是否定的！因为这样重启后，仍然没有系统管理权限。用上面提供的方法重启explorer后，我们才有系统管理权限。

　　[更新日志] 主要体验改进

　　【自定义模式】新增触发功能，可根据具体情况进行采集，点击查看详细教程

　　【自定义模式】新增浏览器模式，方便滑动验证码等配置网站采集rules

　　【自定义模式】提供优采云6内核模式，有效解决网站在优采云7上打不开的一些问题

　　【自定义模式】支持采集网址数量，从2万级扩展到100万级

　　【自定义模式】URL输入支持文本导入，支持txt、xls、xlsx、csv格式

　　【自定义模式】URL输入支持批量生成URL参数，包括数字变化、字母变化、时间变化、自定义列表四种生成方式

　　【自定义模式】支持任务跟随采集、A采集 URL作为任务B的输入源关联采集，拓宽使用场景

　　【自定义模式】提升列表创建速度

　　[Local采集] 提升采集 性能

　　【简易模式】新增搜索功能，可搜索模板

　　【简单模式】目前可以按模板名称和模板在线时间排序

　　【简易模式】新增“热门”类别

　　错误修复

　　修复部分定时任务错误的问题

　　修复本地采集卡死问题

　　修复几个问题