解决方案:浩华|君无嘻言—种草高效工具 节省网页数据采集时间
　　图/文：淄博市规划总监尹龙
　　作为房地产行业规划师，我们将大部分时间和精力都花在了操盘手的规划和执行上，经常在Word、Excel和PPT之间来回穿梭。而有时在面对提案和关键节点规划时，我们需要更详细的区域市场数据，而网页上的土地信息是必不可少的部分。如果不做好月度数据积累，或者面对陌生的城市环境，很难在短时间内整理出这些陌生的数据。我一直在纠结要不要给你一个“草”的数据采集工具。第一，我们很少有机会使用这些工具（但紧急使用确实很香）；无法回答具体问题。
　　不过，在房地产提高“人的效率”的环境下，希望大家多掌握一款软件来使用，提高工作效率，这不是一件坏事。所以，趁着《君无兮言》的机会，为大家“种草”优采云采集器软件。
　　1
　　明确的工作目标
　　采集（汇总）某城市的市场数据，比如我们经常需要的当地“某阶段土地供应及交易数据”，住宅在线签名数据等（值得注意的是，在线每个城市的签名数据网站差别很大，有些网站用软件很难实现采集) 案例如图，如果我们需要2小时排序拿出这个城市的土地供应交易明细，简单的打开每个地块复制粘贴是不现实的，需要数据采集工具来提高效率。
　　2
　　学习阅读网址
　　我们来到了案例城市的土地拍卖页面，这是一个城市级区域土地交易的详细记录。发现在这个网页环境下，点击下一页和任意翻页，网页地址不变，所以我们可以在采集器中输入这个URL来执行所有数据（或部分数据，比如仅作为 采集2021)。但是目前这个界面中的文字并不是我们想要的，我们需要的是里面每个情节的具体细节。但是我们也发现，每一个地块打开后，它的网址都不一样。
　　由此，我们可以分析采集工作流程：
　　采集市级网页下的文字内容（结果公示地块标题+时间）及各地块地址链接（深度采集）
　　复制所有详细包裹的地址链接，启动采集包裹详情，最后导出Excel文件
　　3
　　具体采集工作操作方法
　　首先：从官网下载“优采云采集器”。一个手机账号可以免费做100个采集任务。（足够的）
　　
　　第二：打开软件后会有2种模式：流程图模式和智能模式。流程图模式是基于人工分工和每一步的操作（操作比较复杂，这里就不具体推荐了），而我们通常使用智能模式，使用这个模式我们来详细说明一下实战案例（单击智能模式启动采集）。
　　第三：首先，输入网址有3种方式，手动输入（复制粘贴）不能超过200行；文件导入（使用txt文本文件格式）我们一般采集单个或多个网页一般使用前者，批量生成很多深度链接（地块详情页地址）一般使用后者，而批量生成是指有一定规律性参数变化的网址（如翻页参数的序号变化）。因此，我们先复制粘贴需要采集的城市级交易地块的网站地址，点击立即创建。
　　第四：点击后可以看到采集器已经开始自动识别首页和采集（绿色部分）的信息并在下方生成表格预览，字段2（情节标题）也给我们做了对应的深度链接采集（也就是每个剧情的详情页地址采集在这里）
　　第五：专注翻页：翻页是指在采集的过程中，程序要自动模拟手动翻页。如果翻页按钮无法识别，我们的后续采集工作将重复进行。在某个页面或之前的某些页面上来回重复 采集 会导致数据结果无限重复。
　　首先，我们需要知道为什么会发生这种情况。少数情况下，如果网页按钮（下一页）的XPath无法识别，会出现“自动识别分页失败”；有时即使被识别，10页后的“下一页”也会出现。“页面”位置又变了，也会出现采集进程翻页错误。下图是第11页“下一页”按钮的偏差：
　　解决翻页解决方案（如果您使用的网页可以自动识别翻页，请忽略以下）：
　　[1]点击分页按钮：手动点击分页（下一页）按钮，但如果“下一页”按钮没有放错位置，通常可以工作[2]编辑分页XPath
　　由于这里涉及到编程知识，我的地产编辑严重超纲了……还好在编程老师的帮助下，给出了一套案例图。我通过多个网站做了一个正则仿，大家可以试试看一下（至于工作原理，不用研究，看步骤即可）：
　　[2-1] 回到浏览器网页界面，将鼠标放在“下一页”，右击查看元素，会看到如下图：
　　[2-2] 我们只需要复制""双引号内的蓝色部分，然后回到采集软件中的"Edit Paging XPath"输入//*/a[img[@ src="复制"]的蓝色部分] 例如上面的情况，需要输入 //*/a[img[@src="/TPFront/images/page/nextn.gif"]] 以上是翻页失败的处理方法。
　　第六：设置采集的范围：如果我们只想采集某个阶段的土地信息，可以点击采集范围进行设置。在弹出的对话框中，单击新建条件，然后单击新建组。
　　
　　在本例中，“字段 3”是绘图的时间，因此我们将字段 3 中的条件设置为“收录”值。如果出现2020，点击OK（表示采集会在值达到2020时停止任务）。当然，我们可以从 Set start page and end conditions to 采集data for a specific year开始。
　　第七：点击开始采集——任务完成后点击导出数据。
　　第八：以上，我们已经完成了第一轮采集，目的是获取每个剧情详情页的URL；接下来，我们将Excel中的网站复制到一个新的文本文件（.txt）然后新建一个任务并导入网站文件，点击采集即可（因为详情页不需要转）
　　第九：导出Excel结果文件并稍作修改。建议大家下载“方格”办公版Excel插件，免费级别超级好用。
　　例如批量删除地块交易时间的“**小时**分钟”只保留年/月/日（批量删除后5个字符）；分批提取最大容积率。对于最大容积率，我们可以通过公式计算出规划建筑面积、楼面价格等。
　　下图是导出的直接结果：
　　下图是修改调整后的效果：
　　总结
　　以上是与大家分享的房地产数据相关的网页数据爬取。每个城市的土地信息网都有新旧网站。建议你选择老版本的网站土地汇总页面作为目标（比较容易识别）；同时，各个城市商品房上线签到的数据页面差异很大，需要看采集器能不能识别。不建议您花太多时间研究爬虫程序，我们只需要使用采集软件来节省数据聚合时间。
　　⋅///⋅
　　【过去推荐】
　　点击图片查看
　　——
　　本文章为浩华专业原创，未经许可严禁转载、盗用或用于商业目的
　　正式发布:优采云DedeCMS5.6文章免登陆发布接口
　　可以达到和手动发布文章一样的效果，包括是否生成静态、去除外部链接、下载远程图片等功能。
　　Dedecms5.6免费登录文章发布界面说明
　　一、特点
　　1.无需登录，用户可以设置验证密码，防止未经授权的访问。
　　2. 多用户随机发布文章。
　　3、可以达到和手动发布文章一样的效果，包括是否生成静态、去除外部链接、下载远程图片等功能。
　　2.使用教程
　　1.文字教程
　　1.1。选择与您的网站 对应的接口文件。如果你的网站是gbk代码，请选择jiekou_gbk.php。
　　1.2. 打开接口文件，修改认证密码，保存。
　　1.3. 修改接口文件名，上传到网站的管理目录。比如默认的dede目录。
　　
　　1.4. 修改发布模块 Dedecms 5.6 免登录界面 文章Publishing module.cwr ，修改发布文件地址后缀的文件名和发布模块中刷新列表文件的地址后缀到您刚刚修改接口文件名的那个。
　　1.5。设置发布配置，采集 并开始发布。
　　2.视频教程
　　三、注意事项
　　1.该接口只适合发布文章到内容模型为普通文章的DEDEcms频道；
　　2、本接口基于Dedecms 5.6 GBK版本，适用于dedecms 5.6 GBK/utf-8/BIG5等版本。使用时请选择不同版本的界面。
　　3.分页码”
　　"
　　4.参数说明
　　1. 所需参数
　　标题标题
　　正文内容
　　
　　typeid 主列ID，必填，后台可以查看ID 网站列管理
　　username 用户名，必须使用网站上已有的用户名，默认为随机用户名，用户需要在模块中设置
　　pw 验证密码。刷新列表和发帖时使用，模块和界面中的验证密码需要相同。
　　2.可选参数
　　ishtml=1 是否生成HTML，1为是，0为否；
　　remote=1 是否下载远程图片和资源，1为是，0为否
　　dellink=0 是否删除非站点链接，1为是，0或空为否；
　　短标题 短标题
　　描述内容摘要
　　color=标题颜色，格式如#FF0000
　　flags[]=h 文章 属性，标题 查看全部

　　干货教程:PHP简单采集器制作
　　PHP 简单 采集器 制作
　　PHP 简单 采集器 制作
　　采集器，通常称为小偷程序，主要用于抓取别人网页的内容。关于采集器的制作，其实并不难。就是远程打开网页为采集，然后用正则表达式匹配需要的内容。只要你有一点基本的正则表达式，你就可以做到。拿出你自己的 采集器。
　　
　　前几天，做了一个小说连载程序。因为怕更新麻烦，写了一个采集器，采集巴鲁中文网站。功能比较简单，不能自定义规则，不过大体思路在里面，自定义规则可以自己扩展。
　　用php做采集器主要用到两个函数：file_get_contents()和preg_match_all()。前者是远程读取网页内容，但只能在php5以上版本使用。后者是常规功能。用于提取所需的内容。
　　下面逐步介绍功能实现。
　　
　　因为是采集小说，首先要提取书名、作者、流派，其他信息可以根据需要提取。
　　这里是《回归明朝当太子》的目标，首先打开参考书目页面，链接：
　　再打开几本书，你会发现书名的基本格式是：ISBN/Index.aspx，所以我们可以做一个起始页，定义一个，用它输入需要为采集的ISBN，然后我们可以通过 $_POST ['number'] 这种格式来接收需要采集的书号。收到书号后，接下来就是构建书目页面：$url=$_POST['number']/Index.aspx，当然这里是个例子，主要是为了解释方便，就是最好检查 $ _POST['number'] 的有效性。
　　干货教程:phpCMS V9 - 使用教程
　　步骤 2：添加站点时指定发布点
　　第三步：添加站点时设置的域名指向发布点的所有服务器或目录（请在域名解析管理中心解析）
　　基本设置
　　依次位置：【设置】→【基本设置】
　　这个基本配置用来设置网站相关文件的存放目录。比如 CSS/JS 图片等。
　　词汇表
　　附件URL访问路径
　　即用户上传的文件存放的位置
　　CDN加速使用
　　可以使用CDN网络文件（比如JQuery，不能在本地存储JQuery文件）
　　安全配置
　　导航至：[设置] → [安全配置]
　　此配置可以设置后台登录失败的最大次数，以防止密码被尝试。
　　PHPSSO 配置
　　PHPSSO 是用 PHP 开发的单点登录系统。在连接PHPSSO的多个应用系统中，用户只需登录一次，即可访问所有相互信任的应用系统。
　　如果系统开启了单点登录，在应用ID中填写对应的ID和加密密钥。
　　这个数据和 SSO 中的应用管理配置必须一致！
　　角色管理
　　角色定位所有具有该角色的管理员权限，管理员可以为不同的角色成员分配不同的权限配置。说白了，当一个网站被多人操作的时候，需要这个配置给别人分配权限，谁可以做什么谁不能。
　　依次导航：【管理员设置】→【管理员管理】
　　如下图所示，目前只有一名超级管理员（最大）：
　　它记录了任何人的登录时间和各种有意义的信息，供管理员参考。
　　1、比如我们添加一个管理员：
　　然后设置管理员信息，其他信息很容易获取，主要是角色位置，意思是管理员可以对网站做什么：
　　
　　模块管理
　　如果对计算机编程中模块的含义不熟悉，请移步：%E6%A8%A1%E5%9D%97%E5%8C%96%E7%A8%8B%E5%BA%8F%E8 %AE% BE%E8%AE%A1/1154869
　　如果您理解，请继续阅读。
　　在phpcms管理系统中，“模块管理”用于设置和配置用户管理系统的内置或用户自定义开发模块。让我们在这里谈谈系统。
　　可以看到，phpcms为我们准备了很多常用的模块，我们可以直接添加使用。
　　假设项目需要使用在线充值功能，如果没有phpcms，只能自己写一个在线充值功能。但是现在有了phpcms的模块管理，可以直接添加在线充值功能（然后简单配置）。
　　添加公告模块
　　为了方便起见，我们尝试在首页添加公告模块，我们来看看首页现在的样子：
　　然后，点击打开：【模块】→【模块列表】→【公告】
　　点击添加公告，如下图：
　　弹出如下页面，设置公告内容，最后点击【确定】：
　　确认后，将显示您的默认主页！
　　添加其他模块也是一样，只是设置的东西不一样。
　　添加现有页面
　　有时候，我们想自己写一个页面，放到phpcms中进行操作，那该怎么做呢？
　　1.我新建一个文件夹，里面有一个页面，然后简单的写一些代码：
　　2、找到PHP目录下的phpcms文件夹，粘贴刚才的demo文件夹：
　　注意：要根据自己的目录进行操作，以下是我的目录，供大家参考。
　　放入后，我们回到管理员后台中心进行设置：
　　然后进行站点配置，如下图所示：
　　完成后，它将出现在列表中：
　　接下来，让我们通过站点域名访问我们自己的网站：
　　
　　http://localhost/phpcms/demo/
　　伟大的！有效！里面是我们写的代码！
　　标签使用
　　在phpcms V9中，我们需要PC标签作为获取数据的一种方式，这是phpcms指定的语法，就像CSS为什么那样写，我们必须遵守。
　　PC标签分类：
　　工具类：一般可以理解为phpcms V9.0提供的一些工具箱。模块类：phpcms V9的每个模型都提供了调用模块数据的数据接口。
　　// PC标签是以下面的方式进行声明
{pc:content action="lists" cache="3600" num="20" page="$page"}{/pc}
　　PC 标签必须以 {pc} 开头并以 {/pc} 结尾。
　　当然不以{/pc}结尾不会导致程序出现致命错误，导致程序无法继续运行。
　　接下来，我们分析上面的例子。
　　在 PC 标记中，{pc:} 冒号后跟模块名称。比如上面的例子调用了内容模型的PC标签：
　　action="list"
　　这种形式代表参数。每个 phpcms V9 模型都定义了要为其 PC 标签调用的参数。其中一些调用参数由系统保留，对所有 PC 标签有效。
　　必须使用参数：
　　参数名="参数值"
　　多个参数用空格隔开（如下例），参数值可以用双引号括起来。无论是哪种形式的引号，它们都必须成对出现。
　　{pc:content 参数名="参数值" 参数名="参数值" 参数名="参数值"}
　　显示标签
　　默认情况下，PC 标签中的数据以数组形式返回。可以通过 $data 获取数组。如果您在 PC 标签中定义了返回参数，则返回的数组将使用返回值进行命令。
　　一般来说，您可以使用以下方法来显示该值：
　　{loop $data $key $val} {$val[title]} {/loop}
　　其中，$val[url]和$val[title]需要根据使用的PC标签和返回的数据来判断。
　　由于涉及的知识太多，使用技巧和渲染机制较多，请自行查阅资料，不再展开。
　　扩张
　　这个功能块主要集中了全站各个模块的一些扩展属性，可以更加直观快捷的进入需要的功能页面！
　　这里涉及的知识太多了。有兴趣可以自行百度。我不会在这里展开它。 查看全部

　　多种方法:如何使用优采云采集器
　　优采云Data采集系统基于完全自主研发的分布式云计算平台。它可以很容易地在很短的时间内从各种网站或网页中获取大量的标准化数据。数据，帮助任何需要从网页获取信息的客户实现数据自动化采集、编辑、规范化，摆脱对人工搜索和数据采集的依赖，从而降低获取信息的成本，提高效率。
　　主要功能
　　简而言之，使用 优采云 可以轻松采集从任何网页中精确获取所需的数据，并生成自定义的常规数据格式。优采云数据采集系统可以做的包括但不限于以下内容：
　　1、财务数据，如季报、年报、财务报告，包括每日最新净值自动采集；
　　2、各大新闻门户网站实时监控，自动更新上传最新消息；
　　3. 监控竞争对手的最新信息，包括商品价格和库存；
　　4、监控各大社交网络网站、博客，自动抓取企业产品相关评论；
　　5、采集最新最全的招聘信息；
　　
　　6、关注各大地产相关网站、采集新房、二手房的最新行情；
　　7、采集主要汽车网站具体新车和二手车信息；
　　8、发现和采集潜在客户信息；
　　9、采集行业网站的产品目录和产品信息；
　　10. 同步各大电商平台商品信息，可在一个平台发布，在其他平台自动更新。
　　产品优势
　　便于使用
　　操作简单，图形化操作完全可视化，无需专业的IT人员，任何会用电脑上网的人都能轻松掌握。
　　云采集
　　采集任务自动分配到云端多台服务器同时执行，提高采集效率，在极短的时间内获取上千条信息。
　　
　　拖放采集 过程
　　模拟人类操作思维模式，可以登录、输入数据、点击链接、按钮等，也可以针对不同的情况采取不同的采集流程。
　　图像和文本识别
　　内置可扩展OCR接口，支持解析图片中的文字，可以提取图片上的文字。
　　定时自动采集
　　采集任务自动运行，可以按指定周期自动采集，也支持一分钟实时采集。
　　2分钟快速启动
　　内置从入门到精通的视频教程，2分钟即可上手，此外还有文档、论坛、QQ群等。
　　免费使用
　　它是免费的，免费版没有功能限制，您可以立即试用，立即下载安装。
　　免费的:有这3个免费数据采集工具，不懂爬虫代码，也能轻松爬数据
　　在日常工作中，产品和运营往往需要参考各种数据来支持决策。
　　但实际情况是，对于日常工作中的各种小决策，内部提供的数据有时不足以提供足够的支持，而外部数据大多是机构发布的行业情况，无法提供任何有效的帮助。
　　因此，产品和运营经常使用爬虫来抓取他们想要的数据。比如想要获取某电商网站的评论数据，往往需要写一段代码，用python来抓取对应的内容。
　　说到学习编程……好吧，我选择了放弃。
　　那么问题来了，有没有更方便的方法呢？
　　今天给大家介绍3款能适应大部分场景的data采集工具。即使不懂爬虫代码，也能轻松爬出95%的数据网站。
　　重点是这三个软件的基本功能都是免费使用的~
　　1
　　优采云采集器
　　这是一个非常古老的 网站data采集 工具，已经存在了十一年。经过不断的更新迭代，功能越来越多（只有部分高级功能要收费QAQ）。
　　据说用户数在同类软件中一直排名第一。毕竟，我是一名 11 岁的司机。我想我在学习数据挖掘的时候，老师推荐过这个软件。
　　
　　优采云采集器可实现数据采集、清洗、分析、挖掘和最终可用数据呈现，堪称一站式服务。
　　它的第一个特点是它具有广泛的应用和采集准确的数据。优采云采集器的采集的原理是基于web结构的源码提取，所以适用于几乎所有的网页，以及web中可以看到的所有内容页。通过设置content采集规则，可以方便快捷的抓取散落在网页上的文字、图片、压缩文件、视频等
　　比如采集豆瓣读书网站上的书名和作者数据，但是页面有图有文，只要设置了采集 采集 规则，你可以精确到采集到标题名和作者名。
　　另外，优采云采集器的内容采集支持测试功能，可以用一个典型的页面来测试采集内容的正确性，从而使及时更正和进一步的数据处理。
　　例如，你想采集豆瓣阅读数百篇书评，但不确定一次捕获的数据是否准确。可以通过测试，先抓取几个网页进行测试，看看得到的结果是不是你想要的，根据结果调整采集规则，直到测试结果让你满意为止前进到一个巨大的采集。这样就不用担心 采集 的数据会出错。
　　另外，对于采集接收到的信息数据，还可以进行一系列智能处理，使采集接收到的数据更符合我们的使用标准。比如过滤掉不必要的空格、标签、同义词替换、繁简转换等。
　　看到这里有同学问，说了这么多，还是不知道怎么操作，怎么破解。别着急，优采云采集器的网站还提供初学者手册和视频教程。不明白的可以在论坛提问，也可以跟着论坛大神快速学习优采云采集器的操作。
　　地址
　　2
　　优采云
　　这也是一个声称可以选择任何东西的工具网站。电商、生活服务、社交媒体、论坛，甚至瀑布网站都可以是采集。
　　
　　其采集 方法的一大亮点是云采集。也就是说，当你配置采集任务时，即使你关机出去挥手，任务也可以继续在云端执行，等挥手回来时，数据会被采集. 这样你就不用担心网络中断了，你辛辛苦苦弄到的数据采集都没了，你也不必一直守在电脑旁边等待数据采集 完成。
　　云采集的另一个优点是可以与云中的多个节点并发运行，采集速度会比本地采集（单机采集）。任务启动时自动切换多个IP，也可以避免网站的IP阻塞，最大化采集的数据。
　　据说规则的配置也很简单。只需 2 分钟即可快速上手。看操作页面，流程基本就是所见即所得，而且整个流程也是可视化的，确实比优采云简单。
　　即使不知道如何使用软件，网站上也有教程中心，这里还提供免费的初学者教程，让大家快速学习如何操作软件。
　　地址
　　3
　　吉苏克
　　这个工具也可以说是非常强大的。全可视化操作，无需编程基础，熟悉电脑操作即可轻松掌握。整个采集过程也是所见即所得的，遍历的链接信息、爬取结果信息、错误信息等都会及时反映在软件界面中。
　　它具有用于抓取规则的模板库的巨大优势。我们都知道采集数据需要给工具提供爬取规则。这条规则相当于告诉爬虫工具你需要爬取的数据的特征。因此，捕获规则直接决定了您捕获的数据的准确性和粒度。
　　不过，很多小白同学在第一次设置抓取规则的时候，还是需要探索一段时间才能得到想要的结果。Jisoke的爬虫规则模板库可以帮助您节省搜索爬虫规则的时间。
　　在极速客资源库中，各种爬取规则被存储在不同的类别中。您可以通过 关键词 或登陆页面的 URL 搜索可用的爬取规则。 查看全部

　　教程:优采云采集器如何批量采集下载瀑布流网站图片
　　可编辑
　　优采云采集器如何批量采集下载瀑布网站图片
　　随着瀑布流网站、AJAX网页和网站表达形式等技术的普及，技术架构和网页结构与以往传统的网站不同，图像呈现形式更具表现力。灵活的。出于市场调研或采集的需要，部分企业或个人需要对此类网站进行网页数据采集。本文介绍了遇到这种类型的网站，我们如何使用优采云采集器快速采集数据。
　　示例网址：
　　
　　观察示例网址，发现有以下特点： 1、页面上的图片不是一次加载的，需要滚动多次才能滚动到底部。这种网站属于瀑布流网站（新浪微博也是这样）。
　　2、详情页不能点击标题进入，只能点击图片进入。
　　相关 采集 教程：
　　新浪微博数据采集
　　58城市资讯采集
　　
　　搜狗微信文章采集
　　第 1 步：创建一个 采集 任务
　　1.进入主界面，选择自定义模式
　　优质文档，欢迎下载
　　教程:简易网页采集|4
　　输入我们要搜索的词条，以禅墨云为例，我们会在网址栏中找到，一段长长的字符
　　禅墨云&rsv_spt=1&rsv_iqid=0xaea3079900012b5e&issp=1&f=8&rsv_bp=1&rsv_idx=2&ie=utf-8&tn=baiduhome_pg&rsv_enter=1&rsv_dl=tb&rsv_sug3=23&rsv_sug1=24&rsv_sug7=101&rsv_sug2=0&rsv_btype=i&inputT=12683&rsv_sug4=13427
　　其实我们把下面的都删掉了，只留下陈沫云之前的：
　　禅墨云
　　有时候url中的参数不止一个，也就是说我们需要让搜索词动态化，所以我们需要url进行简单的处理：封装成字典
　　kw = input('enter a word：')
param = {'wd':kw}
　　这时候可以去掉之前的url入口，变成：
　　https://www.baidu.com/s?
　　这样，搜索结果就变成了我们想要搜索的任何词
　　UA检测和伪装
　　UA检测：门户网站的服务器会检测相应请求载体的身份。如果检测到被请求的运营商的身份是某个浏览器，则说明这是一个正常的请求。但是，如果检测到请求的载体标识不是基于某个浏览器，则说明该请求是异常请求（爬虫检测），服务器会拒绝该请求。
　　UA伪装：让爬虫对应的请求载体身份伪装成浏览器
　　其实只需要在url前面加上headers，里面收录键值User-Agent和详细值值
　　
　　在浏览器中（以Chrome为例），点击F12，点击network，刷新后会出现很多文件，点击任意一个，打开headers，找到User-Agent对应的部分，然后复制其内容。
　　headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4324.104 Safari/537.36'}
　　之后就是正常操作了。
　　程序源代码
　　以下是完整的程序和评论，仅供学习
　　# --coding:utf-8 --
#UA:User-Agent(请求载体的身份标识)
#UA检测：门户网站的服务器会检测对应请求载体的身份标识，如果检测到请求的载体身份标识为某一款浏览器
#说明这是一个正常的请求。但是，如果检测到请求的载体身份标识不是基于某一款浏览器，则表示该请求为
#不正常请求（爬虫检测），则服务端就会拒绝该次请求。
#UA伪装：让爬虫对应的请求载体身份标识伪装成某一款浏览器
import requests
if __name__ == '__main__':
<p>
##UA伪装：将对应的User-Agent封装到一个字典中
headers = {&#39;User-Agent&#39;:&#39;Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4324.104 Safari/537.36&#39;}
url = &#39;https://www.baidu.com/s?&#39;
#处理url携带的参数：封装到字典中
kw = input(&#39;enter a word：&#39;)
param = {&#39;wd&#39;:kw}
#对指定的url发起的请求对应的url是携带参数的，并且请求过程中处理了参数
response = requests.get(url=url,params=param,headers=headers)
page_text = response.text
filename = kw+&#39;.html&#39;
with open(filename,&#39;w&#39;,encoding=&#39;utf-8&#39;) as fp:
fp.write(page_text)
print(filename,&#39;保存成功！&#39;)
</p>
　　写在背面
　　好的！这就是 文章 的全部内容！ 查看全部

　　解决方案:安美奇网站信息采集器 1.0 绿色免费版
　　安美奇网站信息采集器是竞争对手网站信息内容采集器，功能强大且易于使用。免费，承诺无病毒和木马，可永久使用。
　　
　　如何使用 Amage网站信息采集器：
　　1：输入竞争对手的网址。
　　2：点击启动程序自动采集competitors网站所有信息内容。
　　
　　3：来自采集的内容自动存入seo.mdb的数据库（需要安装access的最基本数据库）。
　　4：如果需要修改数据库中的内容，可以自己修改。
　　如果不需要修改，可以使用数据库本身的导入导出功能，导入到自己的网站data中。
　　操作方法:优采云采集器采集原理,流程介绍下载
　　
　　优采云采集器采集原理、流程介绍下载
　　1. 修复部分文件下载成功后数据库标记错误的问题（间接导致Ftp上传文件数不正确） 2. 修复开启自动更新时偶尔修改Hashtable，导致自动更新错误 3 . 使用SQLite数据库连接池保证了Sqlite在多线程下的稳定运行。4.修复多个任务同时更新时，界面上的任务数不断增加，导致任务越来越多的问题。5.状态栏小提示，连同完成提示音，可以关闭。6.删除了内置PHP插件中默认影响处理速度的php_mysql.dll相关下载链接：//download.csd
　　
　　复制链接 查看全部

　　免费获取:99%网站站长都不知道，居然有免费优采云采集器(99%网站站长都不知道
　　大家好，SEOer们，今天我想讲一些对你们很有帮助的知识点。网站内容应该如何采集，采集工具如何使用采集，采集的长期状态，以及如何处理这些问题。
　　采集工具，采集的内容。首先，它的采集内容是非原创内容，这对于搜索引擎的识别是非常不利的。如果不是原创的内容，那网站的排名没有优化有什么用。所以采集后面的内容必须经过伪原创处理，才能达到类原创的效果。那么第二个传统的采集 工具有很多采集 规则。这些采集规则不是专业的，很难写，所以需要花钱请人写采集规则。第三，传统的 采集 工具肯定需要您手动完成。不可能有一个定时的，没有挂机功能，不能24小时工作。
　　因此，在选择采集 工具时，必须满足几个因素：首先，采集 中的内容可以在发布前由伪原创 处理。二是必须简单方便使用，无需编写规则和复杂的配置。大多数站长的技术和编码能力都很差，甚至没有技能，应该适合大众。三是可以一直挂机，满足多个网站的更新频率和内容丰富度。小编现在一个人做几十个网站，完全依靠147SEO站长工具发布和推送网站的采集伪原创，大部分的收录情况网站还不错，收录创建的网站排名也在慢慢上升，
　　
　　接下来给大家说一下网站长期采集会出现的情况：一是网站不是收录，二是快照停滞，三是蜘蛛不抢，四是排名不稳定。那么我们如何着手解决这些问题呢？
　　虽然我们的网站长期处于采集的状态，但是我们的网站上的文章更新大部分在网上都有相同的内容。而如果网站的权重不高，那么蜘蛛很有可能会将你的网站列为采集站。文章页面必然停止收录，快照停止，网站收录开始减少。所以解决方案一定要经过伪原创，发布的内容要尽快主动推送，让搜索引擎快速发现你更新的页面。
　　
　　搜索引擎蜘蛛会爬，但不会爬。事实上，当蜘蛛爬行时，检测已经在进行。爬虫爬取文章时，会进行一定程度的重复内容检测。当它发现你的内容和互联网高度重复的时候，这就是为什么你检查日志蜘蛛被发现的原因，但是页面从来没有被爬过，是因为爬取发现了重复的内容。那么他就会放弃爬行，也就是只会停留在查询阶段。解决方法和前面说的一样，你必须保持你的内容原创自然而不是同质化。
　　排名上不去，上去也不稳定。更新后伪原创文章已经收录，排名上不去，搜索结果全被其他网站文章转载，就算排名上去了，不稳定，一天后排名又掉了。在这种情况下，您需要仔细检查您的网站 的文章 是否被他人长期采集？
　　今天的分享就到这里。每次分享SEO经验，希望对网站站长有所帮助。现在网站越来越精致了。还是那句话，只要做好SEO的每一个维度，网站做好其实是一件很简单的事情。如果你努力工作，搜索引擎不会亏待你！
　　免费获取:松松站长工具大全tool.lusongsong.com
　　
　　AA2 网站站长工具
　　
　　“AA2站长工具”于2022年6月18日在陆虎导航中发布，并永久存储在陆虎导航的网站库中，本网站仅用于“AA2站长工具”的基本价值和可信度分析，包括Alexa排名，网站流量估算，网站反向链接，域名年龄计算等。然而网站真正的价值在于它是否能为用户的需求带来一点解决方案，为社会发展做出贡献和促进社会发展。AA2网站站长工具的实际价值还取决于对各种因素的全面分析，从网站流量或收入来衡量网站价值肯定不准确。麓湖导航器为“AA2站长工具”提供百度的基本数据，作为您准确评估其网站价值的参考。 查看全部

　　最新信息:如何采集网站数据和信息（免费自动采集网页数据的工具）
　　数据采集方法，数据采集方法，随着互联网的发展，数据对于公司或者个人的作用也越来越大。这使您可以了解最新的数据情况并做出有关数据分析的重要决策。今天给大家分享一个免费数据采集方法，可以通过输入域名自动采集网站数据，支持外贸数据采集。详细参考图片
　　网站的访问速度会直接影响网站的流量，采集的数据方式和网站的流量直接关系到网站的利益&gt;。因此，网站的速度成为了企业和站长们非常关心的问题。现在网站越来越多，很多朋友的打开速度都不理想。也许你打开 网站 很快，但别人打开你的 网站 却反应很快。这可能是网通和电信线路的问题，但大部分是你的网站自己的问题，影响速度。数据采集方法如何提高网站访问速度？让我们谈谈一些关键问题以及如何处理它们。
　　许多人使用虚拟主机来创建 网站 并将 web 文件存储在虚拟空间中。但是，如果页面太多，打开 网站 会很慢。数据采集方法如果遇到这种情况，尝试优化网页代码以达到想要的速度。以下是一些适用方法的摘要。在创建主页时，以下方法可以大大提高页面的速度。
　　1.记得帮网站减肥
　　
　　阅读网页实际上是将网页内容下载到虚拟主机中的本地硬盘，然后用阅读器解锁并查看。网页下载速度占显示速度的很大比例。因此，网页本身占用的空间越小，阅读速度就越快。这就要求我们在制作网页时要遵循简洁的原则，比如data采集方法：不要使用太大的flash动画、图片等资源。简单、简约的页面给人一种清晰的考虑感。
　　2.如果没有，尝试使用静态HTML页面
　　众所周知，ASP、PHP、JSP等程序完成了网页信息的动态交互，操作起来非常方便。由于他们良好的数据交互性，他们可以方便地访问和更改数据库的内容，使 网站 “动态” 、数据 采集 方法如：论坛、留言板等，这个程序必须由服务器处理，生成HTML页面，然后“发送”给客户端读取，消耗一定的服务器资源。如果你在虚拟主机上过多地使用这个程序，网页会显示很慢，所以尽量不要使用静态HTML页面。
　　3. 不要将整个页面放在一个表格中
　　这就是网页设计的问题。为了实现统一的页面对齐，data采集way many网站admins把整个页面的内容塞进一个表格，然后用单元格TDs来划分每个“块”的规划。这个 网站 出现很慢。因为在加载表格中的所有内容之前，表格不会出现。如果某些内容无法访问，则会延迟整个页面的访问速度。正确的做法是：将内容以相同的形式分成几张表格，不要全部塞进一张表格中。
　　
　　很多站长在早期的SEO优化工作中都是杂乱无章的。当数据采集方法得到一个网站时，总觉得不知道从哪里开始优化，不知道如何优化才能成功。其实，原因在于缺乏正确的优化思路。只要我们有一个清晰的思路再进行优化，就能大大提高搜索引擎优化的成功率。
　　网站定位准确到什么样的人看你的网站，数据采集无论是同行还是客户还是弱势用户群。如果网站上线前没有很好的定位，排名效果就不好，甚至没有效果。
　　SEO专家知道如何找到关键词，从关键词和网站定位匹配开始，也就是你的网站是做什么的？主营业务是什么？与中心业务相关的关键词是什么？通过百度下拉框及相关搜索、数据采集方法百度索引等，找到与网站主题和中心业务相关的词。那么在采集到的关键词流量和竞争适中的词中，不要选择太大或太小的词。提示：关键词需要慎重选择，但是一旦选择，不要随便改，否则会导致网站变成收录，权重下降。
　　编辑高质量的 原创 内容也是 SEO 专家经常做的事情。搜索引擎收录可以快速搜索到高质量的原创内容。数据采集方法另外，由于内容对用户的帮助很大，用户的点击率会提高，所以百度会比较频繁地出现在相应的搜索结果页面上。如果用户的点击量和浏览量持续增加，内容的排名会迅速上升，网站的权重会开始增加，从而产生良好的优化效果。
　　最新版:站长速看！免费采集软件快速提升网站收录排名
　　免费的采集软件应该怎么用，不配置规则的采集能用吗？这是我们很多新手站长第一次接触采集软件时都会有的疑问。对于这个问题，博主认为完全不用担心。免费的采集软件操作页面简单，无需掌握复杂的规则即可进行全网采集和指定采集。
　　免费的采集软件只需要我们输入关键词然后简单的点击一下，整个网络就可以跨平台了采集。在采集（过滤其他网站广告、标签保留、图片云存储）后，支持本地再创作或直接自动化伪原创发布和推送。
　　免费的采集软件的定位和增量采集也很方便。输入我们指定的URL，点击窗口中的采集对象，完成指定的采集。内置中英翻译，繁简转换采集流程完成翻译。
　　免费的采集软件可以同时创建几十个采集发布和推送任务。发布前完成自动伪原创和SEO，支持关键词增加我们采集内容标题和内容中关键词的密度。支持图片替换和图片水印，大大提高了我们的文章原创度。发布后，全平台自动推送。
　　
　　免费的采集软件可以帮助我们采集相关资源完成网站内容的创作，我们在网站优化的时候还需要考虑很多其他的因素，比如网站自己的数据。跳出率和流量是我们需要关注的两个因素。
　　对于SEOER来说，网站流量和跳出率是评价优化质量的重要指标网站。当一个网站页面跳出率高、流量低时，说明它的网站优化效果不好，网站并没有给用户的用户体验带来好的效果。当用户体验低时，搜索引擎对网站的评分也会降低，其网站的权重也会降低，导致无法排名上升。那么，导致跳出率高或访问量低的因素是什么？如何解决跳出率高的问题？
　　哪些因素会导致页面跳出率高
　　什么是合适的跳出率？这取决于行业和 网站 的类型之间的差异。行业没有统一的标准。网站跳出率高的原因中，需要根据引擎官方统计工具分析具体问题。网站的高跳出率无非就是不同地区的访问者的跳出率。页面的跳出率和新老访问者的跳出率等，统计用户跳出率高低的原因后，可以根据不同用户的需求调整页面内容和结构，从而保证用户体验的提升。
　　如何降低 网站 跳出率
　　
　　1.提高网站的打开速度可以降低跳出率。如果要提高网站的打开速度，这就需要在建站时使用正规服务商提供的符合网站需求的服务器，同时使用js代码优化，css样式优化等方法优化网站。
　　2.确保浏览器之间的兼容性。在网站正式上线前，用不同的浏览器对网站进行测试，避免在某些浏览器上出现乱码或拼写错误。当然，还包括手机浏览器的兼容性。
　　3.保证网站内部导航的清晰，站内链接的合理性，减少出站链接，从而降低网站的跳出率。
　　4、降低网站的跳出率，要减少广告、音乐和主流媒体视频的流出，保证用户有良好的浏览体验。
　　这是免费采集软件创建网站内容和页面跳出率分析的介绍。都属于数据统计的范畴，不同的是采集软件是我们主动统计的数据分析环境，跳出率是我们自己统计分析自己的情况。 查看全部

　　解决方案:常用的网络爬虫软件
　　描述
　　常用的网络爬虫软件
　　1. 优采云云爬虫
　　优采云Cloud是一个大数据应用开发平台，为开发者提供一整套数据采集、数据分析和机器学习开发工具，为企业提供专业的数据采集、数据实时监控和数据分析服务。
　　
　　免费用户没有采集 功能和出口限制，不需要积分。有开发能力的用户可以自己开发爬虫来实现免费的结果，而没有开发能力的用户则需要从爬虫市场上查找是否有免费的爬虫。
　　2. 优采云采集器
　　优采云采集器 是一款网络数据采集、处理、分析和挖掘软件。它可以灵活、快速的抓取网页上零散的信息，通过强大的处理功能，准确的挖掘出需要的数据。
　　号称是免费的，但其实免费功能有很多限制，只能导出单个txt或者html文件。基本上可以说它不是免费的。
　　3. 优采云采集器
　　
　　优采云采集器是一个可视化采集器，内置采集模板，支持各种网页数据采集。
　　号称是免费的，但实际上导出数据需要积分，做任务也可以赚取积分，但一般情况下，基本都需要购买积分。
　　4. 优采云采集器
　　优采云采集器是前谷歌搜索技术团队基于人工智能技术开发的新一代网页采集软件。该软件功能强大，操作极其简单。
　　完全免费，对采集数据和手动导出采集结果没有任何限制，不需要学分。
　　解决方案:Discuz论坛问答采集自动发帖管理
　　迪斯库兹论坛知乎问答采集让我们采集我们需要文章内容，迪斯科兹通过论坛发帖可以增加我们迪斯库兹论坛的知名度，通过批量迪斯库兹论坛批量发帖
　　
　　管理论坛是我们驱动氛围、增加活跃度、丰富Discuz论坛内容的首选，通过Discuz论坛批量发布插件，我们可以实现全平台批量内容采集和批量发布和回复Discuz论坛。
　　
　　Discuz论坛批量发布插件只需要输入我们的关键词或URL，并在整个平台上一键自动批量采集主题内容、视频、图片、用户评论和回复等数据，从而实现无人值守的自动采集和批量发布在我们的论坛版块或门户栏目中，使我们的网站内容丰富， 积极回复，并有很高的访问量。
　　迪斯库兹是一个经营良好的网站。制定可行的数据采集网站优化策略的第一步是对我们的网站进行全面审核。这意味着每一页，每一文章，每一段。在这方面值得花时间，因为匆忙进入这个阶段会使其他步骤更难遵循。 查看全部

　　正式发布:安美奇网站采集器 V6.0 官方版
　　AnMeiQi网站Information采集器AnMeiQi.exe是主程序；AnMeiQi.exe.config 为配置文件，用于修改数据库名称；seo.mdb是数据库，采集完成后，所有数据都写在这里。能够从互联网上采集各类图片、笑话、新闻、科技等各类信息，然后分类、编辑、发布到自己的网站系统。这个Amage网站采集器界面简洁，功能强大！
　　软件介绍
　　更新了主界面，合并了低层和高层采集，增加了点击等功能，欢迎新的请求。
　　
　　应客户要求开发的对竞争对手网站信息、内容和所有相关词采集器的分析。
　　AnMeiQi.exe 是主程序。
　　AnMeiQi.exe.config 是用于修改数据库名称的配置文件。
　　seo.mdb 是数据库。采集 完成后，所有数据都会写入这里。
　　指示
　　
　　1. 输入竞争对手的 URL。
　　2.点击启动程序自动采集competitors网站所有信息内容。
　　3、采集中的内容自动存入Seo.mdb数据库（需要安装Access最基本的数据库）。
　　4、如需修改数据库中的内容，可自行修改；如果不需要修改，可以使用数据库本身的导入导出功能，将其导入到自己的网站数据中。
　　最新版本:新站提交百度站长平台，促进网站收录
　　新站提交百度站长平台推广网站收录
　　1.新站提交百度站长工具-站长验证，对应新企业网站让百度快收录，需要提交站长验证！登录原百度站长工具，现在百度更名为：百度搜索资源平台
　　站点管理 - 添加 网站：
　　进入公司官网网站，域名以www开头。
　　设置你的网站的字段，根据不同的公司选择，根据自己的行业选择。
　　验证方式有3种：一般推荐【文件验证】，文件验证失败则使用【CNAME验证】。
　　下载验证文件，上传到网站后台，如图：
　　二、网站属性设置
　　百度站长工具——网站属性设置。有助于百度识别网站网站是什么类型！
　　回到后台首页界面--用户中心-站点管理。
　　
　　站点类型 - 选择修改
　　我司所有的网站都是HTML5+CSS3自适应的网站，可以如图选择。（对于非我公司网站，请咨询网站建设者）。
　　3.链接提交，主动推送
　　百度站长工具——链接提交、主动推送（实时）、主动推送将帮助百度快速收录你的网站文章和产品。登录站长工具后台—网站支持—提交链接
　　手动提交，百度网站图：
　　然后，选择 - 自动提交 - 站点地图
　　此时，主动推送（实时）非常重要：
　　进入网站的后台，函数--查找--主动推送| 熊掌推
　　复制刚才百度站长平台上面第4步显示的token，主动推送（实时）
　　文章和产品发布后会显示：success，表示：主动推送（实时）验证成功！
　　
　　四、txt检测
　　百度站长工具——robots.txt检测，robots.txt可以告诉百度你的网站哪些页面可以爬取，哪些页面不能爬取。
　　按照以上提示，或根据自己的需要提交
　　登录站长工具平台—网站支持—机器人
　　检测和更新
　　图为成功！
　　1.抓住诊断
　　百度站长工具-爬虫诊断，爬虫诊断工具，让站长从百度蜘蛛的角度查看爬取的内容，并自行诊断百度蜘蛛看到的内容是否与预期一致。
　　这一步很简单，但是一定要做好知识点：
　　网站前4步已经完成，这一步一定要做，测试一下是否成功！ 查看全部

　　给力:优采云采集器v3.0.3.8免费版
　　优采云采集器是一款高效的网站采集软件，支持99%的网站data采集，可以生成Excel表格，api数据库文件等内容帮助您管理网站数据信息，如果您需要采集指定网页数据，可以使用本软件。
　　软件功能
　　一键提取数据
　　简单易学，通过可视化界面，鼠标点击即可抓取数据
　　快速高效
　　内置一套高速浏览器内核，配合HTTP引擎模式，实现快速采集数据
　　适用于各种网站
　　能够采集99%的互联网网站，包括单页应用Ajax加载等动态类型网站
　　
　　特征
　　向导模式
　　使用简单，通过鼠标点击轻松自动生成
　　定期运行的脚本
　　无需人工即可按计划运行
　　原装高速核心
　　自研浏览器内核速度快，远超对手
　　智能识别
　　智能识别网页中的列表和表单结构（多选框下拉列表等）
　　广告拦截
　　
　　自定义广告拦截模块，兼容AdblockPlus语法，可添加自定义规则
　　各种数据导出
　　支持Txt、Excel、MySQL、SQLServer、SQlite、Access、网站等。
　　指示
　　第 1 步：输入 采集 网址
　　打开软件，新建一个任务，输入需要采集的网站地址。
　　第二步：智能分析，全过程自动提取数据
　　进入第二步后，优采云采集器自动智能分析网页，从中提取列表数据。
　　步骤 3：将数据导出到表、数据库、网站 等。
　　运行任务，将采集中的数据导出到Csv、Excel等各种数据库，支持api导出。
　　整套解决方案:影刀RPA智能机器人在数据采集方面比爬虫更具优势
　　在当今信息时代，随着互联网和信息技术的发展，目标公司的信息数据采集对于大数据分析、业务研究和推广具有重要意义。目前，获取企业公开信息的方式主要有人工获取和数据爬虫获取。人工操作速度慢、成本高、效率低；并且爬虫容易频繁爬取大量数据，导致与目标网站交互不良，触发反爬虫机制。与爬虫相比，Shadow Knife RPA 的实现更简单，周期更短，更稳定。尤其是在场景和合规性方面，影刀RPA智能机器人在数据方面更具优势采集。
　　Shadowknife RPA数据采集的三个应用场景，分析和报告
　　虽然不能提供高可见性和透明度，但使用 Shadowknife RPA 智能机器人仍然可以访问运营分析和业务洞察力，从而在使用智能自动化平台时提高效率并降低总体成本。
　　
　　及时获取相关数据至关重要。您从数据中获得洞察力的速度越快，您就可以越快地确定要采取的关键行动。由于企业每秒都会产生大量数据采集，因此管理和分析所有这些数据既困难又耗时。
　　因此，企业数据 采集 被消化的速度比它所能消化的更快。因此，一旦获得必要的洞察力，在几秒钟内生成的原创数据可能会变得过时且对战略决策毫无用处。
　　为避免这种情况，Shadowknife RPA 智能机器人必不可少，它可以实时了解您的分析，并为您提供在数字经济中的竞争优势。
　　例如，您可以看到特定产品的销售激增，并使用实时信息来调整估计。一些生产零件的增量积累也可以领先于竞争对手。
　　由于Shadowknife RPA智能机器人可以24/7全天候运行，它可以轻松采集实时数据，为您提供实时洞察。
　　
　　除了快速分析数据之外，在利益相关者之间分发和分享见解以促进更快的组织参与也同样重要。
　　Shadowknife RPA智能机器人助您一键打造可视化控制面板，轻松分享给团队成员。
　　得益于Shadowknife RPA智能机器人简单的界面和应用，员工可以更加专注于数据并开发解决方案，以促进业务成功。
　　不仅如此，影刀RPA智能机器人还可以应用于企业的各个部门（财务、人力资源、客服、销售等），减少大量人工重复。在具体操作中，例如可以打开邮件、下载附件、登录网站和系统、读取数据库、网页数据采集、文档数据抓取、连接系统API等。 Shadowknife RPA智能机器人将大大提高现有的工作效率，同时将企业的生产力提升到一个全新的水平。
　　叉子智能（英道RPA）是一家创新科技公司，专注于RPA赛道自主研发核心产品——英道RPA拥有完整的技术知识产权，公司助力电商、金融、物流、医疗、通讯等领域的企业员工实现数字化、智能化、自动化转型。影刀RPA已为迪卡侬、汤臣倍健、恒生电子、美的、周大福、Keep、UR、泸州老窖、古家家居、宝尊、得物、三只松鼠等数万家客户赋能。无法为您详细介绍有关 Shadow Blade RPA 的更多详细信息。欢迎来到影刃RPA官网了解更多。返回搜狐，查看更多 查看全部

　　最新版:【小问小答】0624：Excel怎么采集网页数据？
　　实时分享。每周六晚20:00，B站：拉小灯Excel，直播问答讲解Top10问题。
　　如何提问
　　文末加入“Excel问答，读者群”，可以在群里免费提问和交流。
　　数据统计，函数公式 1- 公式中的 [@53] 是什么意思？
　　提问者：星空
　　回答者：本·拉登先生
　　这就是引用智能表中当前行数据的意义。
　　53是列名，@表示当前行的数据。所以总的意思是指列的同一行的数据[53]。
　　2- 计算两个日期之间的天数，如果其中一个日期为空，就会出现负数，怎么办？
　　提问者：棒棒糖
　　
　　回答者：刘少乘风破浪
　　然后添加一个函数来屏蔽，公式参考如下：
　　=IF(n3="","",N3-A3)
　　Table Layout and Typesetting 3- 如何格式化数据以区分居民和职业的标签？
　　提问者：阿苏
　　回答者：本·拉登先生
　　考虑使用数据透视表并将保险类型拖动到列标签。
　　如果使用函数公式，则可以使用 VLOOKUP 查询。
　　Power Query4- Excel 如何采集 web 数据？
　　提问人：高婷
　　
　　回答者：本·拉登先生
　　在 Excel 中使用 Power Query 可以实现网页数据爬取。
　　但是不同的网页有不同的结构和不同的爬取方式。
　　还是最终的爬虫软件，好用好用，推荐使用优采云采集器。
　　5- 千万表数据，如何去重？
　　提问人：翟凌峰
　　回答者：本·拉登先生
　　推荐使用 SQL。
　　问答读者群
　　学习方式
　　最新版:【智能模式】【流程图模式】如何采集详情页的链接
　　当数据为 采集 时，通常需要指向 采集 详细信息页面的链接。本文介绍了如何使用我们的优采云采集器智能模式采集以三种方式链接到详情页，流程图模式也是如此。
　　方法一：通过自动识别获取
　　优采云采集器 的智能模式会自动识别列表。一般网站在识别列表时，也会识别到详情页的链接。
　　【温馨提示】如果自动识别不准确，也可以手动点击识别列表。
　　单击此处了解有关如何识别列表的更多信息
　　
　　方法二：深入获取采集
　　在识别软件列表的过程中，有时会遇到无法识别详情页的链接。这时候我们就可以使用深入的采集功能进入详情页，采集链接到详情页。
　　1.识别列表后，我们使用添加字段功能识别带有链接到详情页的数据。软件会自动生成字段。
　　【提醒】带链接的数据一般是文章的标题，或者产品名称等，如果不能确认，可以在浏览器上操作确认。
　　2. 右键单击​​生成的字段，设置“值属性”，选择“提取链接地址”。
　　
　　3、点击“深入采集”进入详情页面。
　　点击这里了解更多关于如何潜水采集
　　4、进入详情页面后，我们可以任意添加一个字段，然后右键点击生成的字段，设置“更改为特殊字段”，选择“当前页面URL”。这将为我们提供详细信息页面的链接。
　　方法三：拼接出详情页链接
　　如果以上方法都不能成功采集链接到详情页，但是可以通过xpath或者正则表达式提取详情页的ID，可以通过数据拼接出详情页的链接加工。 查看全部

　　解决方案:浅析通用爬虫软件—— 集搜客与优采云采集器
　　大数据人
　　报道DT时代的应用信息和趋势，通过爆料分析行业热点
　　最近想用爬虫软件采集网页上的一些数据。根据百度推荐和相关关键词查询，我找到了两个软件：“Jisooke”和“优采云”。这两个软件都有一个可视化界面。对于编程思维较弱的用户来说，这两款软件简单易用，通俗易懂。今天就带大家了解和对比这两款常见的网络爬虫软件。
　　1.软件安装
　　优采云：优采云安装和其他独立软件一样，从官网下载，直接点击setup.exe安装即可。
　　Jisouke：Jisouke网站上下载的软件也是一个自解压的exe程序。双击开始安装。你看到的是火狐浏览器的安装过程。最初的 Jisouke 软件作为 Firefox 插件发布。
　　2.软件界面布局
　　优采云：优采云的界面布局可以归类为引导界面。用户进入软件界面可以看到软件使用提示信息，如图1所示，包括向导模式和高级模式。学习资源、采集规则、数据下载等。对于初次使用的用户，起到了很好的引导作用。
　　
　　图一：优采云操作界面展示
　　急速克：速速克软件分为两个操作界面，MS摸手（图2）和DS计数器（图3）。Mouji负责制定规则（在网页上打标），counter负责采集数据（网络爬虫），一搜一战，听起来更符合它的特点。极速客启动后的界面并没有显示帮助资源的使用情况，而是位于“帮助”菜单中。
　　图2：几搜科谋几个界面
　　图3：吉搜客点钞机界面
　　三、操作流程
　　优采云：优采云的操作过程主要分为4个步骤（如图4），分别是：
　　设置基本信息，设计工作流程，设置 采集 选项，完成。
　　图 4：优采云 操作流程
　　
　　图 5：优采云设计流程
　　Jisouke：Jisouke的运营没有流程的概念。看来采集规则的定义不能遵循既定的操作顺序，但是有一个关键“建一个盒子，提取你想要的内容”。所以我们称之为4个“块”操作（如图6所示）：包括命名主题、创建分箱、规划爬虫路线和定义连续动作。
　　图6：吉索克的四大功能
　　综上所述，优采云的工作流特征非常明显，用户决定了软件如何行动，何时行动，在哪里应用行动，从哪里采集内容等。另一方面，Jisouke 希望用户专注于选择哪些数据。如果用户想将范围扩大到拣货之外，那么定义爬虫路线。如果他们想做一些动作，那么定义连续动作。用户无需关心整个过程的细节。
　　4.数据存储方式
　　优采云：优采云分为单机操作和云端采集，数据导出支持EXCEL、SQL、TXT等常用格式。
　　吉搜客：吉搜客没有云采集，因为爬虫都是运行在用户自己的电脑上，把爬虫放到云端是用户自己的事。运行数据以XML格式存储，说明这是一个中间结果。Jisoke官网提供了XML转EXCEL的工具，会员中心也提供了基于云存储的数据导入和清理功能，存储后可以导出。成EXCEL格式。
　　5.充电方式
　　优采云：简而言之，就是一种软件销售模式（不排除免费版）。此外，用户需要规则积分和运行数据积分。积分可以用金钱购买，也可以通过参与社区活动来换取积分。.
　　Jisouke：Jisouke只是一种服务收费模式。所有软件功能都是免费的。如果您需要一些爬虫管理和数据管理服务，您将根据服务类型、数量和时间收费。同样，下载规则需要积分，如果使用云存储，则根据存储量和存储时间收费。积分也可以用金钱购买，也可以通过参与社区活动赚取积分。
　　免费获取:免费采集软件优采云采集软件
　　
　　各大站长都一直在使用各种采集软件或者网站自己的采集插件，小编发现，这个软件在市场上有一个共同点，那就是写采集规则对于技术老站长来说轻而易举，但对于小白来说，不知道如何编写采集规则，甚至对于老站长来说也需要采集网站当数据也要写出不同的采集规则， 很多网站多位站群的朋友都有深刻的理解，每个网站写采集规则简直是凄惨。互联网确实原创 文章作者还是比较少，气氛一直像你我，我和你一样！互相走动！有没有一个免费且易于使用的采集软件，并且不需要一些规则即可将内容采集到网站的背面！
　　
　　免费采集软件有哪些优势： 查看全部

　　福利:免费网页采集器很多，要看你找的是哪一款
　　免费网页采集器很多，要看你找的免费的是哪一款，免费网页采集器有很多，有的收费的，比如云采集、采采农场，收费的主要是数据抓取时间比较久了，数据抓取比较全了才收费，但是有的免费的网页采集器真的不收费，效果也很好，比如紫鸟采集器，而且数据抓取也是可以过滤的，
　　
　　长网站的话，可以用去采集一些，但关键看是不是要免费，正则表达式只是解决匹配的问题，还有没有其他的目的，收费的话，就可以看看具体情况。
　　目前市面上的免费网页采集器很多，常见的是速采网和采采农场。速采网是一款采集公众号原文的一款采集器，采集数据更新速度快，操作简单；采采农场是一款采集网页分类页的，无需懂开发，操作简单，但同样无法获取真实网站的网页数据。所以建议你如果只是采集文章的话，用速采网就可以了，采集的速度快。如果你还需要采集带网站链接的文章的话，可以考虑用采采农场，因为采集之后可以导出数据。希望能帮到你。
　　
　　去“采集教程”看看。我就是这么学会的。
　　ez11网站翻译器、优采云采集器、云采集器、c4d采集器这几款都不错，基本符合你的要求。不过要记住，能赚钱的才是好app，应用市场上这几个平台的排名靠前的app功能都差不多，看个人需求选择了。最后，我推荐“采集云”，免费的cms平台，什么博客app都采，你可以去看看。 查看全部

　　最新版:优采云采集器v.4.3官方版
　　在浏览网页的过程中，我们会发现很多有用的资源，但大多只是试用，需要付费。优采云采集器是任何需要从网页获取信息的孩子的必备工具，这个工具可以让你的信息采集变得非常简单。优采云它改变了人们对互联网上数据的传统思维方式，让用户在互联网上抓取数据变得更加简单和容易。
　　软件功能
　　操作简单，图形化操作完全可视化，无需专业的IT人员，任何会用电脑上网的人都能轻松掌握。
　　云采集
　　采集任务自动分配到云端多台服务器同时执行，提高采集效率，在极短的时间内获取上千条信息。
　　拖放采集 过程
　　模拟人类操作思维模式，可以登录、输入数据、点击链接、按钮等，也可以针对不同的情况采取不同的采集流程。
　　图像和文本识别
　　内置可扩展OCR接口，支持解析图片中的文字，可以提取图片上的文字。
　　定时自动采集
　　采集任务自动运行，可以按指定周期自动采集，也支持一分钟实时采集。
　　2分钟快速启动
　　内置从入门到精通的视频教程，2分钟即可上手，此外还有文档、论坛、QQ群等。
　　免费使用
　　
　　它是免费的，免费版没有功能限制，您可以立即试用，立即下载安装。
　　特征
　　简而言之，使用 优采云 可以轻松采集从任何网页中精确获取所需的数据，并生成自定义的常规数据格式。优采云数据采集系统可以做的包括但不限于以下内容：
　　1. 财务数据，如季报、年报、财务报告，包括最新的每日净值自动采集；
　　2、各大新闻门户网站实时监控，自动更新上传最新消息；
　　3. 监控竞争对手的最新信息，包括商品价格和库存；
　　4、监控各大社交网站、博客，自动抓取企业产品相关评论；
　　5、采集最新最全的招聘信息；
　　6、关注各大地产相关网站、采集新房、二手房的最新行情；
　　7、采集主要汽车网站具体新车和二手车信息；
　　8、发现和采集潜在客户信息；
　　9、采集行业网站的产品目录和产品信息；
　　10. 同步各大电商平台商品信息，可在一个平台发布，在其他平台自动更新。
　　指示
　　首先我们新建一个任务--&gt;进入流程设计页面--&gt;在流程中添加循环步骤--&gt;选择循环步骤--&gt;勾选软件右侧的URL列表复选框--&gt;打开 URL 列表文本框 --&gt; 将准备好的 URL 列表填入文本框
　　
　　接下来，将打开网页的步骤拖入循环中--&gt;选择打开网页的步骤--&gt;勾选使用当前循环中的URL作为导航地址--&gt;点击保存。系统会在界面底部的浏览器中打开循环中选择的URL对应的网页。
　　至此，循环打开网页的流程就配置好了。进程运行时，系统会一一打开循环中设置的URL。最后，我们不需要配置 采集 数据步骤，这里就不多说了。从入门到精通可以参考系列一：采集单网页文章。下图是最终和过程
　　以下是该过程的最终运行结果
　　变更日志
　　数据导出功能大幅改进，修复大批量数据无法导出的问题。
　　大批量数据可以导出到多个文件，超过Excel文件上限的数据可以导出。
　　支持覆盖安装，无需卸载旧版本即可直接安装新版本，系统会自动升级安装并保留旧版本数据。
　　优化采集步骤下拉列表切换功能。
　　单机采集意外终止或关闭后不保存数据，改进自动数据恢复功能，增加进度条，界面更友好。
　　电脑正式版
　　安卓官方手机版
　　IOS官方手机版
　　最新版:悟空自媒体伪原创工具 V1.0 绿色版最新无限制破解版测试可用[应用软件]
　　本软件由启道奇为您精心采集，转载自网络。收录软件为正式版，软件著作权归软件作者所有。以下是其具体内容：
　　Wukong自媒体伪原创工具是专门为自媒体打造的一款非常好用的伪原创软件，可以说是最全面最强大的自媒体辅助工具，支持高强度同义词替换功能，可以对你的自媒体文章进行伪原创，提升文章的排名！
　　
　　【指示】
　　将需要文章伪原创的内容复制粘贴后，点击生成伪原创，可实现原创提升50%以上
　　【下载链接】
　　
　　悟空自媒体伪原创工具V1.0 绿色版
　　以上就是《悟空自媒体伪原创工具V1.0绿色版最新无限破解版测试可用[应用软件]》的内容，如果对以上软件感兴趣，可以看看在七道奇为您推荐以下软件：
　　悟空自媒体伪原创工具V1.0 绿色版最新无限破解版测试可用 查看全部

　　完全免费:网站采集器-免费任意网页数据采集器
　　网站采集器，任意网页数据均可抓取，所见即所得的操作方法，只需点击几下鼠标即可轻松获取。一段时间后，需要打开网站查看和复制更改的数据。你只需要为这些事情制定一个计划的任务计划。100个人使用100种采集需求，即使对于采集的同一个网站，可视化的业务流程设计让用户快速实现这些采集需求的设计。
　　全网关键词文章采集优点：输入关键词到采集文章，可以创建多个采集任务同时（一个任务可以支持上传1000个关键词，软件还自带关键词挖矿功能）输入关键词，然后采集文章。关键词采集 中的 文章 与我的 网站 主题和写作主题 100% 相关，所以我找不到任何 文章 想法。麻烦。
　　任意网站采集特点：无限网页，无限内容，支持多种扩展，选什么，怎么选，全看你自己！通过三个简单的步骤轻松实现 采集 网络数据。任意文件格式导出，无论是文字、链接、图片、视频、音频、Html源代码等均可导出，还支持自动发布到各大cms网站！
　　任意网站采集全网优势：再也不用担心没有数据库，告别网站建设时找不到内容，找不到文章 在 SEO 优化期间，自媒体 不假思索地发布。
　　24小时监控采集特点：可定时自动对目标网站执行采集，频率可选择10分钟、20分钟，监控可可根据用户需求定制。采集。
　　24小时监控优势：所谓“不监控，不操作”，实时获取采集监控数据，准确监控网络数据信息，及时处理不利或危险信息方式
　　1.使用采集文章优化网站
　　
　　对于一个网站来说，内容很重要，除非你是付费玩家（SEM），否则不做内容也能获得不错的排名。对于我们这些草根站长来说，内容就像是盖楼的基础。在建造摩天大楼之前，必须先打好地基。
　　所以如果要使用采集文章来优化网站，建议大家重点关注网站优化的几个关键点，首先是TDK的写法网站，网站的TDK写法很重要，
　　当百度蜘蛛进入你的网站时，它首先抓取的是网页的TDK。
　　有些朋友可能不知道TDK是什么。主要是网页标题、关键词和描述这三大标签，所以大家在发布时一定要合理设置文章。
　　第二点是网页中的锚文本。由于我们选择采集文章进行优化，每天都会有很多文章发布。这个时候，问题可能就更多了。很多百度蜘蛛都来抢网站的内容。
　　而我们只是想利用好百度蜘蛛会继续深度爬行的特性。通过设置网站文章的内部链接，它会在我们的网站中不断的爬取爬取。，这将帮助我们 网站 提高整体权重。
　　第三点是关于网站的内部评论模块。虽然可以说前期没人会在我们的网站下面评论，但是我们可以自己评论。对于评论模块，百度蜘蛛也会去那里。爬取，那么我们应该如何善用评论呢？
　　您可以使用注释来增加 关键词 的密度。百度还评估了 关键词 页面的密度。我们在站长工具中看到推荐的密度在 2% 到 8% 之间。
　　第四点文章页面内容构建
　　内容页面建设现状不佳：在文章页面内容的创建中，很多站长经常使用的两种方法是采集和伪原创，既是投机取巧又是省时的行为. 但长此以往，无异于饮毒解渴网站。
　　
　　我们创建网站并吸引客户浏览。我们的宗旨是为客户提供能够创造价值的内容。如果存在大量的采集内容，并且所有网站都相同，如果是伪原创特别是软件实现伪原创，由于同义词替换、格式打乱等行为，呈现的内容会产生误导，更何况不值得浏览。
　　文章我们如何构建内容？
　　文章页面内容的构造应该是原创。采集 和 伪原创 不仅伤害了访问者，还伤害了 网站 自己。
　　第五点文章页面内链的多样化
　　内容页面是优化关键词的好方法之一。因为可以添加很多锚文本，所以被很多站长广泛使用，也是做长尾关键词的好方法。这里要提醒各位站长，锚链的关键词应该是自然的、广泛的。并非所有锚链接都可以相同，这很容易导致过度优化。做好长尾关键词的优化工作。
　　第六点文章页面优化要注意广告标题、广告描述和关键词
　　(1) 网站 的大部分流量来自 文章 页面。确保在标题、描述、关键词 中收录 关键词 或用户正在搜索的短语。
　　(2)文章页面优化要注意关键词密度
　　关键词密度是指搜索关键词 出现的频率。举个例子：一篇文章200字的文章，你的关键词中出现的字数除以总字数的20，也就是说关键词的密度&gt; 为 10%。在不影响用户体验的前提下，关键词密度尽量不高。关键词 的密度必须合理。文章页面关键词推荐浓度2-8%更自然。
　　直观:网站快速优化排名软件有哪些（十分实用的15种SEO优化工具）
　　掌握 SEO 优化可能很困难，尤其是当您刚刚开始时。幸运的是，找到最好的 SEO 工具很容易，我们整理了这个列表。找出最好的 SEO 软件是什么以及哪些关键字跟踪工具给 SEO 专家留下深刻印象。您无需尝试所有这些工具，只需找出最适合您业务的工具即可。
　　SEO Word 显示 Web 文本和优化
　　免费开始
　　为什么要使用 SEO 工具？
　　搜索引擎优化工具使您免于繁琐的关键字研究和数据分析。使用这些工具，您可以了解哪些工作有效，以及您的策略的哪些部分可以从一些调整中受益。最好的 SEO 工具还提供有关您如何衡量竞争对手以及最大机会所在的报告。更重要的是，它们允许您按国家、地区或语言衡量搜索性能。
　　好转了。如果您管理多个 网站，SEO 工具可以帮助您即时评估每个 网站 的性能。许多拥有多个网站的企业家最终将大量数据放入电子表格并手动分析。但这很快就会变得势不可挡，并增加了报告不准确的风险。幸运的是，您可以使用 SEO 软件来节省工作时间并通过单击生成准确的报告。
　　最佳搜索引擎优化 (SEO) 工具 1. Ahrefs：SEO 关键词 工具
　　Ahrefs 是最受推荐的在线 SEO 工具之一。在最大的网站爬虫方面仅次于百度。SEO 专家无法获得足够的 Ahrefs 站点审计，因为它是最好的 SEO 分析工具。该工具会突出显示您的 网站 的哪些部分需要改进才能在搜索引擎中获得更好的排名。从竞争对手分析的角度来看，您可以使用 Ahrefs 来识别竞争对手的反向链接，以用作您自己品牌的起点。您还可以使用此 SEO 工具在您的细分市场中查找链接最多的内容，检查并修复 网站 上的损坏链接，并了解性能最佳的页面（这样您就可以了解访问者在哪里吸引了哪些信息）。
　　2. SEMRush：营销搜索引擎优化工具
　　像 SEMRush 这样的营销 SEO 工具往往是 SEO 社区中粉丝的最爱。专家们喜欢他们让您轻松评估您的排名并识别变化和新的排名机会。此 SEO 工具最受欢迎的功能之一是域到域分析，它使您可以轻松地将 网站 与竞争对手进行比较。如果您正在寻找分析报告来帮助您更好地了解您的网站搜索数据、流量，甚至您的竞争对手，您将能够比较关键字和域。On-Page SEO Checker 工具可让您轻松监控您的排名并找到一些关于如何提高 网站 性能的建议。
　　3. KWFinder：SEO关键词工具
　　像 KWFinder 这样的 SEO 关键词工具可以帮助您找到竞争较少的长尾关键词。专家使用此 SEO 工具来查找最佳关键字并运行关于反向链接和 SERP（搜索引擎结果页面）的分析报告。他们的排名跟踪工具可帮助您轻松确定排名，同时根据一个关键指标跟踪您的改进。另外，如果这还不够，您将获得大量新的关键字提示来帮助您网站排名更高。
　　4. Moz Pro：搜索引擎优化软件
　　
　　SEO 软件 Moz Pro 不断涌现，成为专家实际使用的最佳 SEO 工具之一。虽然 Google 会定期更改其算法，但一些专家对 Moz 如何始终保持最新状态赞不绝口。其他人则称赞 Moz 的聊天门户总能对提出的每一个问题提供有见地的答案。无论您是在寻找关键字推荐还是 网站 爬行，Moz 都是提供全方位服务的强大工具。您可以了解更多关于 网站 的性能以及如何改进它的信息。他们还有一个免费的 MozBar 工具栏，您可以下载该工具栏以在浏览任何页面时查看您的 网站 指标。如果您想了解更多关于 SEO 的信息，您还应该考虑查看他们的年度会议 MozCon。
　　5. Ubersuggest：关键字跟踪工具
　　由 Neil Patel 开发的 Ubersuggest 是一款免费的关键字查找工具，可通过显示排名靠前的 SERP 来帮助您识别关键字及其背后的搜索意图。这个免费的优秀关键字工具提供了数百条建议。Ubersuggest 报告中收录的指标包括关键字数量、竞争、每次点击成本和季节性趋势。非常适合自然搜索引擎优化和付费 PPC，该工具可以帮助您确定关键字是否值得定位以及它的竞争力。
　　6.回答公众：免费的SEO工具
　　像 Answer The Public 这样的免费 SEO 工具可以让您轻松找到要为您的博客撰写的主题。我过去曾使用此工具围绕特定关键字创建内容，以提高在线排名。假设您在“健身”领域。您可以使用这款免费的 SEO 工具围绕健身、瑜伽、跑步、Crossfit、锻炼等关键字创建内容，并涵盖整个范围。它非常适合寻找特色片段机会。假设您聘请了一名自由职业者为您创建内容，您需要做的就是下载此列表并将其发送给他们。只需五分钟，使其成为提出新的 网站 SEO 问题的最有效方式之一。
　　7. SpyFu：免费的 SEO 工具
　　虽然 SpyFu 有一个令人惊叹的高级版本，但我们的许多专家都对其免费功能赞不绝口。如果您刚刚开始，您可以在开始取得成功时轻松使用付费功能。您可以轻松查看每个月某个关键字的搜索次数，并轻松确定该关键字排名的难度。您还可以对竞争对手进行一些研究，以确定他们使用的关键字。此外，您可以搜索竞争对手或您自己的 网站 并轻松查看他们拥有多少自然关键字、他们每月获得多少点击、他们的付费和自然竞争对手是谁，以及他们使用 Google Ads 运行广告系列和更多的。它是市场上最详细的 SEO 分析工具之一。
　　8. Woorank：SEO排名工具
　　作为顶级 SEO 分析工具，Woorank 提供免费和付费选项来跟踪和报告您的营销数据。您可以插入您的竞争对手以发现他们的目标关键字，这样您就可以与他们的重叠。尝试了解关键字如何随着时间的推移以最佳方式优化用户和搜索引擎。最重要的是，从技术和内容的角度了解您的 网站 缺少什么。Woorank 可以帮助您识别重复的内容、停机时间和安全问题，并提供有关如何修复它们的指导。
　　9. Majestic：营销 SEO 工具
　　据专家介绍，Majestic 是最好的营销 SEO 工具之一。它有无数有用的功能，例如The Majestic Million，它可以让您查看前百万的排名网站。你的 网站 成功了吗？网站 浏览器功能可让您轻松查看您的 网站 概览以及您拥有的反向链接数量。它还可以用作 SEO 关键字工具，以找到最佳的目标关键字，以及比较和跟踪您的网站排名的能力。
　　10. SEOQuake：免费的 SEO 工具
　　SEOQuake 被认为是最好的免费 SEO 工具之一。此 Chrome 扩展程序充当 SEO 检查器工具，执行页面站点审核，评估您的内部和外部链接，以及 网站 比较以确定您与竞争对手的表现。此 SEO 分析工具的其他功能包括关键字分析（例如关键字密度）、易于阅读的 SEO 仪表板和导出功能，可让您轻松下载数据并将数据发送给团队中的关键人员。
　　
　　11. Siteliner：SEO分析工具
　　Siteliner 是一种 SEO 检查工具，可帮助您在 网站 上查找重复内容。什么是重复内容？与其他 网站 的内容相同。Google 将使用它来惩罚 网站。使用此类 SEO 工具，您将能够扫描整个 网站 中的重复内容、损坏的链接、平均页面大小和速度、每页的内部链接数量等等。它还会将您的 网站 与使用此工具检查的 网站 的平均值进行比较，以帮助您更好地了解您的立场。
　　12. Fat Rank：搜索引擎优化工具
　　Fat Rank 等 SEO Chrome 扩展程序可让您轻松分析 网站 的性能。这个 SEO 关键字工具可以让您了解关键字的排名。您可以将关键字添加到搜索中，以找出您正在优化的每个关键字的每页排名。如果您没有在前 100 个结果中排名，它会告诉您您没有为该关键字排名。此信息使您可以针对此关键字更好地优化 网站，以便您可以根据需要进行调整。
　　13. 关键词无处不在：SEO关键词工具
　　Keywords Everywhere 是另一个很棒的 SEO Chrome 扩展程序，它汇总了来自各种 SEO 工具（如 Google Analytics、Search Console、Google Trends 等）的数据，以帮助您找到要排名的最佳关键字。像这样的免费 SEO 工具简化了为您的 网站 确定最佳关键字的过程。所以与其一天浏览几个网站s，使用这个工具可以节省很多时间。
　　14. Screaming Frog：在线搜索引擎优化工具
　　里比特，里比特。Screaming Frog 被专家认为是最好的在线 SEO 工具之一。他们喜欢使用此工具以超快的速度分析您的 网站 以执行现场审核，从而节省了多少时间。事实上，我们采访的每个人都表示，Screaming Frog 可以比大多数在线 SEO 工具更快地为您提供洞察力。该工具还会通知您重复的内容、要修复的错误、错误的重定向以及链接构建中需要改进的地方。他们的 SEO Spider 工具被顶级 SEO 专家认为是最佳功能。
　　15. Serpstat：多合一的 SEO 平台
　　Serpstat 是一个针对 SEO、PPC 和内容营销目标的增长黑客平台。如果您正在寻找一种经济实惠的一体化工具来解决 SEO 任务、分析竞争对手和管理您的团队，那么 Serpstat 是一个不错的选择。许多专家现在转向该工具，因为它采集了全球所有 Google 地区的关键字和竞争对手分析数据。此外，Serpstat 以其出色的功能而闻名。最受欢迎的是缺少关键字功能，它可以识别您的竞争对手在前 10 个搜索结果中排名的关键字，而您没有。
　　综上所述
　　此列表中最好的 SEO 工具是黄金。它们为您提供了需要很长时间才能产生的洞察力。也就是说，你必须付出努力才能得到你想要的结果。这意味着制作 SEO 优化的内容，重写所有产品描述，并利用您从这些 SEO 工具中学到的东西并对其进行调整。查看此 SEO 清单以确保您已涵盖所有基础知识。如果您预算有限，这些工具中的大多数都具有您可以使用的免费功能或试用版。新站长，快来试试吧。发现您需要改进哪些内容才能在 SERP 中排名更高。并且正如该工具所暗示的那样快速增长。你的成功在你的手中，快点！ 查看全部

　　解决方案:采集器数据导出方法
　　在之前的文章中，我提到过优采云采集器数据导出成table格式是收费的，其实采集器是以sqlite数据库格式保存的采集器@ 采集数据。当然，我们可以通过复制来复制数据，但是当有几万条数据时，我们只能将其导出。
　　首先要做的是下载一个Sqlite数据库操作软件。在这种数据库网络上有很多搜索。运行规则时，会出现一个任务 ID。我们会通过任务ID找到数据库文件。比如一个任务的ID是1611
　　
　　在优采云采集器的Data文件下找到1611，那么最后一个db3文件就是存放数据的地方。
　　我这里推荐一个免费的软件叫DB.Browser.for.SQLite，中文界面用起来很方便。
　　file-export-csv，我们可以导出我们很熟悉的表格格式，如果有坐标的话，可以直接在arcgis中使用。
　　
　　采集器使用起来很方便，而且免费，虽然有更简单的web采集工具，但是要么收费，要么数量有限。但是还是有很多人觉得太麻烦，想直接求数据而不是方法。其实，当我们掌握了获取数据的方法，就不怕没有数据了。
　　但是采集器我也不好用。比如我需要自己判断页数，而不是通过设置自动判断页数。当数据为采集 时，Xpath 和 json 仍然不会被设置。常规和其他提取方法。希望有大神可以和我交流使用经验，希望能有更多的进步。
　　完整解决方案:教程：黑科技之云蛛系统大数据解决方案-数据采集/传输/处理/展现全套流程
　　黑科技云蜘蛛系统一经问世，便赢得了一片掌声。虽然主要关注的是数据可视化，但很多用户都在问你是否会生产大数据处理产品，就像很多用户眼中的黑科技——感知数据。如果你出来，就可以解决我们整个数据流程的问题。
　　大数据处理，云蜘蛛系统肯定是必须的，但具体的开发日期还没有敲定。但鉴于用户的强烈需求，蜘蛛网时代最终将大数据处理工具的开发提上了日程，并将其命名为DataCenter。为什么叫数据中心？这意味着云蜘蛛系统可以为您处理数据中心中的所有处理。
　　
　　DataCenter+AutoBI+DataView，你的整个数据分析系统就可以搭建完成，而且非常简单。DataCenter为你做数据采集、传输、处理工作，AutoBI为你做数据报表工作，DataView为你做大屏显示工作。合作不是很好吗？
　　DataCenter使用自己的agent采集相关数据，然后返回Kafka集群进行数据清洗处理。Kafka集群作为高可靠传输，还需要进行高性能算法的去重计算，然后数据通过转换层进入。在数据仓库或者hadoop集群中，这是整个ETL过程，也是天鹿系统的工作。之后就是调度-北斗系统的工作了。它将根据依赖关系计算数据指标。如果没有完成当日指数的计算，则不能完成月指数的计算。如果指标计算错误，手动触发任务计算，是否会触发下游任务一起计算…… 整个核心将体现在调度-北斗系统中。尽我所能。HDFS数据通过调度计算吐入Hbase，数据仓库通过ODS层计算进入表现层，分布式查询ES……这些都是市面上最好的技术，或者说你能想到的查询方式，DataCenter都能搞定为你。
　　
　　之后就是DataView和AutoBI大显身手的时候了。这两条产品线既可以支持传统的关系型数据库，也可以不支持sql数据库，比如redis、mongodb等，包括ES、rest等服务接口。因为是定制模型，只要现有技术可以实现，这两条产品线都会为你实现，你不需要为了适配这两条产品线而传输数据，所有云蜘蛛系统都适配对你来说很好。因为是同族产品，兼容性好！
　　这个怎么样？DataCenter可以说是大数据处理行业的一项黑科技。整个过程都是黑盒的。您只需要在网页中配置您的业务，系统的其余部分会自动为您处理。AutoBI和DataView作为它的老大哥，全面贯彻黑科技的概念，无缝集成、完美展示、多维分析……你能想到的所有需求，这两个帮你呈现。这就是黑科技-云蜘蛛系统，为您提供一整套大数据解决方案！ 查看全部

　　最新版本:免费网页采集器：采集富文本文件至wordpress服务器
　　免费网页采集器：采集富文本文件至wordpress服务器，方便后续的数据分析网站对html元素自动标记与拆分，再用html5实现动态语言，转换成富文本输出网站制作，对接微信公众号和微信小程序语言编辑器：百度百科，阿里妈妈等对接服务器php开发的后台：wordpress,phpwind,zencart等其他语言实现的后台（php前端表单支持wordpress方便输入）模板采集器：免费采集模板当然，以上的内容都是免费的，注册账号后即可使用。
　　
　　对于网站无论是静态网站（如：博客、论坛、专栏等网站）还是动态网站都有很好的支持。如果你需要专业的高级采集，请联系我微信。
　　采集器推荐，
　　
　　你要的图片都在后台的资源库里都有，保存好了直接导入wordpress就行了。wordpress自带这么多种语言的组件，随便选，html5,php，
　　初学者可以先从html5编程开始学起！html5属于跨平台语言，可运行在各个浏览器！大致流程如下：-浏览器-pc端-浏览器-移动端-移动端-浏览器-移动端资源库-资源库-资源库-这样一来，学完一门就学另一门，
　　学习html5，用html5实现一个小程序。 查看全部

　　解决方案:优采云采集器 for Mac
　　优采云采集器Mac版是专为mac用户提供的专业实用的网页资料采集器。优采云采集器无需开发，任何人都可以使用，数据可以导出到本地文件，发布到网站和数据库等，有需要就试试吧！
　　软件介绍
　　优采云采集器是免费网页数据采集，具有可视点击、一键式采集网页数据功能，是免费网页数据，不需要开发中，任何人都可以获取网络数据采集器。优采云采集器导出数据无限制，可以导出数据到本地文件，发布到网站和数据库等。非常方便，需要的朋友赶紧下载吧。
　　软件功能
　　视觉点击，一键采集网页数据
　　拖拽操作全过程，无需开发任何懂技术的人都可以使用的网页数据采集器
　　采集 和导出都是免费、无限制且安全使用
　　所有免费的采集软件，导出数据无限数据可以导出到本地文件，发布到网站和数据库等。
　　可后台运行，速度实时显示
　　该软件可以切换到在后台运行，而不会干扰您的其他前台工作。悬浮窗可以实时查看采集速度和采集数据。
　　所有平台，Win/Mac/Linux都可用
　　与其他采集器不同的是，优采云支持所有操作系统版本更新和功能升级以同步所有平台。
　　优采云采集器使用步骤
　　如何采集58二手房挂牌信息资料
　　第 1 步：创建一个 采集 任务
　　1）打开优采云采集器，进入主界面，点击创建任务按钮，创建“向导采集任务”
　　2）输入58二手房的网址网站，包括三种方式
　　1、手动输入：直接在输入框中输入网址。当多个 URL 需要用换行符分隔时
　　2.点击从文件读取方法：用户选择一个存储URL的文件。文件中可以有多个 URL 地址，地址之间需要用换行符分隔。
　　
　　3.批量添加方式：通过添加和调整地址参数生成多个常规地址
　　第 2 步：自定义 采集 流程
　　1）点击创建自动打开第一个网址并进入向导设置，点击下一步进入列表页面
　　2）在列表block中选择你想要的元素采集所在的block，然后在block中点击你想要提取的元素
　　3）单击列表中的另一个块，可以自动选择整个列表，单击下一步
　　4）选择下一页按钮，选择选项选择下一页，然后在页面中点击下一页按钮填充第一个输入框，第二个数据框可以调整下一页按钮被点击的次数在任务运行期间。理论上，次数越多，采集 得到的数据结果就越多。点击下一步
　　5) 在焦点框中单击选择要成为采集的字段。采集 的结果将显示在下方。可以为每个字段的结果设置提取方法。双击要编辑的字段。点击下一步。
　　6) 选择是否进入详情页面。进入详情页面需要点击焦点框。您可以单击该元素进入详细信息页面。输入框会得到元素的xpath，点击下一步。
　　7）在详情页，可以继续点击添加字段，这里添加二手房价，*房间*浴室*大厅，挂牌面积，层数，小区位置，点击保存或保存并运行
　　第 3 步：数据采集 和导出
　　1) 采集 任务正在运行
　　2）采集完成后选择“导出数据”，将所有数据导出到本地文件
　　
　　3）选择“导出方式”导出采集好的数据，这里可以选择excel作为导出格式
　　4) 采集 数据导出如下图
　　软件功能
　　1.可视化自定义采集流程
　　全程问答引导，可视化操作，自定义采集流程。
　　自动记录和模拟网页动作序列
　　更多采集需求的高级设置
　　2.点击提取网页数据
　　点击鼠标选择要爬取的网页内容，操作简单。
　　可选择提取文本、链接、属性、html 标签等。
　　3. 运行批处理 采集 数据
　　软件根据采集流程和提取规则自动批处理采集
　　快速稳定，实时显示采集速度和进程，可切换软件后台运行，不干扰前台工作。
　　4、采集的数据导出和发布
　　采集的数据自动制表，字段可自由配置。
　　支持数据导出到Excel等本地文件，一键发布到cms网站/database/微信公众号等媒体。
　　展开 +
　　通用解决方案:用 shell 传奇私服脚本做 restful api 接口监控
　　使用shell脚本做restful api接口监控
　　问题陈述
　　由于历史原因，公司有“三无”服务——没有人员、没有运维、没有监控——有能力的部门不想接，有能力的部门不接。不要这样做。于是就这样一直跑，直到前几天，一个依赖这个采集服务的大数据分析服务流量急剧下降的时候，我才发现这个采集服务居然有问题！而且问题不是简单的挂掉，而是采集服务向客户端下发的采集策略中的产品列表是空的！紧急情况下，所有产品开关都被一一打开，算是治标不治本。事后回顾这个问题，从问题发生的那一刻起，对问题的认知，对问题的临时解决，需要的时间太长。在新的采集服务上线之前，需要随时监控旧的采集服务。采集服务的接口状态，一旦出现问题，可以立即处理。
　　解决问题
　　对于后台开发或自动化测试，监控只需几分钟。对于我们的客户端开发，情况就不同了。如果用c/c++写代码，可以实现，但是速度慢，不灵活。，三不值得。所以回到旧的业务并从 shell 脚本开始吧！换句话说，我使用的是 Windows 系统。为了在上面运行shell脚本，我提前安装了一个msys2系统——git bash。本段涉及到很多文章，不再赘述，只是为了我的开发环境做一个简单的说明。
　　有了环境，我就整理一下思路。我要做的是：访问后台restful api" title="restful api"&gt;restful api接口，从返回结果中获取打开的商品数量，如果数量小于某个值，发送报警邮件交给相关人员并记录日志，每小时检查一次。
　　检查接口返回的内容
　　访问restful api一般是通过http协议。这里我们选择curl作为拉取工具，编写脚本如下：
　　curl -s "http://***.******.***/v3/server_status?type=100&data_version=2.4"
　　出于安全原因，我将域名替换为星号。下面两个url参数分别是请求的类型（100表示​​获取产品列表）和当前协议版本号（2.4）。如果一切正常，你会得到这里的一堆数据：
　　{"message":"MjllcG+T6g4UJWklDvBu3wq5D8ClRoHuUFFlepFL9xnoEdCHU1J8VLnN4GvaMv4FcareEbznrpp60fyXkr1MSFrSz6P3eUCPFUorS2w0NfhfHKfdXz1lzhV29LTFOc9rYNxOLO2RAswyrN6CmAYsVMBoNrPIq3uA50ymLbJFhsnWqOpIBofhdEnDzkS0T+BBX112Nbw46prknIqY0UJW60aMnLuPVmjJKEAxWCgfCLrWDp0ts4uaTbvV8nvi7U+bS9Oqxz1fNC40SfNcc2bLILZ8ZZ4givi2SwfHPs0mN6fF/ewACKzykjuIf6+xVfTnQBFZGiNLunKSz0fiNJXj226CMTVx2KNMG+lHJgYqHpXxLiMcvbj/herzN0gINGEUExZ5GDNBYFph1MD2q6jUqtWwFGlSVRqi4Mz0FyCx6ADRB9SrZjopEYmFFtqkc6QvxQeC+xgNmGu91vkW9o7rADkblQPetNjouJ2WfBH1WXB9Rm7mbIo5YKVrIABXo9YLkdELnZsaNlx/KOg0cazqwMyemlwI7+PexaB6gZQqYqL6Awx3+KptARPNib0mFeetMqPiJkl+S1gNaiQ7I74YK7vzFDVDQjLCupTYoILlIewMHGqLmvnOnWNpI4ZKVVOPSUZpa73hzJfGuMN9jCuybOeTxR2JD1HX2+teA6Lr8mYGu9KW70guKtRvvP0VM2/DmGb9K57jWzJjaSngsffo4yY/gM0wqg6HE3QczHXdhdiOpT3jfghfV0DG6dkcxL8lADjBR1W9pGAHObKcY7iIBiIH5Jcm/oK9nFFCsG3+QAzrJv+NyPtyCBJ/R9c5r3ihGK3+wDqudExy2JjmGC7FZdWqSSIcp2OXrQOBAC9+7BZW/qbJZpD6pcHOfFTRoYYxAVhkhxkHxca/OhSntxA158mN55RMl8rb1o0kJzli7Cty0HZiXbEqLKL5mH5vJDW2dGDPr7JtnolpP2MUDWJdBjH4WiIeqxB3bplEecvVWPtgDbq/8r0XamToOzRnn9X7gmdcWpjoP6oeLYFw1v7PgvcBr2SCxwif1zLBiXDEizDJ7V2kK1zs0DpiDVrota318624zkVosxHEvaidtJhthlGu+qBTWVY2fwbYncatlZ/5WbHpowzHreE1C3bFn94G4xjYZlCpQqoFgQI/EoU/Ml2uXRISj53a7NVp1OMzZu6gkSJ8AQH44OxJAo3+tYlu6tdYOie2LNnIpSyfrHmxv7MliulK85kSRyA+/IrKMSz91yC7zrIzPPSYwWXu+pX9eiWRFuMxezFmYkZwqCVvea6yVvpNBOI5BQPtVQyzjdd9b0iCUtujNBJY4TH+Pxw9O7chyc4lmoL3H0DH+ofwkJ9xtK6YR/ygDH3CwURq4TS6SVIm8L/NOpF9lHbMU/TWdeMGYXrAMgZzgAQwMF2s4Cs51FNrmKsx3zUBQva9JpJue42G/Imj3tdReI0CGlmAxV72q1h+t1KiW0nNSre5J0ZTkXEGO6Usx781k1X1p8MmzW1Qyj4hLJpevr7s7ahLpwlfeblCA4mhC1UGe9xKSpEhvINgOVXCdX8qfNv+iwojVl8pwRfnLo4IIH0LuZRFw3Rn3UVJKGHLdyRHcf4zOQz8y4Rwe5EsC9aMWWImQD2Wx9XVKZP6kZs4WcQHlkodg9AXP0yAqmurPBmDa/nEH3/VkYfohqU2xOniUXhtcupA/eUMEcdxvB2dhNeuGZ6OWXTtW9NWF1DA30u1o/GzYSdMbAqXfeCX6E4T82xl6mc9let84abAT1YFvOcnFcC92bT4XFxnbZut6DYs4F6fdznrdR3j33ua+V8Rbrk+Fm6xJWLJEbsUAQA9EO5ebfD1UG5zHbbEMTgNl9auwgRG+znBBSmdFH7XAdogJbDEtiRQG1uBM6d2DQDfW2dXoHfHTYMZB+cxtwEEZxo3iqNGoRMknpr/EcWuqJN4slzYT0ckd2VYNJaVmwU1ukEGmgk0dY0hmUmR+K2NG6ETMbZYQCSAoGvXgRjrjbXZkFz0SzA5aNKBnlmchWnpMZAKhn2DPkedloW+oNN4AAs/S0lg4I1BbJ27jMc7As+fGxbprstsHnCesLvSt+yewg7eWdEb2FAEPiVuwGd91xeZAjqCgcfgruxQ8gBPcnA3wISUipd6IITHF/4pWDh4bCbfm/plJex4sLff4rlvDpu01e/hLsfiDKJ4CHXeZXU8+3iRdG+BEIeSV9X9RmXW70M4lrIsdWCRYUOPuZ4swnVCsgLnnJVt14drWwF9gE/dAwUbsiCypLCqNjNf314Qkn3B9sXOF4s/HjifLLC2I6StX411g9uC0rIjMw2iJeDH6NmROm/dRVMkzkhzlVrEM4d9nSwBFZpMq4kTxMHgLJmUPQG8Qu40Rd/qQ46d7JLyBZsVH3+E5B/Dv9X5KyIWKP59XAc9uPtfiLK+HWnG5clChWjG1uAGrYGGeP1J8iCtaw03GPieKFYEox9vKICjs+x/FfWeLjrB66TwvMYlsEl/2t2OomJ7qnQXY2bQPlCYeuCgZf7Amvc3CKgKrSkQCMMO4uIBmHdyJeYctUV4VlkVE1BFN6MRyIIwXmQy7xdQb5yBFNl5FO1td1zn8Cm+Kkklpjpwtg6G6QGGqX0jQvEmL0dxUMzHgkumxAgSIm7iB6ndD65Z13NKOIplb7Nn8kYX4b43t1lkkDOtcpGcx8LkZZU1sf+C+/bWQKuyL1LC5Wg4rIjy0UA78fq1gG6KAGCXP8AGEL5l6rHg9La+NVI/LzdQwlEjAhQ7DBIClwrk943H1vapdEpMktGUHLZahoEL7CKSbe3vO5l62rVujsi5W9rmH3/DtS90dErXhrIidjyrGm+u5JdcIpbaP+qKwzgd/XEkU5YxqbJ2RgzuXRQpxtAVfptlU8PYj0FH0Fzs67dE0uestXcVTudThTxZ0NbxJ45u3KX9WqoAOf6UyO0XpwJAuPbiH3d+gISYznEXlzsf6kZ4fc6z6eUX+F2UPIQ/JaoK0VpTlV35VbjSOsSSQ7Dcb4VzO8WlMiAV4B0oVaJuAnie/R2InbMkaoxthhnooPue5TliJdPAcDP6aeTOlvhcvhY/0bPT32kECIZPJrO3S+9snwqR2Qw0LuYuJwibjw3HdMqG6t4Wt+qiDbRj8sWMXXk8uPDthXUDqCwMETwBNQEQAf2gue72gFGho9qPyBm3PirjiUHjSEImQTWCzcMGQZE+lIVP/2cQExe4+hdMcjPTnUu8Xx4tqKIjgliPJyLx/NouFB5JXniHCI281e0IDxRM4gGsuGGe4z1I0bGU3UAhd2xA4akw7PnayAZ+jSm5xSy/bjtgoGuxegD4B8SoQzPYTsp6Bz3y6g7jPEWpvKqM12HJru7RsCVBPtO2SQ8nIjmdDuRo/Q6mzNHOiTnBUzfGNYK0AJPaJ4M5sHdaFcYjSRVgSFfzs9Fnz5pA1Nt7vLNCe3GSacXqdd6+VqrTb81Slfkac0OwNeCrNwiJUIo0UW2kTGU2tz9AXp7h2s31eBxrPNB0/jKE7TmnRRgOUBeB0GeglV9sJVZJqR8Zwgj8noJH7RFN3rzvtFfMElJGyAEKb7ip2egCCrs3745jrwdMt9wTQP+XXqegmlXqJEi9bcJaSXpHmy76cOpabK9L/WZfOKncFo0TNq4Gxdx/nYP9j1SW7NHHvjuZ16/YWcJLDh0raK8Qfa0TPOnmXSyppDzE0GmzIjdJC1UntefS0zy7aYfhJ2EDukWq1QdEN/nEdZzGt8LrNQ6XhzpyuOdaKq1HN/JgddEjROJrviglXUdL6LO/x8ioiH7+oFv6hw39puL/9OUzMOe6jFR7baPLcaFHlnyy2S3xc1DTGZGsNczNkSRId69uOvKTMwPlYEiL38JyIeBG4csKHP3/fjmbaZes4skqbccB0q+KBO/i0/7ZzhE5eZc/BLu0bfr1qAsAC0lYR2+rxZF86tAu6wcpGtMtsK/QHYgtB7e1DJEsqx7R1ZpIdbAVS/FI1BELn84n78NGzLEkulAWqUGTMqd1bqEk2YtqEpP2bLZmGBZQpcGFGBvu1TVaPzYbCNEA57YWK0BSOvUWy9H5+s8b4XcNfVFf6nBPpAycwJDy93MEK1BGc3gnQFb4m8ptnRr7qjgsCE22yOcKdYeri2ZzDlDLs35bVc/aAF2ZI5iZV9XLASgEsqerRJwAuzKdU0VMUm9tNO7MQwCPL0Gln1Mh4gqqzv4BTctWPVw7vnvioLLw5E2NmuFNl/CiwiQIWTIaHyvSCQyf/7wUxKlQi/YF4LhFZfkKZUqkXmqPQQFKZU5oW8Og6bkFx479G/XWPbZSoGE2LVza/RyfMTPYyHi1guQz/t8f+8r92GWTBEM1dlWpMRkqZ5PqKomfexnsoQaLx05DnYGoAj3b9y5bzJEglH5e2+31cjoM4t3aTMpMu3azdQTcq/zluSkLIyxZ8A8GEx6ns3zpbssISD3PPs4OVWRfCSums7miktgTw3iulexCvYxg10MermiwxGRjuU2ajcq4ph1KGPcWj/XAZFNHdnzwAtPxJnRyIJE3W0r4ZNoCXYbrlBdzsZRic9SBJouEOf3P+9TzlltBACAH6yVfRrwflZPGLqT3ISZG5rXg8s/F5aFN24xHU3VKC+py1OqXYgkWfbsAFakHWw+XHIIJwGjpnqL/OIxYF2ibXWDAXFKwQXqssJ7OGDXTLVnV+Txhpj1LQKtCGjx+w44y+ovBhhD15/xuA/zZ/Xfp8K+O0ziMqx+yPkR762B7HjX8G1k9oJaVxkSffiBtqnHCGDeX6V0D/10A40d8gnfnBQbOIlAEWs05QtqrjmMXRoxUOGQbCtRwr84dEKfe6fw4P3CtDL+tT6Q9pyANL/92+WxVXC2v3ng88BgOf+XihZGq0Bjn/Fi78GsIZ4kCkrKDsmZo6pV8vWmytLjvw1jsGqej+QgFLFKPcZjp859+j/iRnTVHjcSp29koDjX6tSpFPU+rFHSeNb6WvKmjFtwjdPkcHMzE4dY86UcpdlqrgRVZbOzthnDAeXAB+qOgvvjKYYasnVDjvdpoqC8Zf3ekX27T/AaH8s2fmnPCsXjr+sOlr7Rn6zCtvzCfp4iIl1EN8XTTmlgIzQprcRFSEbp210k3GNkoDVSgVRHxFrdxnq5dAGwbJbtGuoFmenIf5LlCiByDkjEN982/V59cxpO8V5N2xiOZP7enKSbNrzEd6OvAsuMs1gaJbJB42r22udwFZl/4R0cC5bpYlPiNuDsMwzaxCvBXMRbGv6h+25FooEGfgHKmO+Kb78zBR9aN5D9p1nJdMhqKkMf2EtqJvwBYOEKWbUBj/AE5054/lN9WqCxnszrVaOv50tF+bcRfwI9+LbVvxZFNsOwe0o5eGXB2LWJ+mX3qo3nGnsGnBKY4VZ+kAA/+DTyWIZuSfA5utZ7sQUEODYagwBPbaXsJr3EVVhGYgk5GQod7Bqz3GYM8aBC9kM/WN/jtDu6rzjDMvws7hJ2ZQhmTXHksNCOakhjejUfioj3I8w1I/rZfvILDujxUSv3neSUE0mZzaduup0SWeRUP49etR7WwwOEl32Qa06StGrv4rPkA20u0fgwcLmdT+0JsI6RPypAjP1ubuzpiaMKGfXKosqJR5TC1Xua8CX+su6wkl2eltKpO2VyJffNoJ8ZQsoiJ5Ab4NUa+oiD7MFwh/lLldyo6LeKLbOJ02mmvNo1Z7z5w+tAH7NJjDa1wLtw25oNl4gdlD2ZEnY6U35PLko1WQsCQ5ylitH6yNPuRG2RXmbsh/lnA8fB9aoXFbnuyMYsxdCTQoLKagGzIkW4kVUloiE0JFmcW0sC5OOT4n2m6vivuMUJCcvuJFdFl3Jt5Ku1+gRlzXuW5u0ZVFSodMaLkajDnrh8DXZbGs5ObzxwxEbl6DJ5LYwsYdt4+eq0yOSQ0dAzocECe5CLyB0tpRIjAYUJ/vV3wk5IEtEHfS+sQemlQ2m91Ey2VmFdwPhlgRVhFLJ0OaYmdtPOzfYV512oKhjq1PWtRdru6N0kbWrmdbUkEHcBVI8caiWOl8sKG6MY5F+re/wkTOxQPXyZin31PwF5ccqcir+4ESJay35TeKELT4LwZR5aUFpz2Jqj/HkHeGZmU1T2C9zL0DUa95lEMvMDrdal6JZXh7Vff75TuwOEhlr/j1qg3Ma7d3VWZSatsT0/sJbeMypWTRXoah1EkvviG6HzPG7MiWpLivm8mp2kTxvc9IV+B26jVm+Cir/AU69DDlrr0sJA0PnpsumWlJU8toZY5nNtlmOetQOvwAaqwewQN0xlNdsAKUOtNnmzdgshQY3862HjU1Yla2MnkACjxh2Gr4BAG2TJzbkRePe1/3cyWLAtm24WK85rWFVJKA+o/XY9yC+y/46u35NlXUpC0+q3Mg94txC+cWCeOXCC1GrepQL64A7JUE/YlKOKrxGCPaAaG5yXB1o7rbY56MCHTcFwZQWMwTxQG6bhIlmRz5c/WfO/7jeUXkl6GHd/hIoz9MOsD7GLjpPBFsqGjtbgeirg9B3umUT8CxG6p5Qp/2z6HZVrD4przwA5tG77RgACgWOYtAxwnHA49kEbFQdwnrbi+dawPZfawhJg2wW6QvjEmJe+W1zsqiTC3BUyd9YM+/XcygZlZgxjIQfKuhlzHc3SNv+W4NRCAjAs1n+zNGjTKTSc/6tB/eAYAxPnZLOnYTsvjC+Zn3Aa62HZcCnwSCbYGNEpz7yB3v5v5iGhplaoU3BOzItg7KKI6uheXepUar61GWm9SJLGZ/ur2cPFrlIkSa8MYHpqAuOzKXcT+1R6QtDBayKVTHlVfL3K4t9SM9/4IVcg+IypFhzCa7CK8ugEYsSDLktLtEo65+33V14GLLKZGcy3DvhdiOHGPaeNGy9huAtcfOdFybUbjsGFSbbphdd0/A5YhzuVRigT4jUxgTgdZtlLBbighDBclHMpzB/nBaqwTmGwMgfNNYdwPjc9hkTdjYs5y3ZV3EIKHIxGtDOgG096LvEQKknw48JEyFWySD/wHoe//ewl4PN+zXXSqw78HiQvK2/AWUBE4jq8ACdC1qHIO51c3hKNZXvpDhuzwhTs+kjAUPvMeyKvyGv8sJZivW2j3GvVkDYrQxM6DgupTK09Yn7E5/XUNa4Wt9nw0mX1xVOryNXUeU7xa/vh7LISW/62s96ds8T0lIyK2c6weLTnz/zDHC+lHJlxRQmL024jAyrPQA7Lx4hhUckPbN6E5pOsUVVu3yDtP/+Wm/r2IYohAd1nYO3LKN4bmlg0gjeoZd72Xmnyn69EdDpjyjrFoDeFfLs7iq4xSs9xcdCXb1yD+aLAzT8VPVG49s44FwxADJgCI1iK9q2LwaNakXY+THcuL56FmcQobOvxhUeSyGpyu0elA1STXbPJc2flfBKhQkOZVlcXeeS2N4oLkhgq1Z2bVNltUkwT879sSPtUVsNW9/Qwgq+4QytnGTGByYHOnStA/PfAIItu+hqusBh4amVocJfz0tYvKysUyqNwKY+sqhkT6qEbgvT+/qunsOSwy2RkzusOdVYBDrdP0KFDnfaTXhNpss79GdzMZr/aNK+mSeO1FYTITv1dCJNqNN1MEQ//o2t6S3ONkoos6MwMldWF0EqqpEQjES2nT1mq2jYPsp4Mb4kQBeAixQ9Y5lCTnJ6TAyaYObhj/bliEWHjRGxTcEII/ytJIBVVV153ONkCOyGD67XpEIsZiLY2K9zrBtlOLLCCzrxX6CB/KQsdoT57/sVNdrG4gDHqQrDB9+0bm5KCz2KWy5/mb3EVML+NjwBq6eZLM7PJEkWCeUjAH0b+FjUUPWs9PVt4OrB2jgg4EZZliFzjhQw+kmySDhXdj2/FHtWB/YFgPyuQQWSkxX2pPMB1nYIjqT/MsN3cZLyD/5yu/+BjfgbsQVrMRjy4dR1pY7ZjG+qcX498dj32iGVyk8z5B2bsUFUo6Bu71e2SheWw0j3VwVsazVC7UMgzO1QWsQyGlwxR/Bh0Ct3NlQqUyw0JA7Ty0G9xFEXoQMy+vtNR5LRAJALKMjcVuI8bNRLgggdna/SLL2YSnO2mIR58Y4cHYjjrpUlaiLI78bqn2NKvkawl2ok80sIHepCzZykPu6c6lgGam9yq4Xch1OSAT5+o8+nMQV3unjUBTP5Ew7Gy/U1Zuf/47/QfdeCC4lMFXjBlcULK4zoceLWTh1zjZYlByQPq2U7+MU3NnIzEuI6v1hwKcb66qqWYvFEQFW6L+FgaST5aaawH8OVqMxA5pO75Vv96sq54f2KVN5Mh82hzATw4XHJPu49zjx3I+fDBwLFV3zHQJD/qGCcQl/R9HgJR19BGaYQH6minuaK9fXb1apKAxnhZfm9vcIaT22fhh1rAVLHUJKqoKT2dx7rfUrNAYrw8pDgj3JidlXlDFuqmScJHhrYelPIdGWUmjpgqH/UFIBB63hwAKAZBzlYRFXCU661bJVja3QD/XFafwLqTX8BvTRqQNQcmExDEk4wWgBU61v2/dwPpYLoW/qW+kGiG/cmTFbN7hXGWnTp6lOls3O3ggXIGj+1sx2T3Vdptq7SrEGDpstFcSPo7lxMVOuew73s9opZXOu2mtUe7DIcsicvJifsBUAlxDlHdAbO4fTG1kXF0v5ybqrkRaadDBU4F775h+rNPLB+ziL6achTKk3iVsSnWbrZfha2bgWWG2j9YM22vxy6VaiJbL9ZEHHeiv0LmViz7888iNI+LXxSDI4XCmLHmdQNLk/NNpLAiYDzCl9lbxC5iFvABsaZigBuCqfc/EzqLNqSrHL4sugvUmY0rlqs7oh0OQnKiWJdIlDTQpo/cEmc4NA8SkBJ9qLl2poP8EvpOUyHCZUSl0jinzNe+abAiyEzbD75ynac9VJuouk225cozgTsUlklmj/RpKoYxopmLMm+xJfkC2NO4vlQpo42C/KJvMhQK4S32NVngSyhF4rhrkTC28hcBzdQsrsyMQKHygH13YoKRlXZCUoXzuFgMPBmqfWoc138oLYd4DNc9sqZhT8MTdw3OW9WOZNwsxPktVIXxqZdRkmkGXB/Pt/uoXZ2F+OBhxFXyViwrhzqiIKw2KItKpPsdXW4iPuUrMx/a4JjNIKcIGbZx4zkdCJtqCQ6BAD18deDfS0NOnZJZ1mymAvWmDxdwU9zapBcpyVMCm6Ep0I0q+pG+PQo60wz5MC+8IlLY7dHP0uC4rSaXM/WATMGkSjQnnEb9GIdo5UbtdMCutoLF4K7tSIR1OUk4I4PJYn0xpPAbHBzm9gGJ408xN3oe0+DR7Do80H04MA0S9IodQWCAhKFY3MUulg7F3bDdHIUlzYJEDDKW+y6eVjfYRe/6fnT2lneqw57alb9KnlM47OHJr4qnnoE+oMSSSnr94KqRnudcA+Ln9Pj/UTxbFrYQAsEywPaXnEKO9qZSEVc/W81oP+gUgrG5zCWHYoSiZ5rwBlExGpHObXbvaLehuGBFXCe2dl7bk3wnkh2qK+1XHEHKf07midYc88bH4BerV1llc0HNWgvWQd2P/RkQPgePAVZ652p5PinZCk8ubOW1zuVa0t7eRn0w7layAHIf3Xody/g0+e0v7AaQarxZBfdcQmb/aFjGi1KCAOlnKNrWIb5zr3MN5q0L/h9WguM4MeBUZqzfND9BTH26wImlyp2uItCRJWYM7bQm4t4FcKMjkEKvj01wcJMd5bTScj+0BGoRHWUyQxRRlm2cVR2r1/bB3l7Dv+DXkKECARa+RRars9ftPEUkArdjbbWkBQJhCQSdeNR3Ym6mW82QAqBLXEN1FTcEtwMwcfy9Ep+kP6yKYgZI/NK9pW2A838xhe71+3ul6/5xpZ3zMG4gYGJDLYgu54gSFM6bDe7gIs/tWer1o8uGD1q5OpDVZnpxMHsJl88XvPuUSkW3L1YcjxG4YFAYtfYAd1yNhjUDqCeE8xIQXb1QI6KkpHtWOJno5C5kwhdie3BIpE0Tlrq3zbBB9BUTG3mJoBe0Db6Ti+QQpw5h4ospUfIH4R2HHHzi2tvZ3ew6V3xvNUBb/ZYfia1PRumG6EY759IC5Y/PjfB4pbPxgxfLPT2ywe6d/7UXplckeadRxS194/dtP3eUiLgAfS1rHI1H/qdYG+xLHD+nRMB8D7gLWlM8rrcIPBiFFNAcBwZEVRyr25LXrhjI6mxsQSxlHTqnf8iLZId2DUKaBI1G69mrzof3DD92LJKqD297EoYXqoSvt3nElOuzofSPiw7FsOeLGbZzFtAH8xMwZvTyN0NYLHyBMMdmocCwbeltpOhCApl0eNYDOngVAygoojQbS4hDFywmi2+WyfXRh6Vm9p0acjRDY/jOhpsizVff7TuSrDWcMalkXafclL90AWRFU7wmc5Z9R2QIQVgBHAKnr7tQhgwvjPwktzvdV7y6HHDwXFt4iAF2SlywyDKlGSHM2ppr71hxROyHweSJOVLAwKss6NQnZiKXqjDF+NQxdIWfb2qjCVFhrBLtsXld6lolBS8k0dyHQ8zuuF+BmDQHslYtzyZrPzF/zxFsOq0TGWIBXeamUevno59TsuopIcss1IBXFxWXFO2CFCuht5iOtGAGaYL8gFB/YBRCC5yPjmzn9J5m2ZEVXYHt/1Uol0eHsgle/rfede0VCZpmmN0AYLx2zo9676CDmkq6wAlGKD5fz62qbwR6tK1XUAbVrGYhr7SEvsXTEEvsqLERSDgiSj6ExAWdbeAFxrDZN85UXHVWhtcVcBy+qcxPj53F3nXXkRb0QAiGe8HD9uB6JOa3pPsOduI7n8hRkhwxJrUAHFJKk4as8zMjP6Syadp59cnS+uNMh0KdNAbD5LfzzSahOANUtDhYhnWDWkMuZDfxUNMiIWzOet/w92PYBO2GuaKfRnY7yRE9bWea3vh4hHZvnN8unYEzORBnznUGSsvnfneypLEvdD5TZWJdpNv8GJPhngHR+p4euALzbjN3t8fJAYUBt8XIBN4rO0JAXMGyfv9FlD0Cdu6i3qoePgg9J06m74Q5rzul2XmZHoAv+QGrozfqrSK+ooOanVTR35hlO/fgrZ44Sl65Ux0tcveHETgZhzEGJj64bhQYexEdYviFFuNXRUv1et35RniFsToEUOINjRUYJy1aJGhx7T9GtUWMRmVcw1Ma5BKMYJMSIPZhYggn/bR2DbDVMQqwK9E8P+ynhJFosWggfBgoyN9FGk8Z+Q5lYd+C5ME1rE1PyghAjQFDfkhyCA0j5wcpIFt0AiMn808fsKAMXP26ztiSgdlz2HVBrWzkrVKqNgnT4eJika+RxV8pDrmY+VEtccQYonh9RLmE9xi4Ce51++4SgIrF+lhPaU9PNVni2wqGQELVsHQl1PR3vtEz+M4SAlGFPx6qTfNualKef89JrPiOrIpBbYlSA31zuqyiie/0/5wununc475Fn43nVezHNe07HiLEqLwENqJgWSt+EnLLP6XS1Qb7b/iGP98DxbX+FhLy6OOVuiS6wOcBrE3rxn2cXqSgjtPa3fqbZTc9XeXhuK4HoT721qGJxoMwslHEgfNFhHbwsHhwnRIGSH/uMvLSPFAhxYE4qdReITMLN2cNwsC+sP/sgPwPVH7UOqP2bPpFma2+CEMMGlVf8DaHEZEOUph6qkfUGHDXe9OkVmYWAxwcZVMdEfDR7EHIdvSGSy2462sp1Kzhzq4k65DsfvzMD1HxEWauj8BqD9qbbNLSkI48hznylKjdSIQBQvaV0Rg0wKIWvkIH73SYYJm4wR/ISUQ5GXMJLdKxQFGVKe7zPyQ6gb3CcJj0fnMlKJmoVamnk2X9fefpzw0qBfXCSwD3CV3TjbbgjqczmzLwE3v+YXt234uX9hLtIXxn6nMESe3ICBG5FhGH9Dm8iaydk/FJQ/LRJFbnRBao2wqIvPrGh4mzCI6C0yJ17+yuLUjfWlDEmJnIaWmm6AJMf+SPxX/w/CDj4U30kwU+Xw+OEy7X/ibiqJuivT/JgSEt2CKW1DaLUZwzuLwj4oLHrhtX0bW5ur8vk5mby8llz2rkJVng3FhojsD2AECCDbXBnD0sNZAXJSz+fhx/MHLgRJNfX7h7wf1sZcp5BSMUXlN7kcEbrCxqsrshHHNZNsSIJhggbCU4MldbNaKZVRhKAdv/2UE2jEazHPoyIPClO8sNEhryd4ffmay5wI5qsSUcDWL0Sq0BwwdRthSUODmu6GF0XkaKGwSPiTcFmwMeoNB2DVW3NmHkeJFQ0weNCTnRwKYvIUbm4cARywVLUWvXg2adubypykGtyB8pmQUcpHWL5oo0MTg/lkP8svIz4qWOb37Lk+j0e4usLlhICWq22jtSbZbtcC9DxNUSb3qy7Fj/dEiPB2TBXlYwAjpMqpWh9K0kkbBwLkikOiHAKLJYE3I83FQMkc5NtIpCKULeTZksnNM9H4G1rD0pk4o+U5f+B2NJ4A2QhOfJRJtrJkO/2HMcka942YhLHnU5Vz7aY8OjgEac/OzEXpaJOxWlt6VMNjwkpbrOsf4t1Idip0y1OZg4x4DnW3mDASrhXvbFB95bhZSRACYj2nGVBk607xqlYTAZWrkPYUjYdXpYxmrJsLUoAL3VYp1hhVHEqzfb8jdz6i5j+6lYNarBUGPsuSE49h234Toi0pzhnXFiOEiPgP2zr8ct0qAesFktDArffy3bQU2Zogl0m+0/iGhpikSFOXwgWHC0k81qoWpKA0Qej1NsWKJlkqx2JiQXouZa3hE4BqK/QhO2VxYZQDx03PlwJdSLN2KkrhoNBo3XzcwKlhakNvTwcOi5OIZV9rJEGL+fMii6hyG8kxatocnR01H6XvdzcclDQTqNpXURPXJcVxwPh68IPK28qtmolUfwcVEdTzr7uljJSEXQ7UWqV+tCFEOcryNYHpO3gQ79IZ/2WmtnXaLS2pPXHdgMI07bUfXN3TLitkVarvewULFYqoIGdspdP4F5hkG1ROzictHaK0EK1JlWiFMlFxXJa10lwy3TMd/VUzFTOaaPDvXCcCf7Sj1rl09ks0OA0WnLSAn2kDTy/TcaH6Ohp72HCCYIOYJNkP2MXbDGZ5sVkuAgDdomSQJNe+6dBxoVvWwzmlBfnF0GeVpcSieCLYmzMdZohOBhGGKRzaqdqemMNeQA03+kKQdXVTLEmhWH25AOVMLQd5kY6DqKYBlJIyFFAePRTbIk8V7QNKEv8/6YsUvTECSjacCcVeSTv3B4cLLR4ndu4kHVBlGaT/YkzlKxZVcVA3ZMmjAVWIAH2cKLLuP03LvqRNwfaMXQ6HMEtSmoBFwZNn99tQCOgBJJkMe96CHnEpWhnKsPy1LdQ7cwPdQUT7qojZrW038nvbVp0O/RdBkMhqJNr8MMaUYbAnf6dgT9FdVrux/MA2jxaMJH8jjqUkaY8KM58mRfiCr0MwwJNAY+NWRVliAq+q8mtuY8Io6COAZL/c+wzglyKOSozbCK5VjsqWBJrXYia2JNbz5aixoVD4+BCVeowjDRgwkVyCEToXbfTq6xriwu/WMYjp7/RshjdCwqsrJeJNlmEcEBr5vF/BdsNIVOn6uH2mjTMsjNW29Z7/Yx9n203JKSbnocsIcCdOnyjHZwD7BncPFvSUOCJxwsHFSqardmn4yX/KzCV38wwSSYL0kU1kPSTHD1OT9nisxqcMqqXHFm84/VBD+UyOi4fummpW4RX81bksVPoai36mAYqqDaca6EAO0T/fVyRnn/tNEM7T6Pp9zibVidEGT0N/ei3/xn4MnfEmMev3101tHdYAWAnfa4BICsjsvCTy+OVcKd0nOvfXrEpKnDibH0N4fiOjaQfpQ5n8DCV/QJXZRHe73SqysVxl0p1eiNsmwpkJ0726LnRD6WRCXqgvDHIH/WxPtB8mXxxdUIP31K1pZ/sXdtrDejXMuSg3GPcWtFda+dl32mluveOhDWEh+xa13zOkm607CVMx/sIQDaH42N6RGTn9Q4goIUTAhGY5lQ2N459PnyU2v2DGQyvZ8GzlLGofN/Nk+c/UvHXeKLLG6WBghCE0mBdPjKh9TYGvyEVSykmf42Nu/Eqp8vLEpZfveGYzh9cd7uevL8JweL1aS8BEWSUMcA943E2VxaqUG/P44F0jsnVlWy+gw2p930VIl2W8PgwRsJZvKX3PUB7HVvETlnUzq1i0vGtE2o5SHhcgCi0OlBmAsARKxWolMIdw/HAnYwR17Io2Is30+UbO1pdV5FJTgyFucP48lplxyaJZSHGEMDoL2rALaneFeox/rqGJTwZ1AlupkgT6ELnvTLlfe1If+dJIDSLYixos+mrvcoNXmOqohachyDirqzMQkfBu9Q46Z+V4V72mSeJICBkaylrrmYtjDF9LyevU9Bighqzehae/T2AhSgUk5CHROV/xx7ZGaC/Ff6E0MqFMjOm+i2EI/PLj5cl0ivLp0QrlFgHRmmOi1sc+pOOrc6A4VQ++q78giMGpGuspOZXLyLwwfceac7z5+zB838H5uM2H5chB022KACBTx9PyVOutXMAShdgQz479JFXJtKaP0KipaO1YSfkEP+B2KIfA805CPTG4uHmt3saNq+hAq0qu7MgnF0MwS5YAGWmrVZqCrbN70MbI20VwZ11KzIayVNIXnK/rV7hQMHRDeZs50R5pwf+6kIY/mgRdPB7SQLT3t954hqmMpgOeFcW2u0RYhR04Y5V2p4gpPAskTbylyXrT87C5/VOwrQgWfGCxwllyLbJyXVy2eu0nGMyTKHF1nnpWuFZrpVt1wg9Albl7ZGyOkVxrzGGG4cassB43piu8/mH1NvFYMONefpRarmLuCAVZvUi2aq1IYQgsfNuvsyCOFrw8b/837DYYAMyVbvEU6VoTHoTY4HuGeYAs72+c3iS6sKVr4g+QtUzbF/KncUqOeDQoHmdZbQGajbu","md5":"7cc552ea3a1f12c13f63f96f53aec29b27ab7b59542cfaac0c2938375156fdfd","result":true}
　　本身就是一个json，有用的字段是message字段，而且本身是加密的（为什么不直接去https呢？）。嗯，我们需要一个解密工具，方便客户端开发，改个测试用例就搞定了：
　　curl -s "http://***.******.***/v3/server_status?type=100&data_version=2.4" | ./jq -r ".message" | xargs ./test-decode
　　与上面的语句相比，多了两个命令，其中jq用于解析json，负责提取message字段。msys2 默认没有这个命令。可以访问以下网址获取： /jq/download/ , install 将命令所在目录添加到PATH环境变量中并重启系统后，jq在msys2系统下可以使用，但是我复制了命令直接到脚本所在目录，所以需要用./jq来表示；test-decode 是我写的解密工具。它从命令行参数中读取加密数据（所以需要xargs进行转换，也可以直接用管道连接），并将解密后的数据输出到标准输出。经过上面的处理，这块数据就可以被人类识别了：
　　after decode:
　　{"products":[{"id":140,"name":"GrandDog","aggre_status":false,"start":true,"enable_auto":false,"enable_filter":true},{"id":178,"name":"CubicostTRB","aggre_status":false,"start":true,"enable_auto":false,"enable_filter":true},{"id":78,"name":"GTJ2017","aggre_status":false,"start":true,"enable_auto":false,"enable_filter":true},{"id":137,"name":"GMD2017","aggre_status":true,"start":true,"enable_auto":false,"enable_filter":true},{"id":180,"name":"GDraw","aggre_status":false,"start":true,"enable_auto":false,"enable_filter":true},{"id":276,"name":"GLC","aggre_status":false,"start":true,"enable_auto":false,"enable_filter":true},{"id":164,"name":"GUX","aggre_status":false,"start":true,"enable_auto":false,"enable_filter":true},{"id":67,"name":"GCCP5","aggre_status":false,"start":true,"enable_auto":false,"enable_filter":true},{"id":261,"name":"GCCP6","aggre_status":false,"start":true,"enable_auto":false,"enable_filter":true},{"id":17,"name":"TME","aggre_status":false,"start":true,"enable_auto":false,"enable_filter":false},{"id":25,"name":"GWS","aggre_status":false,"start":true,"enable_auto":false,"enable_filter":false},{"id":36,"name":"MOZIDIFFER","aggre_status":false,"start":true,"enable_auto":false,"enable_filter":false},{"id":40,"name":"GMJ","aggre_status":true,"start":true,"enable_auto":false,"enable_filter":false},{"id":44,"name":"GCL2013","aggre_status":false,"start":true,"enable_auto":false,"enable_filter":false},{"id":45,"name":"GGJ2013","aggre_status":false,"start":true,"enable_auto":false,"enable_filter":false},{"id":56,"name":"MD_GMA","aggre_status":false,"start":true,"enable_auto":false,"enable_filter":false},{"id":75,"name":"GDQ2015","aggre_status":false,"start":true,"enable_auto":false,"enable_filter":false},{"id":76,"name":"GQI2017","aggre_status":false,"start":true,"enable_auto":false,"enable_filter":false},{"id":77,"name":"GJG2015","aggre_status":false,"start":true,"enable_auto":false,"enable_filter":false},{"id":80,"name":"GMP2016","aggre_status":false,"start":true,"enable_auto":false,"enable_filter":false},{"id":83,"name":"Revit2GFC4GMP","aggre_status":false,"start":true,"enable_auto":false,"enable_filter":false},{"id":100,"name":"GTJ2017CAD","aggre_status":false,"start":true,"enable_auto":false,"enable_filter":false},{"id":112,"name":"GYZB2017","aggre_status":false,"start":true,"enable_auto":false,"enable_filter":false},{"id":114,"name":"BIM5D_PC","aggre_status":false,"start":true,"enable_auto":false,"enable_filter":false},{"id":115,"name":"GFYCM","aggre_status":false,"start":true,"enable_auto":false,"enable_filter":false},{"id":125,"name":"GBCB","aggre_status":false,"start":true,"enable_auto":false,"enable_filter":false},{"id":128,"name":"CubicostTAS","aggre_status":false,"start":true,"enable_auto":false,"enable_filter":false},{"id":129,"name":"GMD","aggre_status":false,"start":true,"enable_auto":false,"enable_filter":false},{"id":131,"name":"GAQ2017","aggre_status":true,"start":true,"enable_auto":false,"enable_filter":false},{"id":132,"name":"GBCB2017","aggre_status":true,"start":true,"enable_auto":false,"enable_filter":false},{"id":133,"name":"GBS2017","aggre_status":true,"start":true,"enable_auto":false,"enable_filter":false},{"id":134,"name":"GFYC2017","aggre_status":true,"start":true,"enable_auto":false,"enable_filter":false},{"id":135,"name":"GFYCM2017","aggre_status":true,"start":true,"enable_auto":false,"enable_filter":false},{"id":136,"name":"GMJ2017","aggre_status":true,"start":true,"enable_auto":false,"enable_filter":false},{"id":138,"name":"GSJ2017","aggre_status":true,"start":true,"enable_auto":false,"enable_filter":false},{"id":139,"name":"GJH2017","aggre_status":true,"start":true,"enable_auto":false,"enable_filter":false},{"id":142,"name":"TeamViewer","aggre_status":false,"start":true,"enable_auto":false,"enable_filter":false},{"id":148,"name":"ZPert","aggre_status":false,"start":true,"enable_auto":false,"enable_filter":false},{"id":160,"name":"GBS","aggre_status":false,"start":true,"enable_auto":false,"enable_filter":false},{"id":162,"name":"GIR_C","aggre_status":false,"start":true,"enable_auto":false,"enable_filter":false},{"id":163,"name":"TBQ2017","aggre_status":false,"start":true,"enable_auto":false,"enable_filter":false},{"id":167,"name":"GYJC2017","aggre_status":false,"start":true,"enable_auto":false,"enable_filter":false},{"id":177,"name":"GSXGZT2016","aggre_status":false,"start":true,"enable_auto":false,"enable_filter":false},{"id":181,"name":"TBQD","aggre_status":false,"start":true,"enable_auto":false,"enable_filter":false},{"id":182,"name":"TTED","aggre_status":false,"start":true,"enable_auto":false,"enable_filter":false},{"id":183,"name":"TCFD","aggre_status":false,"start":true,"enable_auto":false,"enable_filter":false},{"id":188,"name":"GSCApp","aggre_status":false,"start":true,"enable_auto":false,"enable_filter":false},{"id":200,"name":"GFYC","aggre_status":true,"start":true,"enable_auto":false,"enable_filter":false},{"id":207,"name":"GDQ2017","aggre_status":false,"start":true,"enable_auto":false,"enable_filter":false},{"id":217,"name":"GO","aggre_status":false,"start":true,"enable_auto":false,"enable_filter":false},{"id":218,"name":"AppGbmp","aggre_status":false,"start":true,"enable_auto":false,"enable_filter":false},{"id":222,"name":"GQI2018","aggre_status":false,"start":true,"enable_auto":false,"enable_filter":false},{"id":226,"name":"GDS2017","aggre_status":false,"start":true,"enable_auto":false,"enable_filter":false},{"id":228,"name":"GLDTCS","aggre_status":false,"start":true,"enable_auto":false,"enable_filter":false},{"id":231,"name":"TenderGo","aggre_status":false,"start":true,"enable_auto":false,"enable_filter":false},{"id":232,"name":"GDQ2018","aggre_status":false,"start":true,"enable_auto":false,"enable_filter":false},{"id":233,"name":"SectionManual","aggre_status":false,"start":true,"enable_auto":false,"enable_filter":false},{"id":234,"name":"BeamGo","aggre_status":false,"start":true,"enable_auto":false,"enable_filter":false},{"id":235,"name":"GJG2018","aggre_status":false,"start":true,"enable_auto":false,"enable_filter":false},{"id":236,"name":"RevitViewer","aggre_status":false,"start":true,"enable_auto":false,"enable_filter":false},{"id":237,"name":"BIM5D_PC_TEST","aggre_status":false,"start":true,"enable_auto":false,"enable_filter":false},{"id":238,"name":"BIM5D_PC_TRIAL","aggre_status":false,"start":true,"enable_auto":false,"enable_filter":false},{"id":239,"name":"GEC5","aggre_status":false,"start":true,"enable_auto":false,"enable_filter":false},{"id":240,"name":"GFYQ","aggre_status":true,"start":true,"enable_auto":false,"enable_filter":false},{"id":241,"name":"RoadDesigner","aggre_status":false,"start":true,"enable_auto":false,"enable_filter":false},{"id":242,"name":"CECS100G","aggre_status":false,"start":true,"enable_auto":false,"enable_filter":false},{"id":243,"name":"GBES","aggre_status":false,"start":true,"enable_auto":false,"enable_filter":false},{"id":244,"name":"Ceshi","aggre_status":false,"start":true,"enable_auto":false,"enable_filter":false},{"id":245,"name":"dpUpdate","aggre_status":false,"start":true,"enable_auto":false,"enable_filter":false},{"id":246,"name":"GFY4","aggre_status":false,"start":true,"enable_auto":false,"enable_filter":false},{"id":248,"name":"GGPT","aggre_status":false,"start":true,"enable_auto":false,"enable_filter":false},{"id":249,"name":"GMA2020","aggre_status":false,"start":true,"enable_auto":false,"enable_filter":false},{"id":250,"name":"JZYK","aggre_status":false,"start":true,"enable_auto":false,"enable_filter":false},{"id":251,"name":"GVB5","aggre_status":false,"start":true,"enable_auto":false,"enable_filter":false},{"id":252,"name":"GHW5","aggre_status":false,"start":true,"enable_auto":false,"enable_filter":false},{"id":253,"name":"GUp","aggre_status":true,"start":true,"enable_auto":false,"enable_filter":false},{"id":254,"name":"BIM_COST","aggre_status":false,"start":true,"enable_auto":false,"enable_filter":false},{"id":255,"name":"GICP5","aggre_status":false,"start":true,"enable_auto":false,"enable_filter":false},{"id":256,"name":"bim5d_basic","aggre_status":false,"start":true,"enable_auto":false,"enable_filter":false},{"id":257,"name":"GWH5","aggre_status":false,"start":true,"enable_auto":false,"enable_filter":false},{"id":258,"name":"GFY4_2019","aggre_status":false,"start":true,"enable_auto":false,"enable_filter":false},{"id":259,"name":"GDD2019","aggre_status":false,"start":true,"enable_auto":false,"enable_filter":false},{"id":260,"name":"GCCP5_ShanDong_64","aggre_status":false,"start":true,"enable_auto":false,"enable_filter":false},{"id":262,"name":"GSC6","aggre_status":false,"start":true,"enable_auto":false,"enable_filter":false},{"id":263,"name":"GCCP6_WP","aggre_status":false,"start":true,"enable_auto":false,"enable_filter":false},{"id":264,"name":"GEB6","aggre_status":false,"start":true,"enable_auto":false,"enable_filter":false},{"id":265,"name":"GSH6","aggre_status":false,"start":true,"enable_auto":false,"enable_filter":false},{"id":266,"name":"GTech2019","aggre_status":false,"start":true,"enable_auto":false,"enable_filter":false},{"id":267,"name":"GPC5","aggre_status":false,"start":true,"enable_auto":false,"enable_filter":false},{"id":268,"name":"GTJ2021","aggre_status":false,"start":true,"enable_auto":false,"enable_filter":false},{"id":269,"name":"GDE2019","aggre_status":false,"start":true,"enable_auto":false,"enable_filter":false},{"id":270,"name":"CubicostTIO","aggre_status":false,"start":true,"enable_auto":false,"enable_filter":false},{"id":271,"name":"GCA5","aggre_status":false,"start":true,"enable_auto":false,"enable_filter":false},{"id":272,"name":"GLC5","aggre_status":false,"start":true,"enable_auto":false,"enable_filter":false},{"id":273,"name":"GMT5","aggre_status":false,"start":true,"enable_auto":false,"enable_filter":false},{"id":274,"name":"GCN5","aggre_status":false,"start":true,"enable_auto":false,"enable_filter":false},{"id":275,"name":"GHC5","aggre_status":false,"start":true,"enable_auto":false,"enable_filter":false},{"id":277,"name":"GVB6","aggre_status":false,"start":true,"enable_auto":false,"enable_filter":false},{"id":278,"name":"GJG2021","aggre_status":false,"start":true,"enable_auto":false,"enable_filter":false},{"id":279,"name":"GJG","aggre_status":false,"start":true,"enable_auto":false,"enable_filter":false},{"id":280,"name":"GAP","aggre_status":false,"start":true,"enable_auto":false,"enable_filter":false},{"id":281,"name":"GSTP","aggre_status":false,"start":true,"enable_auto":false,"enable_filter":false},{"id":283,"name":"TRS2021","aggre_status":false,"start":true,"enable_auto":false,"enable_filter":false},{"id":284,"name":"TMEC","aggre_status":false,"start":true,"enable_auto":false,"enable_filter":false},{"id":285,"name":"CubicostTMEC","aggre_status":false,"start":true,"enable_auto":false,"enable_filter":false},{"id":286,"name":"GGF5","aggre_status":false,"start":true,"enable_auto":false,"enable_filter":false},{"id":287,"name":"GRE5","aggre_status":false,"start":true,"enable_auto":false,"enable_filter":false},{"id":310,"name":"GA_CloudPlugin","aggre_status":false,"start":true,"enable_auto":false,"enable_filter":false}],"msg_type":100}
　　它将自动包装在网页上的显示中。其实这个输出只有两行，第二行就是我们需要的。提取第二行后，交给 jq 解析出 products 域中的产品数据：
　　curl -s "http://***.******.***/v3/server_status?type=100&data_version=2.4" | ./jq -r ".message" | xargs ./test-decode | tail -1 | ./jq ".products|.[]"
　　其中，jq ".products|.[]" 会去掉外面的元素，美化剩下的“纯”内容：
　　{
　　"id": 140,
　　"name": "GrandDog",
　　"aggre_status": false,
　　"start": true,
　　"enable_auto": false,
　　"enable_filter": true
　　}
　　{
　　"id": 178,
　　"name": "CubicostTRB",
　　"aggre_status": false,
　　"start": true,
　　"enable_auto": false,
　　"enable_filter": true
　　}
　　{
　　"id": 78,
　　"name": "GTJ2017",
　　"aggre_status": false,
　　"start": true,
　　"enable_auto": false,
　　"enable_filter": true
　　}
　　{
　　"id": 137,
　　"name": "GMD2017",
　　"aggre_status": true,
　　"start": true,
　　"enable_auto": false,
　　"enable_filter": true
　　}
　　{
　　"id": 180,
　　"name": "GDraw",
　　"aggre_status": false,
　　"start": true,
　　"enable_auto": false,
　　"enable_filter": true
　　}
　　{
　　"id": 276,
　　"name": "GLC",
　　"aggre_status": false,
　　"start": true,
　　"enable_auto": false,
　　"enable_filter": true
　　}
　　{
　　"id": 164,
　　"name": "GUX",
　　"aggre_status": false,
　　"start": true,
　　"enable_auto": false,
　　"enable_filter": true
　　}
　　{
　　"id": 67,
　　"name": "GCCP5",
　　"aggre_status": false,
　　"start": true,
　　"enable_auto": false,
　　"enable_filter": true
　　}
　　{
　　"id": 261,
　　"name": "GCCP6",
　　"aggre_status": false,
　　"start": true,
　　"enable_auto": false,
　　"enable_filter": true
　　}
　　{
　　"id": 17,
　　"name": "TME",
　　"aggre_status": false,
　　"start": true,
　　"enable_auto": false,
　　"enable_filter": false
　　}
　　{
　　"id": 25,
　　"name": "GWS",
　　"aggre_status": false,
　　"start": true,
　　"enable_auto": false,
　　"enable_filter": false
　　}
　　{
　　"id": 36,
　　"name": "MOZIDIFFER",
　　"aggre_status": false,
　　"start": true,
　　"enable_auto": false,
　　"enable_filter": false
　　}
　　{
　　"id": 40,
　　"name": "GMJ",
　　"aggre_status": true,
　　"start": true,
　　"enable_auto": false,
　　"enable_filter": false
　　}
　　{
　　"id": 44,
　　"name": "GCL2013",
　　"aggre_status": false,
　　"start": true,
　　"enable_auto": false,
　　"enable_filter": false
　　}
　　{
　　"id": 45,
　　"name": "GGJ2013",
　　"aggre_status": false,
　　"start": true,
　　"enable_auto": false,
　　"enable_filter": false
　　}
　　{
　　"id": 56,
　　"name": "MD_GMA",
　　"aggre_status": false,
　　"start": true,
　　"enable_auto": false,
　　"enable_filter": false
　　}
　　{
　　"id": 75,
　　"name": "GDQ2015",
　　"aggre_status": false,
　　"start": true,
　　"enable_auto": false,
　　"enable_filter": false
　　}
　　{
　　"id": 76,
　　"name": "GQI2017",
　　"aggre_status": false,
　　"start": true,
　　"enable_auto": false,
　　"enable_filter": false
　　}
　　{
　　"id": 77,
　　"name": "GJG2015",
　　"aggre_status": false,
　　"start": true,
　　"enable_auto": false,
　　"enable_filter": false
　　}
　　{
　　"id": 80,
　　"name": "GMP2016",
　　"aggre_status": false,
　　"start": true,
　　"enable_auto": false,
　　"enable_filter": false
　　}
　　{
　　"id": 83,
　　"name": "Revit2GFC4GMP",
　　"aggre_status": false,
　　"start": true,
　　"enable_auto": false,
　　"enable_filter": false
　　}
　　{
　　"id": 100,
　　"name": "GTJ2017CAD",
　　"aggre_status": false,
　　"start": true,
　　"enable_auto": false,
　　"enable_filter": false
　　}
　　{
　　"id": 112,
　　"name": "GYZB2017",
　　"aggre_status": false,
　　"start": true,
　　"enable_auto": false,
　　"enable_filter": false
　　}
　　{
　　"id": 114,
　　"name": "BIM5D_PC",
　　"aggre_status": false,
　　"start": true,
　　"enable_auto": false,
　　"enable_filter": false
　　}
　　{
　　"id": 115,
　　"name": "GFYCM",
　　"aggre_status": false,
　　"start": true,
　　"enable_auto": false,
　　"enable_filter": false
　　}
　　{
　　"id": 125,
　　"name": "GBCB",
　　"aggre_status": false,
　　"start": true,
　　"enable_auto": false,
　　"enable_filter": false
　　}
　　{
　　"id": 128,
　　"name": "CubicostTAS",
　　"aggre_status": false,
　　"start": true,
　　"enable_auto": false,
　　"enable_filter": false
　　}
　　{
　　"id": 129,
　　"name": "GMD",
　　"aggre_status": false,
　　"start": true,
　　"enable_auto": false,
　　"enable_filter": false
　　}
　　{
　　"id": 131,
　　"name": "GAQ2017",
　　"aggre_status": true,
　　"start": true,
　　"enable_auto": false,
　　"enable_filter": false
　　}
　　{
　　"id": 132,
　　"name": "GBCB2017",
　　"aggre_status": true,
　　"start": true,
　　"enable_auto": false,
　　"enable_filter": false
　　}
　　{
　　"id": 133,
　　"name": "GBS2017",
　　"aggre_status": true,
　　"start": true,
　　"enable_auto": false,
　　"enable_filter": false
　　}
　　{
　　"id": 134,
　　"name": "GFYC2017",
　　"aggre_status": true,
　　"start": true,
　　"enable_auto": false,
　　"enable_filter": false
　　}
　　{
　　"id": 135,
　　"name": "GFYCM2017",
　　"aggre_status": true,
　　"start": true,
　　"enable_auto": false,
　　"enable_filter": false
　　}
　　{
　　"id": 136,
　　"name": "GMJ2017",
　　"aggre_status": true,
　　"start": true,
　　"enable_auto": false,
　　"enable_filter": false
　　}
　　{
　　"id": 138,
　　"name": "GSJ2017",
　　"aggre_status": true,
　　"start": true,
　　"enable_auto": false,
　　"enable_filter": false
　　}
　　{
　　"id": 139,
　　"name": "GJH2017",
　　"aggre_status": true,
　　"start": true,
　　"enable_auto": false,
　　"enable_filter": false
　　}
　　{
　　"id": 142,
　　"name": "TeamViewer",
　　"aggre_status": false,
　　"start": true,
　　"enable_auto": false,
　　"enable_filter": false
　　}
　　{
　　"id": 148,
　　"name": "ZPert",
　　"aggre_status": false,
　　"start": true,
　　"enable_auto": false,
　　"enable_filter": false
　　}
　　{
　　"id": 160,
　　"name": "GBS",
　　"aggre_status": false,
　　"start": true,
　　"enable_auto": false,
　　"enable_filter": false
　　}
　　{
　　"id": 162,
　　"name": "GIR_C",
　　"aggre_status": false,
　　"start": true,
　　"enable_auto": false,
　　"enable_filter": false
　　}
　　{
　　"id": 163,
　　"name": "TBQ2017",
　　"aggre_status": false,
　　"start": true,
　　"enable_auto": false,
　　"enable_filter": false
　　}
　　{
　　"id": 167,
　　"name": "GYJC2017",
　　"aggre_status": false,
　　"start": true,
　　"enable_auto": false,
　　"enable_filter": false
　　}
　　{
　　"id": 177,
　　"name": "GSXGZT2016",
　　"aggre_status": false,
　　"start": true,
　　"enable_auto": false,
　　"enable_filter": false
　　}
　　{
　　"id": 181,
　　"name": "TBQD",
　　"aggre_status": false,
　　"start": true,
　　"enable_auto": false,
　　"enable_filter": false
　　}
　　{
　　"id": 182,
　　"name": "TTED",
　　"aggre_status": false,
　　"start": true,
　　"enable_auto": false,
　　"enable_filter": false
　　}
　　{
　　"id": 183,
　　"name": "TCFD",
　　"aggre_status": false,
　　"start": true,
　　"enable_auto": false,
　　"enable_filter": false
　　}
　　{
　　"id": 188,
　　"name": "GSCApp",
　　"aggre_status": false,
　　"start": true,
　　"enable_auto": false,
　　"enable_filter": false
　　}
　　{
　　"id": 200,
　　"name": "GFYC",
　　"aggre_status": true,
　　"start": true,
　　"enable_auto": false,
　　"enable_filter": false
　　}
　　{
　　"id": 207,
　　"name": "GDQ2017",
　　"aggre_status": false,
　　"start": true,
　　"enable_auto": false,
　　"enable_filter": false
　　}
　　{
　　"id": 217,
　　"name": "GO",
　　"aggre_status": false,
　　"start": true,
　　"enable_auto": false,
　　"enable_filter": false
　　}
　　{
　　"id": 218,
　　"name": "AppGbmp",
　　"aggre_status": false,
　　"start": true,
　　"enable_auto": false,
　　"enable_filter": false
　　}
　　{
　　"id": 222,
　　"name": "GQI2018",
　　"aggre_status": false,
　　"start": true,
　　"enable_auto": false,
　　"enable_filter": false
　　}
　　{
　　"id": 226,
　　"name": "GDS2017",
　　"aggre_status": false,
　　"start": true,
　　"enable_auto": false,
　　"enable_filter": false
　　}
　　{
　　"id": 228,
　　"name": "GLDTCS",
　　"aggre_status": false,
　　"start": true,
　　"enable_auto": false,
　　"enable_filter": false
　　}
　　{
　　"id": 231,
　　"name": "TenderGo",
　　"aggre_status": false,
　　"start": true,
　　"enable_auto": false,
　　"enable_filter": false
　　}
　　{
　　"id": 232,
　　"name": "GDQ2018",
　　"aggre_status": false,
　　"start": true,
　　"enable_auto": false,
　　"enable_filter": false
　　}
　　{
　　"id": 233,
　　"name": "SectionManual",
　　"aggre_status": false,
　　"start": true,
　　"enable_auto": false,
　　"enable_filter": false
　　}
　　{
　　"id": 234,
　　"name": "BeamGo",
　　"aggre_status": false,
　　"start": true,
　　"enable_auto": false,
　　"enable_filter": false
　　}
　　{
　　"id": 235,
　　"name": "GJG2018",
　　"aggre_status": false,
　　"start": true,
　　"enable_auto": false,
　　"enable_filter": false
　　}
　　{
　　"id": 236,
　　"name": "RevitViewer",
　　"aggre_status": false,
　　"start": true,
　　"enable_auto": false,
　　"enable_filter": false
　　}
　　{
　　"id": 237,
　　"name": "BIM5D_PC_TEST",
　　"aggre_status": false,
　　"start": true,
　　"enable_auto": false,
　　"enable_filter": false
　　}
　　{
　　"id": 238,
　　"name": "BIM5D_PC_TRIAL",
　　"aggre_status": false,
　　"start": true,
　　"enable_auto": false,
　　"enable_filter": false
　　}
　　{
　　"id": 239,
　　"name": "GEC5",
　　"aggre_status": false,
　　"start": true,
　　"enable_auto": false,
　　"enable_filter": false
　　}
　　{
　　"id": 240,
　　"name": "GFYQ",
　　"aggre_status": true,
　　"start": true,
　　"enable_auto": false,
　　"enable_filter": false
　　}
　　{
　　"id": 241,
　　"name": "RoadDesigner",
　　"aggre_status": false,
　　"start": true,
　　"enable_auto": false,
　　"enable_filter": false
　　}
　　{
　　"id": 242,
　　"name": "CECS100G",
　　"aggre_status": false,
　　"start": true,
　　"enable_auto": false,
　　"enable_filter": false
　　}
　　{
　　"id": 243,
　　"name": "GBES",
　　"aggre_status": false,
　　"start": true,
　　"enable_auto": false,
　　"enable_filter": false
　　}
　　{
　　"id": 244,
　　"name": "Ceshi",
　　"aggre_status": false,
　　"start": true,
　　"enable_auto": false,
　　"enable_filter": false
　　}
　　{
　　"id": 245,
　　"name": "dpUpdate",
　　"aggre_status": false,
　　"start": true,
　　"enable_auto": false,
　　"enable_filter": false
　　}
　　{
　　"id": 246,
　　"name": "GFY4",
　　"aggre_status": false,
　　"start": true,
　　"enable_auto": false,
　　"enable_filter": false
　　}
　　{
　　"id": 248,
　　"name": "GGPT",
　　"aggre_status": false,
　　"start": true,
　　"enable_auto": false,
　　"enable_filter": false
　　}
　　{
　　"id": 249,
　　"name": "GMA2020",
　　"aggre_status": false,
　　"start": true,
　　"enable_auto": false,
　　"enable_filter": false
　　}
　　{
　　"id": 250,
　　"name": "JZYK",
　　"aggre_status": false,
　　"start": true,
　　"enable_auto": false,
　　"enable_filter": false
　　}
　　{
　　"id": 251,
　　"name": "GVB5",
　　"aggre_status": false,
　　"start": true,
　　"enable_auto": false,
　　"enable_filter": false
　　}
　　{
　　"id": 252,
　　"name": "GHW5",
　　"aggre_status": false,
　　"start": true,
　　"enable_auto": false,
　　"enable_filter": false
　　}
　　{
　　"id": 253,
　　"name": "GUp",
　　"aggre_status": true,
　　"start": true,
　　"enable_auto": false,
　　"enable_filter": false
　　}
　　{
　　"id": 254,
　　"name": "BIM_COST",
　　"aggre_status": false,
　　"start": true,
　　"enable_auto": false,
　　"enable_filter": false
　　}
　　{
　　"id": 255,
　　"name": "GICP5",
　　"aggre_status": false,
　　"start": true,
　　"enable_auto": false,
　　"enable_filter": false
　　}
　　{
　　"id": 256,
　　"name": "bim5d_basic",
　　"aggre_status": false,
　　"start": true,
　　"enable_auto": false,
　　"enable_filter": false
　　}
　　{
　　"id": 257,
　　"name": "GWH5",
　　"aggre_status": false,
　　"start": true,
　　"enable_auto": false,
　　"enable_filter": false
　　}
　　{
　　"id": 258,
　　"name": "GFY4_2019",
　　"aggre_status": false,
　　"start": true,
　　"enable_auto": false,
　　"enable_filter": false
　　}
　　{
　　"id": 259,
　　"name": "GDD2019",
　　"aggre_status": false,
　　"start": true,
　　"enable_auto": false,
　　"enable_filter": false
　　}
　　{
　　"id": 260,
　　"name": "GCCP5_ShanDong_64",
　　"aggre_status": false,
　　"start": true,
　　"enable_auto": false,
　　"enable_filter": false
　　}
　　{
　　"id": 262,
　　"name": "GSC6",
　　"aggre_status": false,
　　"start": true,
　　"enable_auto": false,
　　"enable_filter": false
　　}
　　{
　　"id": 263,
　　"name": "GCCP6_WP",
　　"aggre_status": false,
　　"start": true,
　　"enable_auto": false,
　　"enable_filter": false
　　}
　　{
　　"id": 264,
　　"name": "GEB6",
　　"aggre_status": false,
　　"start": true,
　　"enable_auto": false,
　　"enable_filter": false
　　}
　　{
　　"id": 265,
　　"name": "GSH6",
　　"aggre_status": false,
　　"start": true,
　　"enable_auto": false,
　　"enable_filter": false
　　}
　　{
　　"id": 266,
　　"name": "GTech2019",
　　"aggre_status": false,
　　"start": true,
　　"enable_auto": false,
　　"enable_filter": false
　　}
　　{
　　"id": 267,
　　"name": "GPC5",
　　"aggre_status": false,
　　"start": true,
　　"enable_auto": false,
　　"enable_filter": false
　　}
　　{
　　"id": 268,
　　"name": "GTJ2021",
　　"aggre_status": false,
　　"start": true,
　　"enable_auto": false,
　　"enable_filter": false
　　}
　　{
　　"id": 269,
　　"name": "GDE2019",
　　"aggre_status": false,
　　"start": true,
　　"enable_auto": false,
　　"enable_filter": false
　　}
　　{
　　"id": 270,
　　"name": "CubicostTIO",
　　"aggre_status": false,
　　"start": true,
　　"enable_auto": false,
　　"enable_filter": false
　　}
　　{
　　"id": 271,
　　"name": "GCA5",
　　"aggre_status": false,
　　"start": true,
　　"enable_auto": false,
　　"enable_filter": false
　　}
　　{
　　"id": 272,
　　"name": "GLC5",
　　"aggre_status": false,
　　"start": true,
　　"enable_auto": false,
　　"enable_filter": false
　　}
　　{
　　"id": 273,
　　"name": "GMT5",
　　"aggre_status": false,
　　"start": true,
　　"enable_auto": false,
　　"enable_filter": false
　　}
　　{
　　"id": 274,
　　"name": "GCN5",
　　"aggre_status": false,
　　"start": true,
　　"enable_auto": false,
　　"enable_filter": false
　　}
　　{
　　"id": 275,
　　"name": "GHC5",
　　"aggre_status": false,
　　"start": true,
　　"enable_auto": false,
　　"enable_filter": false
　　}
　　{
　　"id": 277,
　　"name": "GVB6",
　　"aggre_status": false,
　　"start": true,
　　"enable_auto": false,
　　"enable_filter": false
　　}
　　{
　　"id": 278,
　　"name": "GJG2021",
　　"aggre_status": false,
　　"start": true,
　　"enable_auto": false,
　　"enable_filter": false
　　} 查看全部

　　最新版本:优采云采集使用入门教程.pptx 13页
　　
　　优采云 让数据触手可及；优采云采集器;1. 优采云 介绍2. 采集器 组成3. 简单例子4. 基本介绍5. 采集Instance;browser;优采云;优采云采集器,这是一个模拟人们访问网络文档的互联网数据采集器。通过设计流程操作，可以实现采集自动化，从而快速采集和整合网页数据，完成用户数据采集的目的。原理：1.模拟人浏览网页2.通过设计流程操作完成采集自动化；通常，我们将 采集 任务称为规则。规则是优采云采集器 的核心组件。我们按照规则来划分优采云的组成，可以分为以下几类： 1、任务列表：任务列表是指优采云中编辑的任务&gt;采集器，编辑后的任务可以直接从等待状态执行。2、任务规则：任务规则是指人使用浏览器根据特定网页访问网页的过程。建立的自动化任务程序，一般来说，类似类型的网站对应一个任务规则3。任务状态：1）任务生命周期：可执行状态，等待状态，运行状态，完成状态，停止状态2）运行状态：1）本地采集状态，云端采集状态；1、打开网页：打开网页，一般指我们想要的采集数据的网站，就像我们平时浏览网站的数据信息时需要输入URL一样，循环翻页：循环翻页是指当我们需要快速采集和整合时，需要做翻页循环，循环翻页的本质是单个元素的循环。3. 正式数据提取采集Step 4. 点击元素循环本身不会进行任何操作。如果要实现循环翻页，需要一个click元素来循环产生联动；
　　
　　正式推出:优采云采集器 官方版
　　优采云采集器 官方 v2.5.1
　　优采云采集器自动采集系统
　　优采云采集器是一个免费的数据采集发布软件，
　　可部署在云服务器中，几乎所有类型的web采集，无缝对接各种cms和网站建设方案，无需登录实时发布数据，软件实现定期定量和自动采集发布，无需人工干预！它是大数据、云时代网站数据自动化采集发布的最好的云爬虫软件。
　　
　　优采云采集器特点：
　　天财机（优采云数据采集发布系统）致力于网站数据自动化采集发布，使数据采集便捷、智能、云化。该系统可以部署在云服务器中，实现移动办公。
　　数据采集：
　　自定义采集规则（支持常规、XPATH、JSON等）可以准确匹配任何信息流，几乎可以采集所有类型的网页，大多数文章类型的网页内容都可以实现智能识别。
　　内容发布：
　　
　　无缝耦合各种cms和网站建设者，实现免登录导入数据，支持自定义数据发布插件，还可以直接导入数据库，存储为Excel文件，生成API接口等。
　　自动化和云平台：
　　软件实现定时定量全自动采集发布，无需人工干预！内置云平台，用户可以共享和下载采集规则，发布供需信息，以及社区的帮助和沟通。 查看全部

　　解决方案:精准的手机号码采集软件
　　准确的手机号码采集为什么要开发这个软件
　　精确的
　　精确的
　　精确的
　　重要的事情说了三遍。我们之前用过别人的软件，确实采集的号码很多，但是在后面的验证中，很多都不是目标客户的手机号，造成资源的浪费，所以体验效果很差。最后我们决定自己开发一个准确的手机号码采集器。
　　即刻咨询客服，体验体验，即刻获得贴心的技术支持。
　　我在做网站优化关键词排名，经常需要获取某个行业客户的手机号，进行有针对性的营销。例如，寻找一家食品厂的客户。
　　传统的做法是手动搜索food factory这个词，然后一页一页点击手动复制里面的手机号。这是非常低效的。如果行业数据量大，整理数百个手机号码可能需要十天半的时间。
　　因此，我们开发了一款可以提高效率，达到行业领先精度的小工具，如下图：
　　使用条件
　　
　　通过上面的描述，我们知道她可以提高工作效率，那么在什么情况下可以使用呢？
　　1.您的客户在线。
　　2.客户编号在互联网上是公开的。
　　满足以上两个条件就够了。一般来说，我们首先分析客户群体。只要客户在线，并且手机号码在互联网上是开放的，就可以使用该软件。
　　比如我们刚才提到的食品厂，一般食品厂都有自己的网站，而且都留下联系方式，所以这种情况是可以的；相反，有些客户是学生，但大多数学生没有网站，至少分散，所以不容易获得手机号码，所以不适合。
　　指示
　　首先我们需要整理一下这个行业的网址，通过爱站工具包的“提取搜索引擎真实地址”功能整理出网址，如图：
　　搜索你要找的行业关键词，可以得到很多网址，然后导出excel格式，方便数据处理（数据处理很重要）。
　　将组织好的 URL 保存为文本格式 txt。导入手机号采集工具。
　　
　　采集的最终结果如图：
　　到目前为止，我们已经采集出了所有关于“食品工厂”的手机号码。当然，我们只是 采集 的一部分用于演示目的。
　　手机号码可以用来做什么？
　　最后，我们要考虑采集的数量可以用来做什么？手持手机号，您可以直接进行电话营销、短信营销或微信营销。让我们看看如何在微信上营销和添加朋友。
　　对采集的手机号进行深度处理，只需要手机号。
　　智能手机现在具有云服务功能。我们只需要将这些电话号码导入云端通讯录，然后同步到手机，微信就会自动匹配好友。非常精确。
　　我加了微信，就不用多说了！与同行建立微信群也是一个不错的选择，可以与客户互动，拉近与客户的距离。
　　软件下载地址：【精确】手机号采集器.zip
　　联系客服获取机器码，280元永久使用
　　解决方案:B2B信息发布软件
　　首先我要恭喜你，你能找到这个软件，它绝对是一个很棒的软件。
　　前言：来我们的网站，好像我们在卖软件，其实不是，我们在教你一种网络推广的方法。也许我不会告诉你这个方法，你花了几年的时间才弄明白，但是这个方法已经被我们使用过，并且已经被证明了。很多人不明白我们的软件是做什么的，都认为是那种群发软件。让我告诉你，那个群发时代已经过时了。如果你两年前买了一个群发软件发帖，百度可能会多收一些钱。文章，但是现在百度根本不理你，所以我想告诉你，你为什么用这个软件，如何让你的信息让百度更快收录，有收录，就有排名，有排名才有流量，有流量就会有交易。这是一个不变的真理。只要你学会了这个方法，你就可以做任何事。
　　您可能正在努力寻找一个好的软件来推广您的产品或服务。
　　您可能经常访问一些论坛。顶帖。无非就是想提高自己产品的知名度。
　　您可能还想知道，如果您可以编写一个分发软件，这样任何网络平台都将成为您推广产品的好地方，那该多好。
　　这些梦想现在触手可及。
　　你可能花了3688元成为阿里巴巴会员，却只发布了几十条产品信息。看到同行业门店发布的上万条供需信息，是不是很意外呢？
　　
　　如果我能给你提供一个软件，只要几百元，你的商店可以在短时间内发布上万条信息，而且不绑定账号，终身使用，并升级了终身包。你是否想要？不想看的请立即点击右上角的X，不要浪费时间继续观看。我们从不强迫任何人购买此软件。
　　-------------------------------------------------- ----软件说明-------------------------------------------------------- ------------
　　奔奔营销信息发布软件是一款用于群发信息的软件开发引擎。可以实现任意网站群发工具的开发。操作非常简单。您根本不需要任何编程知识。您只需要移动鼠标。编写您自己的群发软件以满足您的任何需求。
　　你有没有在某个站手动群发，每天都在重复机械化发，发外链。你有没有想过如果你知道软件编程并且可以实现你想要帮助自己推广的软件会有多好网站。您是否担心您购买的群发软件使用几天后没有效果，您购买的群发软件长时间没有正式更新，您购买的软件无法满足您的需求。奔奔营销信息发布软件可以彻底解决您的烦恼，让您无需学习任何编程知识，即可开发出您想要的群发工具。傻瓜式营销真正实现了我的软件，我自己做主，自己开发和更新自己的软件。
　　奔奔营销信息发布软件能做什么？
　　他的大致原理不难理解，不难看出只要能手动实现功能，这个软件就可以实现。为什么叫傻逼营销也是名副其实。我们的宗旨是专注打造站长推广网站的终极利器！软件可实现大规模B2B网站；包括门户博客和大型论坛、文章投递、分类信息、贴吧问它、WIKI百科、相册、新闻评论、各种中小博客和论坛等高价值的自动注册以及高权重网站和文章信息的自动发布。问答网站自问自答。投票，注册账号，加网站好友，加粉丝，抢沙发、批量发帖、重新编辑替换内容等功能。文章采集、伪原创处理、自动连接、文章拼接、友情链接、签名文件设置等功能。它涵盖了群发的所有领域，也就是说它有傻傻的营销信息发布软件，你不需要购买任何软件，它具有任何功能。当你真正知道如何使用这个软件时，你就会知道一点也不为过。也就是说它有傻傻的营销信息发布软件，你不需要购买任何软件，它有任何功能。当你真正知道如何使用这个软件时，你就会知道一点也不为过。也就是说它有傻傻的营销信息发布软件，你不需要购买任何软件，它有任何功能。当你真正知道如何使用这个软件时，你就会知道一点也不为过。
　　如果以上这些你不明白，那我们直接说吧，奔奔营销信息发布软件能为你做什么？
　　1、办理过金账户的B2B网站，每天可以发送上千个网站。麻木了吗？现在你可以用它来实现全自动发布了！软文在各大论坛和博客上批量发布广告。节省时间和精力。
　　
　　2.软件支持自动随机生成标题，自动插入国家城市名和任意结尾词，标题对应内容，图片自动上传，无数句子可以组合成不同的原创内容，只要当您发布一个好网站时，绝对在几秒钟内关闭！
　　3、可实现对某站批量自动注册账号，并可通过ADSL拨号自动更改IP！
　　4、软件自带数百个常用验证码，可自动识别填写。软件库中没有的验证码可集成第三方编码UU云或编码兔。一般来说，每个代码花费 1 美分！四个汉字四毛钱！
　　5、售后服务：软件只是一个工具。我们提供这样一个工具，整合了每个人的长处。如果部分客户对自己不够自信，可以咨询我们的客服或者去我们的论坛提出您需要的功能。随意根据自己的喜好自定义结果。
　　6.软件还行，发过的帖子可以随意改。如果自己抢沙发，定期回去换效果，谁也比不上。
　　7：软件可以完全替代major 网站的手动发布
　　8：单独一个站专用，一次不多站，但是软件可以多开，可以同时发几个站！
　　9：可以设置每次发布的文章数量，或者批量更新信息 查看全部