前沿！一个太神的云采集平台“优采云”可以帮你提升开发效率

　　前沿！一个太神的云采集平台“优采云”可以帮你提升开发效率

　　000

　　优采云

　　我接到一个顾客需求是这样的，要采集通过 “城市营运” 这个keyword搜索到的百度网页的关键信息，title标题，新闻简介，网页a标签链接地址。正好我刚接触了一个叫 “优采云" 的云采集平台，体验了一次觉得不错，拿来用用看效率怎样！

　　大家可以看里面那种图，这个平台一个很好玩的东西就是这个webide，你可以直接在这写代码，直接测试，看日志，直接运行，导出结果。

　　这些操作都可以在一个界面完成，编程人员只须要关心最核心的采集逻辑就可以了。

　　001

　　讲讲 “优采云" 核心采集逻辑，首选注意这个引擎的开发语言是js，你须要具备一点js基础，最先看下边两句：

　　EBA61292-58EF-402A-8AF4-22F92AC8656A.png

　　每个采集爬虫就会用这两句启动，所以你的核心工作是编撰 configs这个变量，下面看这个变量结构：

　　051763D4-9E87-4255-AAED-8D47D4E0B1AB.png

　　我们只须要改4个地方，1个是入口url，1个是采集的数组及其xpath，1个是下一页的规则，1个是对数组内容做必须的处理，这四个问题都通过config变量惟一规定了函数或变量名子，这4个问题也是采集程序最核心要解决的事。

　　002

　　那么具体到我顾客的这个采集任务，我是怎样填写这种变量的呢

　　注意 addUrl 这一句，写上这一句平台都会继续采集 nextUrl，不写的话就停止在当前采集页上，其实平台可以循环不停的抓取下一页，关键就靠这个 addUrl

　　注意 fieldName == 'items.title‘，因为这个 afterExtractField 函数是每位item就会反弹，所以要用fieldName来分辨下，这里我们做了啥过滤，就是简单的把 这两个标签除去了。

　　003

　　从编撰 -> 测试 -> 运行 - 出数据，不到1小时，这效率，挺神的！

　　需要源码的，想学习的，正在自学大数据的，想交流，求人带的 都注意啊！可以联系我，留言私信也可以的！API1024记住我的暗号哦~