智能采集站(智能采集站构建思路很简单：聚合页怎么爬取)

　　智能采集站(智能采集站构建思路很简单：聚合页怎么爬取)

　　智能采集站构建思路很简单：比如接入优采云

采集器，直接在优采云

采集器的listview里面，或者优采云

的demo里面，填写内容的关键词，把页面上的所有内容采集下来，然后再上传到百度api，或者百度去爬取内容。

　　1、思路最重要如何确定目标群体，

　　1）了解网站里面采集是常见的做法是比较模糊的分类，目标群体不好具体选择，这样就可以做二级分类，比如“智能家居”，或者“家庭装修”这样子。当然在没有用户标签的时候，可以模糊些，比如“智能冰箱”、“智能空调”、“智能电视”、“智能门锁”。

　　2）如果用户群体可以明确一些，像可以单独有一个“选购指南”，列举了很多目标群体可能感兴趣的电器、物品等等。

　　2、抓取新闻的数据如何获取？借助优采云

采集器等，获取新闻标题和内容，然后通过再整理内容，就可以获取大量新闻数据，当然前提是你能爬到，这样就能把重复的数据去掉。

　　3、用户信息如何抓取？用户爬取就是要爬用户爬虫或者用户的信息，爬虫可以是模拟ip的，比如伪装成设备操作手机、打电话、下载软件等，用户的信息就是通过一些get或者post的请求，传递到服务器。

　　4、聚合页怎么爬取？一般而言你们网站里面会有很多聚合页，比如“智能灯泡”“智能插座”，这些数据最好是抓取下来。

　　5、各页爬取到数据怎么整理？比如我们有“音乐”“新闻”“游戏”这三个子页面，总共有700万多条数据，这三个页面都有采集的必要，所以必须用到抓取下来的数据，而且还要同步采集，随时可以使用。

　　6、浏览器最后会抓取到页面干嘛？这是因为最后都要统一抓取，统一爬取所以并不是跳转也没关系，因为是统一抓取。比如我们有“智能灯泡”这个单独子页面，然后有很多内容，里面包含了“智能灯泡”这个关键词，然后我们所有的用户都抓取到了“智能灯泡”这个页面，这个时候我们可以对这个页面进行排序、颜色、字体等多种处理。