智能采集站(自动化+爬虫=智能化采集，自动采集没有最优)

　　智能采集站(自动化+爬虫=智能化采集，自动采集没有最优)

　　智能采集站需要加上“中转站”采集，以免卡顿。就好比如说谷歌的搬家车一样。在地图有个中转站，当有一些重要的信息的时候就帮忙做搬运了。

　　变换采集量还是直接采集，apache网站前端用wordpress或者dedecms之类的前端就可以了。iis可以打locale针对开发用不着。

　　采集：在服务器端的实时采集数据，需要访问服务器端才能拿到数据。自动化分析：把有用的数据进行采集分析，甚至进行可视化。报表分析：把采集的结果上传到wordpress后台进行进一步分析。

　　对自助站有种的叫伸缩采集器。

　　没有用过apache，但是跟着学了redis和mongodb的写法，后来看了用api的news。针对postgres和xml进行的不一样的抓取方式。把各种post以及xml格式从大大小小的网站上获取出来，把各种格式的数据整合成新的格式的数据集，提供对应的sdk到你的api。

　　自动化+爬虫=智能化采集，自动采集没有最优解法，只有哪种更适合你的业务类型。参考我的知乎回答。采集需要在服务器端有个中转站，可以是采集服务，也可以是自动中转站。最近也正准备看一下这方面的问题。

　　采集某搜索引擎每日数据请求数

　　1）前台提供给搜索引擎。

　　2）后台提供给爬虫服务器。一个是需要搜索引擎做检索，另一个是搜索引擎有特定的策略（如user-agent）来进行检索（即相应的设置）。

　　3）前台信息一般为json格式。

　　4）后台可做数据可视化分析。