网页采集器对不同类型的页面处理逻辑有好多种

　　网页采集器对不同类型的页面处理逻辑有好多种

　　网页采集器的自动识别算法有好多种，例如最常见的是两种：icpsc和labeld算法，前者是根据网站的类型分有很多种，像分页、首页、列表页、企业或产品信息页等等，对应的id也是有不同的。后者比较多，但最多的应该是baidu那一套（现在是wooyun算法了）。还有其他很多技术实现类的算法，如同源地址自动获取，网站里用了哪些文件，这些都是有对应的算法的。服务器算法是比较好理解的，就是服务器按照网站指定的协议去解析网页就可以。

　　最好的实现是webschema的实现

　　多浏览器。不同浏览器对不同类型的页面处理逻辑不同。常见到的有icpsciissp保存一套路由。

　　webschema和html五大标准。

　　个人认为，利用爬虫去网站上进行自动的数据抓取是一个不错的选择，爬虫可以进行页面的简单的过滤和循环抓取；而且还可以直接进行复杂网站的数据抓取。

　　要做到自动化，首先，要做到api的一键抓取，利用高德的api和微信的api可以做到一键抓取同一网站中的全部信息。

　　两个途径：cascade和github。利用api进行访问。cascade-new如何才能提供一个图形的数据可视化服务|博客|什么值得买先不谈怎么用，先定义清楚了再谈怎么做好。

　　其实网页数据从采集到存储的这个过程就可以发现规律，