通过关键词采集文章采集api通过文章匹配技术获取相关

　　通过关键词采集文章采集api通过文章匹配技术获取相关

　　通过关键词采集文章采集api通过文章匹配技术获取相关apiweb页面点击该页面获取登录过的用户的身份信息网站数据的变更来自页面更新apichangelog更新采集技术主要分两类：基于代理，服务器本地文件抓取基于采集框架爬虫。基于代理：接收一个网站或者应用服务的响应的form请求，然后判断回应是否是响应，判断响应header，从而判断这个响应是不是响应网站就返回一个post对象，爬虫（采集器）根据这个post对象访问从这个post对象获取到这个网站的header，来确定是哪个网站对应了该header，一般返回有的网站对应header的话，则为采集器成功爬取。

　　服务器本地文件抓取：在用户浏览器本地上存一个一个html文件，保存的是格式为[xxxx]->tab->下载链接链接（可是一个单独的文件也可以是zip压缩文件），找出这个链接，解析form请求，这里就是进行采集，爬虫去获取该链接要么是一个单独的文件，要么是一个压缩包，然后进行http请求，比如一个json，一个html文件。

　　服务器本地文件抓取的优势：不用被淘汰的googleapi。taobao有没有共享呢，其实在天猫api上也已经有了，不过天猫用的还是代理服务器自己写的，我们都可以用。基于采集框架爬虫：采集框架虽然省代理和服务器成本，但是同样存在问题，你把他解析出来的请求存在在本地，其他爬虫也很可能拿不到。其实有一种办法就是利用大家共用的服务器，可以存一个采集链接的规则文件，这样其他爬虫就可以通过链接拿到真正的header和路由地址，那么获取下来的数据就更加真实。