浏览器用websocket做数据是一个不错的方案

　　浏览器用websocket做数据是一个不错的方案

　　采集工具资源大概三千。并不是每个工具都有爬虫功能，

　　其实还是要看你的需求：记录代理信息和记录请求。这个功能就需要收费的，而且一套资源通常很贵，比如要解决连接、请求、过滤、鉴权、监控、推送、消息队列、查询，前端的话还需要接入浏览器页面上的信息等等。如果需要兼容，要做网页端的截屏，如果还想做分布式端，实时推送，就更麻烦了。我推荐的实现工具是：graphcreate。

　　它主要是对接浏览器。我这边主要使用它的是三个功能：记录请求、记录加载的资源、验证cookie，还有日志调用等等。真正的中间件似的框架。功能非常强大。据说目前仅限免费版。至于代理，肯定不能让他直接打印在浏览器上的。我觉得用listener还是挺好用的。

　　浏览器的server能反爬取所有的浏览器站点吗？其实浏览器用websocket做数据是一个不错的方案。只需要一个websocket链接就可以实现http协议的动态加载链接。动态加载路由信息，动态的创建、删除子页面，然后每次动态的创建链接的时候自动转发给服务器端处理。

　　具体你要看你做什么性质的工作。如果是单纯想爬取你的服务器上所有的内容，那就必须付费。如果是想实现一些功能，需要一些图片，这个主要是对接json接口，先生成json文件，然后由链接实现请求，然后建立下行链接加载。然后可以自己做异步加载或者异步加载等等。如果有注入点，可以弄一下。总结下来，你要看你做哪方面的工作。单纯爬取数据，付费。具体做些什么，付费。