网页抓取数据 免费(网页抓取数据免费的话基本都是只支持http的)

　　网页抓取数据 免费(网页抓取数据免费的话基本都是只支持http的)

　　网页抓取数据免费的话基本都是只支持http，毕竟这东西是拿来用的如果你网速慢或者手机访问不方便的话可以试试加个简单的爬虫中间件(requests库)利用上面的抓取数据的代码可以达到你需要的效果网络包翻译的话用python自带的库tornado比较方便tornado提供了http/https的全文翻译服务。

　　简单的爬虫模板需要一个中间件。本质上还是一个python来写的中间件库。

　　这种网页抓取肯定就用爬虫工具抓，具体中间件我不太懂，

　　有，

　　并没有解决浏览器访问的速度限制。

　　这个好像真的很少

　　crawler

　　主要是一个gzip代理

　　beautifulsoup2

　　可以考虑geckowebresponder

　　目前这样的工具也没有。你可以看看scrapy+tornado试试。

　　比较蛋疼。因为tornado使用了websocket，可以大量传递数据，对cpu的要求比较高。即使通过你第一段代码实现，网速也受到了一定的影响。楼上有推荐requests，现在来看性能确实不错，用起来也比较方便。

　　支持http并且支持cookie也是可以实现的你可以试试看

　　好像是支持http，但是必须要借助中间人socket，不然要么抓不到数据，

　　谢邀，国内没有，看看慕课(慕课网)有可以手动抓取，有接入tornado和kuratokjs好像，试试看吧，不过好像代理还是走http不走socket，现在主流程还是走cachebufferbaidu的人工抓取，可以通过用浏览器的访问慢代理(比如百度，谷歌)再爬，(差点忘了，技术上讲，不就用了requests么？)。