js抓取网页内容(js抓取网页内容很简单，android需要抓包才能继续分析报表)

　　js抓取网页内容(js抓取网页内容很简单，android需要抓包才能继续分析报表)

　　js抓取网页内容很简单，网页内容是存在html中的抓包就可以解析，当然以前我遇到这个问题用js写过一个浏览器插件抓取。特别是通过爬虫实现echo转换，我想是最快的了，tornado或者vue，vue应该更方便。

　　本身的python代码能力，运气以及你对爬虫的了解能力以及经验，是匹配爬虫工程师的水平，我工作中就有用requests+beautifulsoup+requestslib+phantomjs+js+dnsparse+json+xpath+locals...等人工构建爬虫的例子，运气好的话都可以胜任。不过我感觉，只有真正对爬虫、爬虫代理的网站会配合爬虫工程师去做这件事情。

　　一句话解释：分布式爬虫+自动化测试

　　你看你的意思应该是要找到一个url转换器把你要抓取的页面转换成另一个网址，然后在转换服务器上抓取。你写一个exe文件，放在服务器上，用nodejs语言写个curl抓包，requests库，http.io库，写个爬虫程序去抓。然后api就有了，用爬虫程序读http的request就可以去抓，不过正向还是反向不怎么容易破解。

　　同时因为抓取一些网站上的api，一些普通http文档，可以省去dns等信息破解的时间，例如api。爬虫程序性能要求高还是上链接池比较好，例如beego等，另外如果真要做分布式，也可以先写个稍微小一点的api。没法直接发布到服务器，实现起来还是挺麻烦的。爬虫post提交以后是自己管理的，windows/linux爬虫用indexpy比较方便，android需要抓包才能继续分析报表。