htmlunit抓取动态网页(一个爬虫动态生成的网页是什么？一般来说怎么办 )

　　htmlunit抓取动态网页(一个爬虫动态生成的网页是什么？一般来说怎么办

)

　　最近公司想写一个爬虫项目。遇到一些js或者ajax动态生成的网页。我在网上搜了一下，发现是webdriver比较可靠。至于htmlunit，我测试了一些网站直接抛出异常。 , 可能对js支持不是特别好。

　　一般来说，WebDriver 有两种方式：本地 diver 和远程 diver。由于爬虫最终会部署到Linux服务器上，只能在命令行上运行，看来浏览器是装不了的，所以本地驱动的进程就不行了，只能尝试远程驱动了。幸运的是，我找到了一个phantomjs webdriver，它可以在Linux下无界面运行，所以选择了它作为从js动态生成网页的解决方案。

　　到官网下载：，找到对应的版本下载。解压并安装它。进入bin目录，执行phantomjs，需要带启动参数，执行远程驱动的地址和端口。 phantomjs --webdriver 127.0.0.1:10025.

　　java 连接：

　　WebDriver driver = new RemoteWebDriver("http://127.0.0.1:10025", DesiredCapabilities.phantomjs());

driver.get("http://www.iteye.com");