js抓取网页内容(js抓取网页内容可能对你来说并不是最困难的一个难点)

　　js抓取网页内容(js抓取网页内容可能对你来说并不是最困难的一个难点)

　　js抓取网页内容可能对你来说并不是最困难的一个技术难点。因为相对前端来说，js确实比较容易上手，现在虽然js抓取很流行，但是如果遇到php来实现这一步却是非常麻烦。js抓取php文件的难点不在于抓取的数据格式（包括类型，字段等信息）或者说对页面中每个页面元素的获取这一步，而是要获取php中所调用的js代码，而且要抓取js代码还要加载包含php代码的content-type标签、content-language标签、trailing-trailing注解、warning、error等。

　　如果不去深入探索js抓取，也不想深入探索，那php代码可能有点low。但你要抓取带有content-type标签的html文件，js代码就又变的非常的可怕了。如果抓取不到content-type，那么很多内容可能就无法获取。首先，有极少的信息是可以通过抓取js获取的。这些主要是在页面中的dom元素上调用的，因为页面中会有结构对应html的各个元素，然后把html元素相应dom元素绑定到dom元素上，之后执行这个dom元素相应的js代码，相应html元素也就会就会提交给浏览器解析。

　　通过抓取js代码获取的内容有部分已经在html上跑的脚本也是可以的，但是不多。获取脚本调用的脚本是单一js，这些脚本因为是对dom元素上js注解，可以获取到绝大部分js文件内容，但是也不仅限于解析代码语言。比如js($css)注解，你可以获取所有相应的style标签，然后直接抓取style标签中的内容，但是如果按照trailing-trailing标签直接抓取，那么你得到的js代码有可能非常的多。

　　其实对于一般情况下，没有必要上述的注解需要注入浏览器中。但是我的一个朋友提到对于有移动端的网站，它会根据需要，把html渲染以postmanformui加载，具体我还没有尝试。使用node.js抓取客户端数据已经是不少大网站都在使用的方法了，一般是通过node.js渲染页面，然后调用php代码抓取客户端数据。

<p>比如我们有个用户输入密码的页面：现在你可以通过js来获取到用户输入密码的这个html值。那么接下来我们调用php中的一个方法：然后我们来尝试获取用户昵称信息：直接抓取了图片信息：下面的方法就是将js解析为php代码，然后执行就会获取到最后需要的用户姓名：defto_content(self):try:r=node.js('