java爬虫抓取网页数据(本文就用Java给大家演示如何抓取网站的数据：（1）)

　　java爬虫抓取网页数据(本文就用Java给大家演示如何抓取网站的数据：（1）)

　　有时由于各种原因，我们需要采集某个网站数据，但由于不同网站数据的显示方式略有不同！

　　本文用Java给大家展示如何抓取网站的数据：（1）抓取原创网页数据；（2）抓取网页Javascript返回的数据。

　　一、 抓取原创网页。

　　在这个例子中，我们将从上面获取 ip 查询的结果：

　　第一步：打开这个网页，输入IP：111.142.55.73，点击查询按钮，可以看到网页显示的结果：

　　

　　第2步：查看网页源代码，我们在源代码中看到这一段：

　　

　　从这里可以看出，重新请求一个网页后，查询的结果显示出来了。

　　查询后看网页地址：

　　

　　也就是说，我们只要访问这样一个网址，就可以得到ip查询的结果，然后看代码：

　　[java]

　　publicvoidcaptureHtml(Stringip)throwsException{ StringstrURL=""+ip; URLurl=newURL(strURL); HttpURLConnectionhttpConn=(HttpURLConnection)url.openConnection(); InputStreamReaderinput=newInputStreamReader(httpConn .getInputStream(),"utf-8") ; BufferedReaderbufReader=newBufferedReader（输入）；字符串=“”； StringBuildercontentBuf=newStringBuilder(); while((line=bufReader.readLine())!=null){ contentBuf.append(line);} Stringbuf=contentBuf.toString() ; intbeginIx=buf.indexOf("查询结果[");意图Ix=buf.indexOf("以上四项依次显示"); Stringresult=buf.substring(beginIx,endIx); System.out.println("captureHtml()的结果：\n"+result); }

　　使用HttpURLConnection连接网站，使用bufReader保存网页返回的数据，然后通过自定义解析方式展示结果。

　　这里我只是随便解析了一下。如果你想准确解析它，你需要自己处理。

　　分析结果如下：

　　captureHtml()的结果：

　　查询结果[1]：111.142.55.73 ==>> 1871591241 ==>>福建省漳州市手机

　　二、 抓取网页的 JavaScript 返回的结果。

　　有时网站为了保护他们的数据，他们没有直接在网页的源代码中返回数据。而是用异步的方式用JS返回数据，防止搜索引擎等工具响应网站数据抓取。

　　先看这个页面：

　　

　　我用第一种方法查看网页源代码，但是没有找到运单的跟踪信息，因为是通过JS获取的结果。

　　但是有时候我们需要获取JS数据，这个时候该怎么办？

　　这时候我们需要用到一个工具：HTTP Analyzer，这个工具可以拦截Http的交互内容，我们用这个工具来达到目的。

　　先点击开始按钮后，开始监控网页的交互行为。

　　我们打开网页：，可以看到HTTP Analyzer列出了网页的所有请求数据和结果：

　　

　　为了更方便的查看JS的结果，我们先清空数据，然后输入快递号：7，点击查询按钮，然后查看HTTP Analyzer的结果：

　　

　　这是点击查询按钮后HTTP Analyzer的结果。让我们继续检查：

　　

　　

　　从上两图可以看出，HTTP Analyzer可以拦截JS返回的数据，并在Response Content中展示。同时可以看到JS请求的网页地址。

　　这种情况下，我们只需要分析HTTP Analyzer的结果，然后模拟JS的行为就可以得到数据。即我们只需要访问JS请求的网页地址即可获取数据。当然，前提是数据没有加密。记下JS请求的URL：

　　然后让程序请求这个页面的结果！

　　代码如下：

　　[java]

　　publicvoidcaptureJavascript(Stringpostid)throwsException{ StringstrURL=""+postid +"&channel=&rnd=0"; URLurl=newURL(strURL); HttpURLConnectionhttpConn=(HttpURLConnection)url.openConnection(); InputStreamReaderinput=newInputStreamReader(httpConn .getInputStream(),"utf-8"); BufferedReaderbufReader=newBufferedReader（输入）；字符串=“”； StringBuildercontentBuf=newStringBuilder(); while((line=bufReader.readLine())!=null){ contentBuf.append(line); System.out.println("captureJavascript():\n"+contentBuf.toString()的结果); }

　　可以看到，抓取JS的方式和抓取原创网页的代码完全一样，只是做了一个解析JS的过程。

　　以下是程序执行的结果：

　　captureJavascript() 的结果：

　　运单跟踪信息[7]

　　这些数据是JS返回的结果，我们的目的就达到了！

　　希望这篇文章能对有需要的朋友有所帮助。如果您需要程序的源代码，请点击这里下载！

　　爬虫程序源码：/ShenJianShou/crawler_samples