网页抓取数据(本文就用Java给大家演示如何抓取网站的数据：（1）)

　　网页抓取数据(本文就用Java给大家演示如何抓取网站的数据：（1）)

　　原文链接：

　　有时候，由于各种原因，我们需要某个网站的采集的数据，但是由于网站的不同，数据的显示方式略有不同！

　　本文用Java给大家展示如何抓取网站的数据：(1）抓取网页原创数据；(2）抓取网页Javascript返回的数据.

　　一、 抓取原创页面。

　　在这个例子中，我们将从上面获取 ip 查询的结果：

　　第一步：打开这个网页，然后输入IP：111.142.55.73，点击查询按钮，可以看到网页上显示的结果：

　　p>

　　

　　第二步：查看网页的源码，我们看到源码中有这么一段：

　　

　　从这里可以看出，重新请求一个网页后，显示查询的结果。

　　查询后查看网址：

　　

　　也就是说，我们只要访问这样一个URL，就可以得到ip查询的结果，然后看代码：

　　[java]

　　publicvoidcaptureHtml(Stringip)throwsException{StringstrURL=""+ip;URLurl=newURL(strURL);HttpURLConnectionhttpConn=(HttpURLConnection)url.openConnection();InputStreamReaderinput=newInputStreamReader(httpConn.getInputStream(),"utf-8") ;BufferedReaderbufReader=newBufferedReader(input);Stringline="";StringBuildercontentBuf=newStringBuilder();while((line=bufReader.readLine())!=null){contentBuf.append(line);}Stringbuf=contentBuf.toString() ;intbeginIx=buf.indexOf("查询结果[");intendIx=buf.indexOf("以上四项依次显示");Stringresult=buf.substring(beginIx,endIx);System.out.println(" captureHtml() 结果：\n"+result);}

　　使用HttpURLConnection连接网站，使用bufReader保存网页返回的数据，然后通过自定义解析方式显示结果。

　　这里我只是随便解析了一下。如果解析非常准确，需要我自己处理。

　　解析结果如下：

　　captureHtml() 的结果：

　　搜索结果[1]：111.142.55.73 ==>> 1871591241 ==>> 福建省漳州市移动

　　二、抓取网页的JavaScript返回的结果。

　　有时网站为了保护自己的数据，不是直接在网页源码中返回数据，而是采用异步方式，用JS返回数据，可以避开搜索引擎和其他工具来网站数据捕获。

　　先看这个页面：

　　

　　第一种方式查看网页源码，但是没有找到运单的跟踪信息，因为是通过JS获取结果的。

　　但是有时候我们需要获取JS数据，这个时候我们应该怎么做呢？

　　这时候，我们需要用到一个工具：HTTP Analyzer。这个工具可以拦截Http的交互内容。我们使用这个工具来实现我们的目的。

　　第一次点击开始按钮后，开始*敏*感*词*网页的交互行为。

　　我们打开网页：，可以看到HTTP Analyzer列出了网页的所有请求数据和结果：

　　

　　为了更方便查看JS的结果，我们先清除数据，然后在网页中输入快递号：7，点击查询按钮，然后查看HTTP Analyzer的结果：

　　

　　这是点击查询按钮后HTTP Analyzer的结果，我们继续查看：

　　

　　

　　从上面两张图可以看出，HTTP Analyzer可以截取JS返回的数据并显示在Response Content中，同时可以看到JS请求的网页地址。

　　这种情况下，我们只需要分析HTTP Analyzer的结果，然后模拟JS的行为获取数据，也就是我们只需要访问JS请求的网页地址就可以获取数据，当然，前提是数据没有加密，我们记下JS请求的URL：

　　那就让程序请求这个网页的结果吧！

　　代码如下：

　　[java]

　　publicvoidcaptureJavascript(Stringpostid)throwsException{StringstrURL=""+postid+"&channel=&rnd=0";URLurl=newURL(strURL);HttpURLConnectionhttpConn=(HttpURLConnection)url.openConnection();InputStreamReaderinput=newInputStreamReader(httpConn.getInputStream() ,"utf-8");BufferedReaderbufReader=newBufferedReader(input);Stringline="";StringBuildercontentBuf=newStringBuilder();while((line=bufReader.readLine())!=null){contentBuf.append(line);} System.out.println("captureJavascript()的结果：\n"+contentBuf.toString());}

　　你看，爬取JS的方式和之前爬取原创网页的代码一模一样，我们只是做了一个解析JS的过程。

　　以下是程序执行的结果：

　　captureJavascript() 的结果：

　　运单追踪信息【7】

　　这些数据是JS返回的结果，我们的目的已经达到了！

　　希望这篇文章能对需要的人有所帮助。如需程序源代码，请点击此处下载