c爬虫抓取网页数据(乌云网我写的一个公用的HttpUtils..例子 )

　　c爬虫抓取网页数据(乌云网我写的一个公用的HttpUtils..例子

)

　　我最近在公司建立了一个系统。因为想获取一些网页数据和一些网页数据，所以写了一个公开的HttpUtils。下面是我为乌云网写的一个例子。

　　一、 首先获取指定路径下的网页内容。

　　 public static String httpGet(String urlStr, Map params) throws Exception {

StringBuilder sb = new StringBuilder();

if (null != params && params.size() > 0) {

sb.append("?");

Entry en;

for (Iterator ir = params.entrySet().iterator(); ir.hasNext();) {

en = ir.next();

sb.append(en.getKey() + "=" + URLEncoder.encode(en.getValue(),"utf-8") + (ir.hasNext() ? "&" : ""));

}

}

URL url = new URL(urlStr + sb);

HttpURLConnection conn = (HttpURLConnection) url.openConnection();

conn.setConnectTimeout(5000);

conn.setReadTimeout(5000);

conn.setRequestMethod("GET");

if (conn.getResponseCode() != 200)

throw new Exception("请求异常状态值:" + conn.getResponseCode());

BufferedInputStream bis = new BufferedInputStream(conn.getInputStream());

Reader reader = new InputStreamReader(bis,"gbk");

char[] buffer = new char[2048];

int len = 0;

CharArrayWriter caw = new CharArrayWriter();

while ((len = reader.read(buffer)) > -1)

caw.write(buffer, 0, len);

reader.close();

bis.close();

conn.disconnect();

//System.out.println(caw);

return caw.toString();

}

　　浏览器查询结果：

　　代码查询结果与上面一致：

　　二、通过指定url获取你想要的数据。

　　此方法需要导入Jsoup包，可以从网上下载。

　　Document doc = null;

try {

doc = Jsoup.connect("http://www.wooyun.org//bugs//wooyun-2016-0225856").userAgent("Mozilla/5.0 (Windows NT 10.0; Trident/7.0; rv:11.0) like Gecko").timeout(30000).get();

} catch (IOException e) {

e.printStackTrace();

}

for(Iterator ir = doc.select("h3").iterator();ir.hasNext();){

System.out.println(ir.next().text());

}

　　对于select选择器，根据条件选择，doc.select("h3").iterator()，Jsoup的规则如下：

　　jsoup 是一个基于 Java 的 HTML 解析器，可以直接解析 URL 地址或 HTML 文本内容。它提供了一个非常省力的API，可以通过DOM、CSS和类似jQuery的操作方法来检索和操作数据。

　　jsoup 的强大之处在于它对文档元素的检索。 Select 方法将返回元素集合并提供一组方法来提取和处理结果。要掌握Jsoup，首先要熟悉它的选择器语法。

　　1、Selector 选择器的基本语法

　　2、Selector 选择器组合语法

　　3、Selector 伪选择器语法

　　注意：上面的伪选择器索引从0开始，表示第一个元素的索引为0，第二个元素的索引为1，以此类推。

　　浏览器访问：

　　代码访问：