网页抓取数据(java利用url实现网页内容抓取的相关内容吗，zangcunmiao在本文为您仔细讲解)

　　网页抓取数据(java利用url实现网页内容抓取的相关内容吗，zangcunmiao在本文为您仔细讲解)

　　想知道java使用url实现网页内容爬取的相关内容吗？在本文中，藏村淼将仔细讲解java实现网页内容爬取的相关知识以及一些代码示例。欢迎阅读和指正。我们先重点介绍：java实现网页数据抓取，java实现网页内容抓取，url抓取工具，一起来学习。

　　无事可做，刚学会了将git部署到远程服务器上，无事可做，所以干脆做了一个抓取网页信息的小工具。如果将其中的一些值设置为参数，扩展性能会更好！我希望这是一个好的开始，它也让我更熟练地阅读字符串。值得注意的是JAVA1.8在使用String拼接字符串时会自动询问你。拼接后的字符串由StringBulider处理，极大的优化了String的性能。废话不多说，晒出我的XXX码～

　　运行结果：

　　

　　先打开百度百科，搜索一个词条，比如“演员”，然后按F12查看源码

　　

　　然后抓取你想要的标签，注入到LinkedHashMap中，就可以了，很简单吧？看代码

　　

import java.io.BufferedReader;

import java.io.IOException;

import java.io.InputStreamReader;

import java.net.HttpURLConnection;

import java.net.URL;

import java.util.*;

/**

* Created by chunmiao on 17-3-10.

*/

public class ReadBaiduSearch {

//储存返回结果

private LinkedHashMap mapOfBaike;

//获取搜索信息

public LinkedHashMap getInfomationOfBaike(String infomationWords) throws IOException {

mapOfBaike = getResult(infomationWords);

return mapOfBaike;

}

//通过网络链接获取信息

private static LinkedHashMap getResult(String keywords) throws IOException {

//搜索的url

String keyUrl = "http://baike.baidu.com/search?word=" + keywords;

//搜索词条的节点

String startNode = "";

//词条的链接关键字

String keyOfHref = "href=\"";

//词条的标题关键字

String keyOfTitle = "target=\"_blank\">";

String endNode = "";

boolean isNode = false;

String title;

String href;

String rLine;

LinkedHashMap keyMap = new LinkedHashMap();

//开始网络请求

URL url = new URL(keyUrl);

HttpURLConnection urlConnection = (HttpURLConnection) url.openConnection();

InputStreamReader inputStreamReader = new InputStreamReader(urlConnection.getInputStream(),"utf-8");

BufferedReader bufferedReader = new BufferedReader(inputStreamReader);

//读取网页内容

while ((rLine = bufferedReader.readLine()) != null){

//判断目标节点是否出现

if(rLine.contains(startNode)){

isNode = true;

}

//若目标节点出现，则开始抓取数据

if (isNode){

//若目标结束节点出现，则结束读取，节省读取时间

if (rLine.contains(endNode)) {

//关闭读取流

bufferedReader.close();

inputStreamReader.close();

break;

}

//若值为空则不读取

if (((title = getName(rLine,keyOfTitle)) != "") && ((href = getHref(rLine,keyOfHref)) != "")){

keyMap.put(title,href);

}

}

}

return keyMap;

}

//获取词条对应的url

private static String getHref(String rLine,String keyOfHref){

String baikeUrl = "http://baike.baidu.com";

String result = "";

if(rLine.contains(keyOfHref)){

//获取url

for (int j = rLine.indexOf(keyOfHref) + keyOfHref.length();j < rLine.length()&&(rLine.charAt(j) != '\"');j ++){

result += rLine.charAt(j);

}

//获取的url中可能不含baikeUrl,如果没有则在头部添加一个

if(!result.contains(baikeUrl)){

result = baikeUrl + result;

}

}

return result;

}

//获取词条对应的名称

private static String getName(String rLine,String keyOfTitle){

String result = "";

//获取标题内容

if(rLine.contains(keyOfTitle)){

result = rLine.substring(rLine.indexOf(keyOfTitle) + keyOfTitle.length(),rLine.length());

//将标题中的内容含有的标签去掉

result = result.replaceAll("||</a>|<a>","");

}

return result;

}

}

　　以上是本文的全部内容。希望本文的内容能给大家的学习或工作带来一些帮助，希望大家多多支持！

　　相关文章