java爬虫抓取动态网页(Java的HTML解析器，可直接解析某个URL地址、HTML文本内容)

　　java爬虫抓取动态网页(Java的HTML解析器，可直接解析某个URL地址、HTML文本内容)

　　Jsoup 是一个 Java HTML 解析器，可以直接解析 URL 地址和 HTML 文本内容。它提供了一个非常省力的API，可以通过DOM、CSS和类似jQuery的操作方法来检索和操作数据。 Jsoup的官网是：，其API手册的网址是：.

　　本次分享要实现的功能是：使用Jsoup抓取某个搜索词（暂时只有英文），百度百科的介绍部分。具体功能介绍请参考博客：Python爬虫自制简易搜索引擎。在上一个爬虫中，我们使用Python进行爬取。这一次，我们将使用Java来爬取。你没看错，是 Java。

　　在Eclipse中添加Jsoup包，下载地址为：.

　　爬虫的具体代码如下：

　　package baiduScrape;

/*

* 本爬虫主要利用Java的Jsoup包进行网络爬取

* 本爬虫的功能： 爬取百度百科的开头介绍部分

* 使用方法： 输入关键字（目前只支持英文）即可

*/

import org.jsoup.Jsoup;

import org.jsoup.nodes.Document;

import java.net.*;

import java.io.*;

import java.util.Scanner;

public class BaiduScrape {

public static void main(String[] args) {

Scanner input = new Scanner(System.in);

String baseUrl = "https://baike.baidu.com/item/";

String url = "";

// 如果输入文字不是"exit"，则爬取其百度百科的介绍部分，否则退出该程序

while(true) {

System.out.println("Enter the word(Enter 'exit' to exit):");

url = input.nextLine();

if(url.equals("exit")) {

System.out.println("The program is over.");

break;

}

String introduction = getContent(baseUrl+url);

System.out.println(introduction+'\n');

}

}

// getContent()函数主要实现爬取输入文字的百度百科的介绍部分

public static String getContent(String url){

// 利用URL解析网址

URL urlObj = null;

try{

urlObj = new URL(url);

}

catch(MalformedURLException e){

System.out.println("The url was malformed!");

return "";

}

// URL连接

URLConnection urlCon = null;

try{

urlCon = urlObj.openConnection(); // 打开URL连接

// 将HTML内容解析成UTF-8格式

Document doc = Jsoup.parse(urlCon.getInputStream(), "utf-8", url);

// 刷选需要的网页内容

String contentText = doc.select("div.lemma-summary").first().text();

// 利用正则表达式去掉字符串中的"[数字]"

contentText = contentText.replaceAll("\\[\\d+\\]", "");

return contentText;

}catch(IOException e){

System.out.println("There was an error connecting to the URL");

return "";

}

}

}

　　上面代码中url为输入词（暂时只有英文），一直进入while循环搜索，输入“exit”时退出。 contentText是词条百度百科简介的网页形式，通过正则表达式提取其中的文字。代码虽然简洁，但功能相当强大，充分说明Java也可以作为爬虫使用。

　　接下来是愉快的测试时间：

　　本次分享到此结束，我们会继续更新Jsoup的相关知识。欢迎交流~~

　　原文链接：