java抓取网页内容( 以上的代码程序是把一个网页的源代码a中)
优采云 发布时间: 2022-01-06 19:18java抓取网页内容(
以上的代码程序是把一个网页的源代码a中)
import java.io.BufferedReader;
import java.io.IOException;
import java.io.InputStreamReader;
import java.net.*;
public class loadurl {
public static void main(String args[]) {
String a = null;
try {
String url = "(这里替换成任意网页的网址)";
BufferedReader in = new BufferedReader(new InputStreamReader(
new URL(url).openConnection().getInputStream(), "GB2312"));//GB2312可以根据需要替换成要读取网页的编码
while ((a = in.readLine()) != null) {
System.out.println(a);
}
} catch (MalformedURLException e) {
} catch (IOException e) {
}
}
}
上述代码程序将一个网页的源代码,包括 HTML 和 XML,读入 JAVA 中的字符串 String a。
Java中的String类型空间很大,基本可以容纳一个网页源码的内容。
从网页中读取内容也是对输入流的操作。
与标准输入源不同,在:BufferedReader in = new BufferedReader(new InputStreamReader(...))
只需在 InputStreamReader 中输入 System.in。这里的输入源应该是:
(new URL(url).openConnection().getInputStream(), "GB2312")
后续的操作和处理与加载标准输入源完全一样。
BufferedReader 要求JAVA 必须捕获IOException,使用URL source 不仅要导入.* 包,还要捕获MalformedURLException。