java爬虫抓取网页数据( java爬虫实战之模拟登陆的内容介绍及使用工具介绍)

　　java爬虫抓取网页数据(

java爬虫实战之模拟登陆的内容介绍及使用工具介绍)

　　java爬虫模拟登陆实例详解​​

　　更新时间：2021年1月18日15:54:18 作者：宋松勋爵

　　本文文章，小编将与大家分享一个java爬虫模拟登陆的详细例子。有兴趣的朋友可以参考一下。

　　使用jsoup工具可以解析某个URL地址和HTML文本内容，这是java爬虫的一个很好的优势，也是我们在网络爬虫中不可缺少的工具。本文小编带你使用jsoup实现java爬虫模拟登录。通过省力API，java爬虫模拟登录非常好。

　　一、使用工具：Jsoup

　　jsoup 是一个 Java HTML 解析器，可以直接解析一个 URL 地址和 HTML 文本内容。它提供了一个非常省力的API，可以通过DOM、CSS和类似jQuery的操作方法来检索和操作数据。

　　二、实现java爬虫模拟登录

　　1、确定要爬取的url

　　

import java.io.BufferedWriter;

import java.io.FileOutputStream;

import java.io.IOException;

import java.io.OutputStreamWriter;

import java.util.Map.Entry;

import java.util.Set;

import org.jsoup.Connection;

import org.jsoup.Jsoup;

import org.jsoup.nodes.Document;

import org.jsoup.nodes.Element;

public class SplitTable {

public static void main(String[] args) throws IOException {

//想要爬取的url

String url = "http://jwcnew.nefu.edu.cn/dblydx_jsxsd/xskb/xskb_list.do?

Ves632DSdyV=NEW_XSD_PYGL";

String username = "";

String password = "";

String sessionId = getSessionInfo(username,password);

spiderWebSite(sessionId,url);

}

　　2、获取 sessionId

　　

private static String getSessionInfo(String username,String password)

throws IOException{

　　3、登录网站，返回sessionId信息

　　

Connection.Response res = Jsoup.connect(http://jwcnew.nefu.edu.cn/dblydx_jsxsd/xk/LoginToXk)

　　4、获取 sessionId

　　

String sessionId = res.cookie("JSESSIONID");

System.out.println(sessionId);

return sessionId;

}

　　5、抓取内容

　　

private static void spiderWebSite(String sessionId,String url) throws IOException{

//爬取

Document doc = Jsoup.connect(url).cookie("JSESSIONID", sessionId).timeout(10000).get();

Element table = doc.getElementById("kbtable");

//System.out.println(table);

BufferedWriter bw = new BufferedWriter

(new OutputStreamWriter(new FileOutputStream("F:/table.html")));

bw.write(new String(table.toString().getBytes()));

bw.flush();

bw.close();

}

}

　　示例代码扩展：

　　

import java.io.IOException;

import java.util.HashMap;

import java.util.List;

import java.util.Map;

import org.jsoup.Connection;

import org.jsoup.Jsoup;

import org.jsoup.Connection.Method;

import org.jsoup.Connection.Response;

import org.jsoup.nodes.Document;

import org.jsoup.nodes.Element;

public class LoginDemo {

public static void main(String[] args) throws Exception {

LoginDemo loginDemo = new LoginDemo();

loginDemo.login("16xxx20xxx", "16xxx20xxx");// 用户名，和密码

}

/**

* 模拟登陆座位系统

* @param userName

* 用户名

* @param pwd

* 密码

*

* **/

public void login(String userName, String pwd) throws Exception {

// 第一次请求

Connection con = Jsoup

.connect("http://lib???.?????????.aspx");// 获取连接

con.header("User-Agent",

"Mozilla/5.0 (Windows NT 6.1; WOW64; rv:29.0) Gecko/20100101 Firefox/29.0");// 配置模拟浏览器

Response rs = con.execute();// 获取响应

Document d1 = Jsoup.parse(rs.body());// 转换为Dom树

List et = d1.select("#form1");// 获取form表单，可以通过查看页面源码代码得知

// 获取，cooking和表单属性，下面map存放post时的数据

Map datas = new HashMap();

for (Element e : et.get(0).getAllElements()) {

//System.out.println(e.attr("name")+"----Little\n");

if (e.attr("name").equals("tbUserName")) {

e.attr("value", userName);// 设置用户名

}

if (e.attr("name").equals("tbPassWord")) {

e.attr("value", pwd); // 设置用户密码

}

if (e.attr("name").length() > 0) {// 排除空值表单属性

datas.put(e.attr("name"), e.attr("value"));

}

}

/**

* 第二次请求，post表单数据，以及cookie信息

*

* **/

Connection con2 = Jsoup

.connect("http://lib???.?????????.aspx");

con2.header("User-Agent",

"Mozilla/5.0 (Windows NT 6.1; WOW64; rv:29.0) Gecko/20100101 Firefox/29.0");

// 设置cookie和post上面的map数据

Response login = con2.ignoreContentType(true).method(Method.POST)

.data(datas).cookies(rs.cookies()).execute();

// 登陆成功后的cookie信息，可以保存到本地，以后登陆时，只需一次登陆即可

Map map = login.cookies();

//下面输出的是cookie 的内容

for (String s : map.keySet()) {

System.out.println(s + "=====-----" + map.get(s));

}

System.out.println(login.body());

/**

* 登录之后模拟获取预约记录

*

* */

Connection con_record = Jsoup

.connect("http://lib???.?????????.aspx");// 获取连接

con_record.header("User-Agent",

"Mozilla/5.0 (Windows NT 6.1; WOW64; rv:29.0) Gecko/20100101 Firefox/29.0");// 配置模拟浏览器

con_record.cookies(datas);

Response record = con_record.ignoreContentType(true)

.method(Method.GET)

.cookies(rs.cookies())

.execute();

System.out.println(record.body());

}

}

　　这里是java爬虫模拟登录示例的详细讲解文章。更多java爬虫实战模拟登录的相关内容，请搜索前面的文章或继续浏览下面的相关文章，希望大家以后多多支持Scripthome！