java爬虫抓取网页数据(目标网络爬虫的是做什么的?手动写一个简单的网络 )

　　java爬虫抓取网页数据(目标网络爬虫的是做什么的?手动写一个简单的网络

)

　　目标网络爬虫做什么？手动编写一个简单的网络爬虫；1.网络爬虫1.1.名称1.2.简要说明2.流程

　　

　　通过上面的流程图，可以大致了解网络爬虫是做什么的，基于这些，就可以设计一个简单的网络爬虫了。

　　简单爬虫所需：

　　发送请求和获取响应的功能；解析响应的功能；存储过滤数据的功能；处理解析后的URL路径的功能；2.1. 关注

　　3. 分类

　　4. 思想分析

　　

　　首先观察我们爬虫的起始页是：

　　

　　所有好消息 URL 都由 XPath 表达式表示：//div[@class='main_l']/ul/li

　　

　　相关数据

　　好了，我们在上面的代码中找到了需要获取的关键信息的XPath表达式，接下来就可以正式写代码实现了

　　5. 代码实现

　　代码实现部分使用了webmagic框架，因为它比使用基础Java网络编程要简单很多注：webmagic框架可以看下面的讲义

　　5.1. 代码结构

　　

　　5.2. 程序入口

　　演示.java

　　/**

* 程序入口

*/

public class Demo {

​

public static void main(String[] args) {

// 爬取开始

Spider

// 爬取过程

.create(new WanhoPageProcessor())

// 爬取结果保存

.addPipeline(new WanhoPipeline())

// 爬取的第一个页面

.addUrl("http://www.wanho.net/a/jyxb/")

// 启用的线程数

.thread(5).run();

}

​

}

　　5.3. 爬取过程

<p>package net.wanho.wanhosite;

​

import java.util.ArrayList;

import java.util.List;

import java.util.Vector;

​

import us.codecraft.webmagic.Page;

import us.codecraft.webmagic.Site;

import us.codecraft.webmagic.processor.PageProcessor;

import us.codecraft.webmagic.selector.Html;

​

public class WanhoPageProcessor implements PageProcessor {

​

// 部分一：抓取网站的相关配置，包括编码、抓取间隔、重试次数等

private Site site = Site

.me()

.setTimeOut(10000)

.setRetryTimes(3)

.setSleepTime(1000)

.setCharset("UTF-8");

​

// 獲得站點

@Override

public Site getSite() {

return site;

}

​

//爬取過程

@Override

public void process(Page page) {

//获取当前页的所有喜报

List list = page.getHtml().xpath("//div[@class=&#39;main_l&#39;]/ul/li").all();

//要保存喜报的集合

Vector voLst = new Vector();

//遍历喜报

String title;

String content;

String img;

for (String item : list) {

Html tmp = Html.create(item);

//标题

title = tmp.xpath("//div[@class=&#39;content&#39;]/h4/a/text()").toString();

//内容

content = tmp.xpath("//div[@class=&#39;content&#39;]/p/text()").toString();

//图片路径

img = tmp.xpath("//a/img/@src").toString();

//加入集合

ArticleVo vo = new ArticleVo(title, content, img);

voLst.add(vo);

}

//保存数据至page中，后续进行持久化

page.putField("e_list", voLst);

//加载其它页

page.addTargetRequests( getOtherUrls());

}

//其它页

public List getOtherUrls(){

List urlLsts = new ArrayList();

for(int i=2;i