文章网站自动采集发布(内涵吧内涵段子采集入口类Neihan8Crawl实现实现)
优采云 发布时间: 2021-11-01 00:12文章网站自动采集发布(内涵吧内涵段子采集入口类Neihan8Crawl实现实现)
本博客是博客的延伸。建议在阅读本博客之前先阅读之前的博客。
上一篇博客介绍了笑话集网站的自动采集。本文将展开,介绍多内涵栏的自动采集。
上一篇博客已经详细介绍了几个基础类,现在就拿构造子类来实现内涵段的内涵采集。
内涵栏 内涵段采集入口类Neihan8Crawl这里没有实现爬虫程序采集的周期性,这里可以根据自己的需要编写相应的线程。
<p> /**
*@Description:
*/
package cn.lulei.crawl.neihan8;
import java.io.IOException;
import java.util.ArrayList;
import java.util.HashSet;
import cn.lulei.db.neihan8.Neihan8DbOperation;
import cn.lulei.model.Neihan8;
import cn.lulei.util.ParseUtil;
import cn.lulei.util.ThreadUtil;
public class Neihan8Crawl {
//内涵吧更新列表页url格式
private static String listPageUrl = "http://www.neihan8.com/article/list_5_%pno%.html";
//两次访问页面事件间隔,单位ms
private static int sleepTime = 500;
/**
* @param start 起始页
* @param end 终止页
* @throws IOException
* @Date: 2014-2-13
* @Author: lulei
* @Description: 抓取更新列表页上的内容
*/
public void crawlMain(int start, int end) throws IOException{
start = start < 1 ? 1 : start;
Neihan8DbOperation neihan8DbOperation = new Neihan8DbOperation();
for ( ; start