j2crawler是一个通用的、最小化依赖第三方组件、灵活扩充组件、开箱即用分布式爬虫java，简单易用性、支持目前主流的通用的解析句型、灵活多变的实时/离线抓取形式、遵循Springboot规范、并且支持分布式布署的Java爬虫引擎，能够最大程度的提升一个爬虫菜鸟建立一个高可用性、高性能的爬虫应用的门槛分布式爬虫java，并且提高开发爬虫系统的开发效率，只须要具备一些简单的网页解析句型同时遵守j2crawler少量开发约束即可。
　　J2crawler爬虫引擎构架图：
　　
　　J2crawler爬虫引擎内部组件构架图：
　　
　　添加starter依赖
　　 <dependency>
<groupId>com.saas.jplogiccloud</groupId>
<artifactId>jplogiccloud-starter-j2crawler</artifactId>
</dependency>
　　在springboot应用配置实例demo
　　按照引擎的规范创建FetchJob即可（具体原理详见以上构架图），引擎启动时手动添加Job到引擎上下文中并根据自己的订制调度该FetchJob;
　　package com.saas.jplogiccloud.crawler.jobs;
import com.saas.jplogiccloud.starter.j2crawler.annotation.FetchJob;
import com.saas.jplogiccloud.starter.j2crawler.core.*;
import lombok.extern.slf4j.Slf4j;
import org.seimicrawler.xpath.JXDocument;
import java.util.ArrayList;
import java.util.List;
@FetchJob(fetchTimeOut = 60000, jobName = "demoFetchJob")
@Slf4j
public class DemoFetchJob extends BaseFetchJob {
@Override
public List<FetchReq> initFetchReqs() {
List<FetchReq> fetchReqs = new ArrayList<>();
FetchReq fetchReq = FetchReq.builder()
.reqUrl("http://www.ip3366.net/?stype=1&page=1")
.onFetchBack("onFetch")
.fetcherType(FetcherType.WEBDRIVER)
.build();
fetchReqs.add(fetchReq);
return fetchReqs;
}
@Override
public String[] initFetchUrls() {
return null;
}
@Override
public void onFetch(FetchResp resp) {
try {
JXDocument doc = FetchParser.getJXDoc(resp);
String url = resp.getUrl();
if(url.indexOf("www.ip3366.net") != -1){
getCloudProxyIp(resp, doc);
}
} catch (Exception e) {
log.info(">>>> demoFetchJob-> 抓取数据异常:{}", e.getMessage());
e.printStackTrace();
}
}

private void getCloudProxyIp(FetchResp resp, JXDocument doc) {
}
}
　　配置springboot引擎配置application.yml
　　j2crawler:
application:
enabled: true
jobnames: "poxyIpFetchJob"
threadunit: 2
driver:
driverKey: "webdriver.chrome.driver"
driverPath: "C://Users//Administrator//AppData//Local//Google//Chrome//Application//chromedriver.exe"
　　剩下的就是springboot应用的其他配置了，在这里省略；
　　1、PoxyIpFetchJob ===> 免费代理IP抓取；
　　
　　
　　2、NCoVFetchJob ===> 2019NCov新型冠状疫情信息实时抓取；
　　
　　
　　
　　 查看全部

　　 result = requests.get(re.compile("\s").sub("", url), headers=headers, timeout=10) # 只需一行
即可抓取网页
　　> 是指从软件或者硬件上实现多个线程并发执行的技术。具有多线程能力的计算机因有硬件支持而能够在同一时间执行多于一个执行绪，进而提升整体处理性能。
　　爬虫是一个典型的多任务处理场景，在我们大多数爬虫程序中，往往最多是时间是在等待网路io网络爬虫技术，更详尽点说，时间耗费在每次HTTP请求时的tcp/ip握手和数据传输上。多线程或进程可以使我们并行地去做这种事情网络爬虫技术，对于爬虫的效率会有极大的提高。ps:友情提示:请准守 ‘平衡礼貌策略’。
　　以下内容均为伪代码
　　page = requests("")
　　
　　当然，requests有好多参数可以使用，具体可以查看requests的官方文档。
　　requests.get(url, data=payload) # get请求
""" POST请求 """
payload = {'key1': 'value1', 'key2': 'value2'}
requests.post(url, data=payload)
　　rdm = random.uniform(1, 9999999)
headers = {'User-Agent': agent.format(rdm=rdm)}
result = requests.get(url, headers=headers, timeout=10)
　　我们可以告诉 requests 在经过以 timeout 参数设定的秒数时间以后停止等待响应，以便避免爬虫卡死或特殊情况造成程序异常结束。
　　requests.get(re.compile("\s").sub("", url), timeout=10)
　　整个爬虫抓取的过程。也是我们与服务器斗智斗勇的过程，有的服务器并不希望我们去抓取他的内容和数据，会对我们的爬虫进行限制。
　　当然，我们仍然要记住我们的公理：所有网站均可爬。
　　这里举几个常见的防爬和反爬实例：
　　1 cookie[session]验证。 查看全部

　　此前我发布了一篇博客微博爬虫，每日百万级数据，并且把代码开源在了Github上，然后就有很多人联系我，也有公众号转载了这篇文章。
　　不过对于微博爬虫，我还是发懵的，因为没有解决帐号池的问题，所以每晚百万级的数据，是有水份的。单单爬好友关系，这种简单数据可以达到百万级，如果爬关键词搜索的微博，或者一个人的全部微博，是达不到百万级数据这个量的。
　　不过既然已然埋了坑，就要填！所以自从写了那片文章以后，就仍然想建立一个稳定的单机每日千万级的微博抓取系统。
　　值得庆贺的是，这个问题如今早已全面解决了！也对微博爬虫有了更深层次的认识！
　　目前微博一共有三个站点，分别是
　　
　　
　　
　　可以看见这三个站点的复杂程度是逐步增强的，很显然，如果能在最简单的完成的抓取，肯定不去复杂的起来抓，但是事实上，有的只能在复杂的抓取！
　　那哪些任务是完成不了的呢？可以说，抓取一个人的全部微博，抓取好友关系，抓取个人信息，这些都能在这个站点完成。
　　但是，就是有一个任务，实现不了，就是高级搜索
　　可能你常常有这样的须要，比如近来卡介苗风波盛行，你要抓取7月10号到7月20号这段时间，提及到卡介苗这个关键词的微博。
　　这显然是一个特别刚性的需求，这就要采用微博的中级搜索来完成了。
　　对于中级搜索插口，微博三个站点的情况是：
　　高级搜索入口：;f=s
　　
　　可以看见这儿可以筛选的条件是，类型，用户，时间，注意，这里的时间是以天为单位。
　　下面具体搜索一个关键词，疫苗
　　
　　
　　可以看见一页有10条搜索的结果，最多显示100页，也就是1000条结果，
　　所以，一次搜索的结果，最多返回1000条微博，
　　而这个站点的时间单位是天，所以例如搜索的时间段是10天，那么最多能抓取到10*1000=10000条数据。
　　很遗憾这个站点没有中级搜索插口
　　高级搜索入口：
　　
　　可以看见这儿可以筛选的条件是，类型，用户，时间，地区，注意，这里的时间是以小时为单位。
　　
　　这个站点一页是20条微博，最多50页，所以一次搜索也是最多返回1000条微博数据
　　但是这个站点的时间单位是小时，
　　所以诸如搜索的时间段是10天，那么最多能抓取到10*24*1000=240000条数据。
　　所以仅仅中级搜索有可能须要用到，并且是你须要的搜索结果数据很大，并且筛选条件太细，比如地区，其他所有爬虫需求都可以通过这个站点来抓取，包括比较简略的中级搜索
　　 还是传统的验证码，5位数的数字字母组合
　　
　　这种验证码可以通过扫码平台解决。具体的登录代码参考这儿
　　不过，由于你买的大号，可能因为频繁操作，被微博盯上了，登陆进去是帐号异常，这都会形成十分难受的验证码，如右图
　　
　　这种情况，我建议你舍弃医治吧，不要想着破解这些验证码了，所以通常买的大号，不是100%可以用，有一部分是异常帐号的！
　　根据以上这种剖析之后，要想建立千万级别的爬虫系统，只要做一件事情建立帐号池。
　　构建帐号池的步骤也十分简单：
　　1. 购买大量帐号
　　2. 登陆进微博，保存下cookie
　　就这两步，以后每次恳求，只要随机从帐号池中选择一个帐号即可。
　　对于和这两个站点的cookie是不同的，所以要建立两个帐号池，一个cn站点的，一个com站点的。
　　这时候，你结合我之前写的项目WeiboSpider就可以轻松达到每日百万级的数据抓取了！
　　注意这儿实际的抓取速率和你的帐号池大小和笔记本的带宽有很大关系，如果帐号池不大，请求的间隔延后就须要时间长一点，如果带宽小的话，每次恳求的历时也会长一点
　　我的数据是，
　　账号池里230个帐号新浪博客超级爬虫(网站推广工具) v14绿色版，每次恳求延后为0.1秒，可以达到三天200～300万的抓取结果。
　　我仍然觉得，我里面建立的这个爬虫，已经占满了带宽！
　　有一次，我又启动了一个爬虫程序，发现另一个爬虫，也可以达到三天200～300万的抓取速率，同时之前的爬虫也是在以三天200～300万的抓取速率在运行，
　　所以，仅仅是因为CPU限制了爬虫的抓取量，而不是网路IO！
　　所以只须要用多进程优化即可，这里推荐Redis-Scrapy，所有的爬虫共享一个Redis队列，通过Redis统一给爬虫分配URL，这样就是一个分布式的抓取系统了。
　　可以分别布署在不同的机器上(如果一个机器带宽/CPU占用满了)，或者就在一个机器上开多个进程即可。
　　就这样，我开了5个进程，不敢多开，毕竟帐号池还是200多个。
　　然后结果就是：
　　
　　一分钟可以抓取8000条数据新浪博客超级爬虫(网站推广工具) v14绿色版，一天可以达到1100万+
　　这个抓取系统目前仍然在稳定运行
　　所以就此实现了最初的目标，千万级别的微博爬虫系统
　　至此，可以说，彻底解决了一切关于微博爬虫的问题！！！
　　开源代码在这里，你须要添加自己的帐号池. 查看全部

　　Robots协议（也称为爬虫协议、机器人合同等）的全称是“网络爬虫排除标准”（Robots Exclusion Protocol），网站通过Robots协议告诉爬虫什么页面可以抓取，哪些页面不能抓取。
　　robots.txt文件是一个文本文件，使用任何一个常见的文本编辑器关于网络爬虫协议文件robotstxt，比如Windows系统自带的Notepad，就可以创建和编辑它。robots.txt是一个合同，而不是一个命令。robots.txt是搜索引擎中访问网站的时侯要查看的第一个文件。robots.txt文件告诉蜘蛛程序在服务器上哪些文件是可以被查看的。
　　如何查看采集的内容是的有rebots合同？
　　其实技巧很简单。你想查看的话就在IE上打你的网址/robots.txt要是说查看剖析robots的话有专业的相关工具 站长工具就可以!
　　爬虫作为一种计算机技术就决定了它的中立性，因此爬虫本身在法律上并不被严禁，但是借助爬虫技术获取数据这一行为是具有违规甚至是犯罪的风险的。
　　举个反例：像微软这样的搜索引擎爬虫，每隔几天对全网的网页扫一遍，供你们查阅，各个被扫的网站大都很开心。这种就被定义为“善意爬虫”。但是象购票软件这样的爬虫，对着 12306 每秒钟恨不得撸几万次，铁总并不认为很开心关于网络爬虫协议文件robotstxt，这种就被定义为“恶意爬虫”。
　　爬虫所带来风险主要彰显在以下3个方面：
　　违反网站意愿，例如网站采取反爬举措后，强行突破其反爬举措；
　　爬虫干扰了被访问网站的正常营运；
　　爬虫抓取了遭到法律保护的特定类型的数据或信息。
　　解释一下爬虫的定义：网络爬虫（英语：web crawler），也叫网路蜘蛛（spider），是一种拿来手动浏览万维网的网路机器人。
　　网络爬虫抓取的数据有如下规则：
　　数据完全公开
　　不存在也未能做到越权访问爬取
　　常见错误观点：认为爬虫就是拿来抓取个人信息的，与信用基础数据相关的。 查看全部

　　
　　爬淘宝商铺？就那么简单
　　在数据营销中，有效、及时地把握第一手数据常常是基本中的基本。在电子商务中更是这样天猫爬虫，了解竞争对手的动态可以使你更好地对自身产品、定价和表现形式进行优化。本篇我们将奔向主题提供一种简单的抓取天猫店数据的方式。
　　
　　这或许是最简单的爬虫方式
　　我们将用到的是谷歌Chrome浏览器的桌面版，还有Chrome的浏览器插件Web Scraper。该插件可以在webscraper.io下载到，完全免费。
　　
　　安装完Web Scraper可以在Chrome右上角找到图标
　　我们假定在Windows平台上，按F12。Chrome开发者工具会弹出。我们在菜单中选择最左边的Web Scraper先放到一边。至此打算工作已完成。
　　我们打开天猫店铺总能见到全部商品分类的选项。我们选中后会带我们去和下边URL相像的地址。
　　spm=a1z10.5-b-s.w17695525-15102841353.2.1be86b1ednN0aS&search=y
　　上面URL中标红的参数spm并没有用，有用的是search还有未在里面出现的pageNo。前者永远为y，后者为页数。那么索尼官方旗舰店的第二页商品列表的URL就是
　　y&pageNo=2
　　而索尼官方旗舰店产品只有5页。所以我们先把这个URL规律和总商品页数记出来。
　　我们回到Web Scraper。点击Create new sitemap。依次填入Sitemap name：sony-tmall和Start URL：;pageNo=2。点击Create Sitemap按键。
　　
　　我们先尝试抓取第二页上的所有商品
　　新建后我们会在有一个Add new selector黑色按键的界面。此处我们的位置为_root。
　　这里的selector的意思是CSS Selector即CSS选择器。我们在之前文章中详尽介绍过。
　　CSS选择器的作用是在HTML中定位。我们如今浏览器的地址栏中打开我们要爬的页面。然后点击刚刚提及的白色按键Add new selector。
　　我们首先要选的是页面元素天猫爬虫，每个元素就是一个商品的长方形表示区域。在Id中填入item，在Type中选择Element后，我们点击Selector中的Select按键。
　　
　　鼠标渐渐联通，直到整个元素不多不少高亮
　　当你的键盘此时放在商品区域边沿时，该区域会高亮，点击后再按下边的白色按键Done selecting!你会发觉Data preview门口早已手动输入了选择器。
　　如果此时你跟随马老师的节奏，你的选择器看上去会是这个样子：div.item5line1:nth-of-type(1) dl.item:nth-of-type(2)
　　启用Element preview按键时，该块区域会再度高亮，先关掉它。接下去我们点上Multiple这个选框，没哪些变化，这是因为我们的选择器只选择了一件商品。因此我们要自动进行更改，去掉一些过滤条件把它简化为divdl.item。
　　当我们再度启用Element preview时，就能看见所有商品区域都高亮了。
　　
　　Checkpoint，看下是不是做对了
　　点击红色按键Save selector保存。我们的第一个选择器就完成了。
　　上面我们只是对一个个商品单元做了定位，它们相当于你的数据表中的每一行。接下来每一列就是我们要在商品单元中真正抓取的数据了。我们大约须要抓取商品名称（title）、价格（price）、销量（sale）、评价（comment）这些数据。于是我们点入刚才我们新建的选择器开始新建那些列。此时我们的位置在_root / item。
　　上述4个数据元素的选择器构建方式和我们里面的方式基本一致，为了节约篇幅我们只说一些区别。
　　类型（Type）不再选择Element而是Text。由于每位单元中只有一个惟一数据源，因此不勾选Multiple。Parent Selectors记得选择item而不是_root。评论的选择器中添加Regex：[0-9]+这是为了去除“评价: ”而只保留纯数字。
　　最后我们要建一个产品ID栏——product_id。选择器为_parent_
　　
　　注意Type和Attribute name：data-id
　　保存完最后这个属性后，我们可以看见界面中有这种选择器，上面略过的所有选择器都在右图中列举，可直接使用：
　　
　　这就是我们要抓取的每位商品的5个属性
　　点击_root回到上一层，然后点击红色按键Data preview，我们就可以预览这个页面上我们要抓取的内容。
　　
　　检视是否数据已被正确抓取辨识
　　是不是觉得渐入佳境了？你会发觉有几个商品的评论数为null，这是因为这些是页面顶部的促销款式，我们可以在导入后在Excel中过滤掉。现在先不用处理。
　　你是否注意到我们只抓了第二页？别急，我们如今就来补完。你应当注意到页脚2/5了。没错一共有5页。我们可以点击菜单中的Edit metadata来修改Sitemap的设定。
　　
　　更改抓取页面范围
　　我们只要将Start URL改为;pageNo=[1-5]就可以连续抓5个页面了，请放心食用。改完保存后就可以点选上图菜单中的Scrape，然后开始一街抓取。这里请注意，由于防爬虫机制假如你未登入淘宝，那么过不了多久马爷爷会请你输入验证码。因此建议你保持登入状态。（至于登陆后是不是会封号，请后果自负……）
　　爬完了点击refresh就可以看见抓取完的数据了。是不是满意呢？再次点击上图菜单中的Export data as CSV即可导入数据到Excel进行后续的剖析处理，这里不再赘言。
　　 查看全部

　　
　　以 为例讲解标签采集
　　注：更详尽的剖析说明可以参考本指南
　　操作指南 > 软件操作 > 内容采集规则 > 标签编辑
　　我们首先查看它的页面源代码，找到我们“标题”所在位置的代码：
　　<title>导入Excle是跳出对话框~打开Excle出错 - 火车采集器帮助中心</title>
　　分析得出： 开头字符串为：<title>
　　结尾字符串为：</title>
　　数据处理——内容替换/排除：需要把- 火车采集器帮助中心 给替换为空
　　
　　内容标签的设置原理也是类似的，找到内容所在源码中的位置
　　
　　分析得出： 开头字符串为：<div id="cmsContent">
　　结尾字符串为：</div>
　　数据处理——HTML标签排除：把不需要的A链接等 过滤
　　
　　再设置个“来源”字段
　　
　　这样一个简单的文章采集规则就做好了文章采集地址，不知道网友们学会了没有呢文章采集地址，网页抓取工具顾名思义是适用于网页上的数据抓取，从前面的事例你们也可以看出，这类软件主要是通过源代码剖析才解析数据的。这里还有一些情况是没有列举的，比如登陆采集，使用代理采集等，如果对网页抓取工具感兴趣的可以登入采集器官网自行学习一下。 查看全部