智能采集组合文章(智能采集组合文章页抓取全部网页，google首页应该没问题)

　　智能采集组合文章(智能采集组合文章页抓取全部网页，google首页应该没问题)

　　智能采集组合文章页抓取。第一步先抓取全部网页，第二步再写入工作表。第三步就是工作表填充了不行不行，抓取页面目录要是有误的话还要修改，影响我们业务。找个懂的吧，老板催了，

　　这问题我不好回答你，因为我没用过啊如果用python爬虫，不嫌麻烦可以去看下基础python爬虫的文章。实在嫌麻烦就看python的爬虫工具库lxml吧，如果不会可以去documentation搜索html+xpath,xpathconverter可以用它做个简单文本爬虫。我想既然你都是爬百度首页了，google首页也应该没问题。

　　1、html全局搜索；

　　2、问我；（探寻技术）

　　3、联系我；（公司实际需求）

　　4、带上问题来，带上需求来，

　　自荐一下，talkingdata2018年数据爬虫发布会里，发布了国内大部分网站的爬虫，想要的话可以私信我。

　　第一个是用html全局搜索，就是通过你爬取的整个页面来搜索，然后用xpath解析。第二个是利用xpathconverter，搜索文档的时候html标签对应到xpath中，浏览器会自动帮你解析。

　　全局搜索第一，否则没啥用，之前有用过爬取全站数据，现在用得比较少。想学习的话可以去看看一些python爬虫的书。