爬虫抓取网页数据（具体见前面回答）(图)

　　爬虫抓取网页数据（具体见前面回答）(图)

　　爬虫抓取网页数据（具体见前面回答）但是抓取的数据只是展示给用户的页面内容，用户只能看到被抓取的网页部分数据，如果想完整显示并且获取到整个页面就需要将抓取来的页面内容进行提取出html源代码。这就是我们说的爬虫抓取。提取页面出来，再提取出页面内容，就会在google搜索出网页网址。可以google搜索“组合”，就可以得到对应页面的网址。这个页面就是我们想要爬取的数据。

　　给楼主解释一下三种网站的抓取原理:1。crawler抓取网页获取数据;2。request获取请求;3。navigator展示抓取内容;crawler抓取网页获取数据就是多个抓取用crawler并发处理网页内容，获取数据最新;request是一个类似于数据库访问和关系数据库一样的接口，而我们爬虫需要request就是一个网站订阅者，用户点击链接你就可以获取对应网页内容，request抓取返回页面内容，然后用户再查看你的数据，那么我们怎么才能获取到数据呢?。

　　seleniumie浏览器试试抓，其他浏览器都不行。

　　楼主这个问题问的比较笼统，抓取其实有很多种，有浏览器抓取，一个浏览器多个入口可以说是批量抓取；还有还有一些网站已经为你特制了反爬虫机制，你得根据你的需求对抓取的url进行改变，比如知乎的话题个人中心。如果需要抓取整个知乎网站，那么你需要对每个话题都抓取，而且得是大站，每个话题页面得支持跳转，比如汽车话题页面要支持用户发车和未发车，而人类话题页面也要支持点赞和发帖，这样才有效果，当然，前提是每个话题页面你的目标网站要支持。

　　除此之外，给你推荐一篇文章，说的是爬虫分类，你可以看一下。[1]yujunhucai,yedianwan,rebellwong,andyoungqinyi.weblibraryrequests:runinamultiplepages.sigurinskr2014,26(8):3333-3441.copyright2013-11-09.。