爬虫抓取网页数据(网页爬虫抓取网页数据怎么做？吗？跑爬虫)

　　爬虫抓取网页数据(网页爬虫抓取网页数据怎么做？吗？跑爬虫)

　　爬虫抓取网页数据，然后筛选，我觉得就这样就差不多了。更简单的就是用翻页爬虫，爬取整个页面，然后按页码来爬取相关数据。

　　爬虫呗，

　　用爬虫

　　不要让人来给你写，

　　清理所有回答。

　　按照楼主列出来的需求，目测这份数据还是在ip上批量抓取来的。

　　python3吗？跑爬虫应该还是有点必要的，写python去爬取这个行为不会被封ip，爬虫可以直接挂代理工具批量抓取，不过这些搜索引擎也都能抓取，

　　请不要再举例了。真心没什么好的方案，如果真是要爬一个网站，还不如把这个网站上全部url写成随机的并且分页，因为如果仅仅是爬一个页面，可能没什么好的办法。至于具体请求的抓取工具，你按照官方的要求的抓取设置就可以，其实不用用python写爬虫。再想创新还不如自己实现一个前后端分离的网站快呢。

　　python抓网页其实是有很好的方案的，google提供了一个全链接请求工具和一个高性能的http服务器。

　　同感，网页爬虫应该比较自己抓，你想想你要连续爬七八十页的一定爬几天吧，有没有这个耐心和毅力呢。首先要考虑，query是否够多可以直接爬出要抓取数据列表，然后爬多少页就一个stackrecument分页，这样是不是比自己抓快些？？如果只是单个网页的话那应该有urllib2可以直接调用里面的库。这里面爬多少页要看抓取什么网站了，或者就单个页面爬。以上一些是我自己瞎写一写看的，可能有误。但是我觉得有必要。