网页抓取数据 免费(网页抓取数据免费的工具多啊，selenium+requests对于一些简单的方法)

　　网页抓取数据 免费(网页抓取数据免费的工具多啊，selenium+requests对于一些简单的方法)

　　网页抓取数据免费的工具多啊，采集代理ip一抓一大把，提取excel数据等，种类繁多。可以借助抓取框采集器实现本地自动抓取，然后再批量上传到数据库里。还有一个更简单的方法，chrome网页抓取工具。

　　使用firebug，网页元素都能抓到。

　　利用用id查找浏览器地址栏所在行和列之间的关系

　　浏览器还有记录cookie的，就是说你可以看到你从哪里登陆，

　　给@李子熏的答案补充一点，虽然有诸多限制，但是也可以搜索。之前一位同学使用百度云播放器来抓网易云音乐等音乐app的免费歌曲。这篇文章有讲到一点。

　　selenium+requests

　　对于一些简单的爬虫工具，如果你的要求不高，简单用api就能满足，最简单的方法是从贴吧、微博之类的网站爬取站内信息：贴吧利用爬虫抓到的站内信也能得到一些有价值的信息，之后再根据用户评论信息、*敏*感*词*等信息来爬取个人信息和发表的言论。或者是从不具备公开数据和公开标注的电影网站爬取电影排行榜（豆瓣）：而对于*敏*感*词*复杂性的数据爬取，就很难通过爬虫工具实现，通常需要借助专业的数据工具：分布式爬虫软件：pxjs、scrapy、screrypro、hdf5等等专业的爬虫平台：如requests、urllib、lxml、codecs等等。