关键词采集词(关键词采集词的抓取长尾(一)_互联网)

　　关键词采集词(关键词采集词的抓取长尾(一)_互联网)

　　关键词采集词抓取长尾关键词抓取词之后一般就不需要采集词了，要抓取的话，首先要有网站网页地址，然后进行词抓取。这里需要一个fiddlerfiddler抓取到的词是会被保存下来的，用requests库来获取网页的返回信息。一般抓取的页面下会有返回的json格式数据，这里用的是第三方库colorfuljson，返回的数据就可以用来解析。

　　把json数据解析到对应的网页上，就可以批量抓取了。解析的代码可以参考这里colorfuljson可以自动提取body中的重要数据，我用的python版本是2.6。这样我们就可以发现一般抓取的时候会加载很多网页，需要遍历每个网页去访问抓取。那么我们利用fiddler就可以使用js脚本来遍历每个网页的fiddler页，可以很快速的获取一些重要的json数据。

　　我用的js的版本是3.4，稍微低一点的版本可能操作有些复杂。欢迎关注我们的微信公众号：crossin的编程教室。定期推送互联网行业资讯、计算机基础知识教程、行业进阶技术、面试经验分享等干货。

　　太多了你得看你要抓取什么网站。

　　1、非搜索引擎排名和谷歌排名第一页，百度第一页，搜狗前三页，

　　2、其他抓取手机端的：百度搜索引擎前三页、头条前三页、知乎前三页、等等；

　　3、利用某个账号登录时所在的站点抓取：某站的qq号/邮箱/*敏*感*词*号/手机号/密码/qq空间/朋友圈/头像/访问日志/微博等等；

　　4、利用某些浏览器（是否正版另说）抓取某些网站和某些论坛：新浪博客、天涯博客、某某博客等等；

　　5、拿出鼠标在文字或者图片上画箭头画斜线画半角空格表示偏移量等等；