抓取网页视频的软件/pyspider抓取数据清洗阶段

　　抓取网页视频的软件/pyspider抓取数据清洗阶段

　　抓取网页视频的软件scrapy/pyspider抓取网页（数据清洗阶段）爬虫（数据存储阶段）

　　登录网页视频的话可以用phantomjs呀。用它抓取页面之后，就可以访问，

　　需要写相应的浏览器插件,googleearthexplorer上有,自己找找看,是chrome浏览器

　　/

　　我觉得从web到web的过程有以下三步:1.第一阶段python从上层获取数据并封装成request对象2.第二阶段用lxml对request对象进行解析并封装成cookie，传递给第三方web服务器，

　　phantomjs

　　我觉得crossinkedwebdevelopmenttoolkit非常适合抓取web页面

　　scrapygetpost都行，

　　pymysql,pymysqlalchemybs5,bs4imagekit,imagecacherequestsrequests11

　　我想去麦当劳全家福，

　　等学习到怎么抓取网页了，

　　可以用wget。

　　自己写爬虫是必须要提前准备好知识点的。爬百度里的东西这里都有过。java，python，ps或者python自带的idle，

　　requests请求网页f12打开控制台。可以看到包括headers这样的东西。f12全选headers然后单击右键，选择request。可以看到，getindexallurls的方式。按照网上的一些教程，回头再看看你是爬什么数据，再决定用哪个吧。