网页flash抓取器(思路找到合适的网页链接地址，python抓取抓取器)

　　网页flash抓取器(思路找到合适的网页链接地址，python抓取抓取器)

　　网页flash抓取器，工具简单，速度快，抓取个视频都没问题，采集下来的json格式的数据也很方便，比如字幕、遮罩、gif动图等等。主要效果是抓取知乎的视频和字幕，之前用过一个叫网页片段抓取器的，对于抓取知乎的视频效果不好，但对于抓取字幕是可以，抓取下来是字幕格式的数据，不能直接通过json、xml直接获取。

　　scrapy爬虫解决方案分享之后面有很多的开源爬虫工具，可以选择用。我建议知乎的爬虫可以用scrapy自带的工具，scrapy提供了爬虫，网页抓取等相关功能，网页抓取工具不多，都很不错。

　　视频有些小，有的是2.5k视频，大概有一百个左右，对于网页抓取这样的要求，只能选用多线程(如python里的twisted库)，速度跟传统的文件传输比有非常大的优势，但是如果数据不是非常多，那么不如filezilla之类的client。接下来详细介绍一下实际解决方案。思路找到合适的网页链接地址，python的话webbrowser抓取，需要一些配置，如urllib，filezilla等等。

　　1.python抓取小到知乎文章，大到一个新闻客户端都有比较详细的抓取教程.2.python抓取新闻客户端，网页网址不固定，找到合适的内容就做下采集工作，需要2.5k的资源，可以选择自定义agent，如果超过每分钟发生400个链接请求，就自己写代码记录链接哈希值，这样比较安全，加速不是特别快。3.单纯针对视频页面抓取，这个有比较多的开源爬虫，可以根据自己的情况选择对应工具，抓下来数据返回lxml结构，转成mysql或mongodb数据库存储。