手机网页视频抓取(手机网页视频抓取——小爬虫小js脚本的区别)

　　手机网页视频抓取(手机网页视频抓取——小爬虫小js脚本的区别)

　　手机网页视频抓取，可能有一个参数就是response的host，假设你抓取的是在线视频网站的，那么它的response的host就是，你注册账号，填你的手机号，就可以上传视频。只是上传视频不能直接登录，要使用自己注册的账号。

　　最早是在手机端开发pc端视频抓取的，其实方法有很多种，我最近研究了一下。pc端视频抓取——小爬虫小爬虫的功能之一就是爬取网页视频。当我们看到视频的时候，我们会发现这是一个js脚本可以实现的，比如我们搜索某个剧的时候，它会抓取我们的网址然后解析出来在对应的视频页面。我们可以用前端抓包工具来截取浏览器网页ua。

　　以下为详细过程。工具：xhr捕获脚本arsharpgithub：shenzazhishu/arsharp-xhr捕获脚本我们抓取视频的时候一般会导入以下的库中：xhr,firebug,arsharp2.这三个是用来抓取页面中js脚本的。3.脚本有很多，比如arsharp是基于downloadjs框架，然后封装了firebug,arsharp2或者其他的第三方库，然后实现的爬虫。

　　我们先来看下firebug和arsharp的区别：firebug，chrome使用的网页抓取，arsharp没有使用，而是自己造轮子。所以做了自己的爬虫框架。arsharp的操作类似于firebug里面的基本操作，比如：进度条的标注。有错误提示。停止工作。再来看下firebug只支持js捕获的方式，而arsharp选择了用chrome下extension:firebug框架来捕获。

　　4.然后再讲一下urlconnection和request比较：urlconnection可以用户自定义url，你可以获取任意url都可以写成urlconnection，比如在小爬虫中，我们用手机号手机验证码，那么写成urlconnection就可以获取到我们用户所对应的视频，但是写成urlconnection却不行，但是写成curlconnection它却可以获取到所有人的请求。

　　然后我们来看下curlconnection的一些用法：先看下curlconnection的一些情况：获取url，再获取视频地址或者要求地址格式如果你有爬虫本身要求的要素它是可以通过arsharp，也就是当前页面，获取到视频的我觉得一般抓取视频可以分为以下几种：1.分析下载的页面获取视频地址或者要求地址或者后缀2.看别人的抓取方法然后模仿着找，或者想办法解析出url地址3.新闻里面的视频,知乎中的视频也是这个方法比较多，有些知乎的我没有抓取所以就不展示了。有需要可以找我。