*敏*感*词*带你，抓取小视频（批量下载）—— 实战篇

　　*敏*感*词*带你，抓取小视频（批量下载）—— 实战篇

　　前言

　　现在有很多很多的小视频，遇到自己喜欢的，一个一个保存有些麻烦，那有没有更加简单的方法呢？跟着我，一起来看看我是如何批量下载小视频的呢，我们以六间房为例，下载全部小视频。

　　01

　　首先，你要安装pycharm软件，具体操作可以参考这篇文章：，爬虫主要工具可以参考这篇文章：

　　今天介绍如何在pycharm中安装我们需要的模块。

　　首先打开pycharm，接着点击File，在点击Settings

　　依次点击Project: (这里是你创建的名字)，在点下面的ProjectInterpreter，点击 + 号进行添加模块

　　打开后，在空格里添加你要下载的模块，点击Install Package进行下载，下载过程会很慢，这时候我们添加国内镜像源

　　清华：https://pypi.tuna.tsinghua.edu.cn/simple

　　在这个界面点击 Manage Repositories，输入清华国内镜像源，即可。

　　02

　　爬虫思路分析，进入我们要分析的网页，按下F12，我们发现，这是瀑布流数据，随着鼠标的滑轮向下滚动，小视频则会加载更多

　　这时候我们需要构造请求头，我们发现请求头数据在下图，具体指出

　　03

　　接下来就是编写代码了

　　爬虫思路

　　1.分析目标网页，确定爬取的url路径，headers参数

　　2. 发送请求 -- requests 模拟浏览器发送请求，获取响应数据

　　3. 解析数据 -- json模块：把字符串转化成python可交互的数据类

　　4.保存数据 -- 保存在目标文件夹中

　　1. 导入模块，添加请求头

　　import requestsbase_url = "https://v.6.cn/minivideo/getlist.php?act=recommend&page=1&pagesize=25"headers = {'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.163 Safari/537.36'}

　　2.发送请求，获取数据

　　3. 解析数据

　　data_list = data["content"]["list"]for data1 in data_list:    video_title = data1["title"] + ".mp4" # 这是视频标题    video_url = data1["playurl"] # 这是我们想要的视频地址    # 请求视频地址，因为是二进制所以用content    video_data = requests.get(video_url, headers=headers).content

　　4. 保存数据

　　 # 保存的数据必须在for循环的里面    with open(r'你想要保存的目录' + video_title, mode="ab") as f: print("正在下载视频：" + video_title) f.write(video_data) print("下载完成：" + video_title)

　　5.过程图

　　6.查看视频

　　小结

　　本文主要内容是，如何在pycharm中安装及使用requests模块，介绍了网站的分析，提前部署请求头，模拟浏览器，针对反爬虫提前做了准备。

　　创作不易，欢迎关注

　　往期精彩，欢迎浏览