网页视频抓取脚本( 脚本之家代码简单易懂网站视频内容介绍(图))

　　网页视频抓取脚本(

脚本之家代码简单易懂网站视频内容介绍(图))

　　Python爬虫爬取一个网站视频的示例代码

　　更新时间：2021年2月20日09:58:23 作者：badbadboy

　　本文主要介绍python爬虫爬取某网站视频的示例代码。代码简单易懂。对大家的学习或工作有一定的参考价值。有需要的朋友可以参考。

　　将获取到的下载视频的url存放在一个数组中（也可以写成文件），调用迅雷接口自动下载。（请先下载迅雷，在迅雷设置中心下载管理中设置为一键下载）

　　实现代码如下：

<p>

from bs4 import BeautifulSoup

import requests

import os,re,time

import urllib3

from win32com.client import Dispatch

class DownloadVideo:

def __init__(self):

self.r = requests.session()

self.url=self.get_url()

self.download_urla=[]

self.download_urlb=[]

self.url_set=["%s/shipin/list-短视频.html"%self.url]

#获取最新网址

def get_url(self):

urllib3.disable_warnings(urllib3.exceptions.InsecureRequestWarning)

a=self.r.get('https://www.k58.com',verify=False)

b=a.url

return b

#几页内容的网址

def url_set1(self,n):

if n==2:

url="%s/shipin/list-短视频-2.html"%self.url

self.url_set.append(url)

elif n>=3:

m=n+1

for i in range(2,m):

url="%s/shipin/list-短视频-%d.html"%(self.url,i)

self.url_set.append(url)

else:

pass

#分别加载每一个页内容的网址

def download_url1(self):

for j in self.url_set:

urllib3.disable_warnings(urllib3.exceptions.InsecureRequestWarning)

r=self.r.get(j,verify=False)

sp1=r.content

soup = BeautifulSoup(sp1, "html.parser")

sp2 = soup.find_all(class_="shown")

for i in sp2:

url1=re.findall('