js提取指定网站内容(Python学习资料的PS学习方法（一）--Python )

　　js提取指定网站内容(Python学习资料的PS学习方法（一）--Python

)

　　PS：如需Python学习资料，可点击下方链接自行获取

　　基本步骤和准备

　　调试环境：

　　pycharm+python3

　　所需库：

　　（http.cookiejar是后续爬虫进场时会用到的库，本项目不涉及反爬，可以省略）

　　如果导入过程显示上面的库不可用，可以在File→Settings→projet解释器中点击右侧的+添加（如果你使用anaconda或者python也可以直接运行这个项目，添加通过cmd→pip安装）

　　2.本文我们使用python来抓取、下载和存储在线短视频。基本步骤如下（可以写评论整理思路）：

　　（1）分析页面URL和视频文件URL特征（2）获取网页源代码的HTML，解决反爬机制（3）批量下载视频存储）

　　分析页面 URL 和文件 URL 特征

　　1.分析网页 URL

　　通过网页URL:，我们可以找到不同页码变化的知识URL的最后一个值，这个值代表了页数，所以我们只需要把它改成固定URL+可变形式就可以得到分批建站

　　2.分析文件名 URL

　　通过分析网页中mp4的文件名，发现该文件的URL以纯文本形式显示，因此可以通过匹配re的正则性得到。

　　批量获取url，并从中提取视频的url

　　import urllib.request

import re

for  page in range (1,20):

   req = urllib.request.Request("http://www.budejie.com/video/%s" % page)

   html = urllib.request.urlopen(req).read()

   html = html.decode('UTF-8')

   print(html)

　　1.批量抓取网页url

　　这里我们的page变量代表页面的代码，从这里我们暂时抓取前20页。

　　(1）req获取网页反馈(2）html通过函数获取网页元代码(3）恢复UTF-8编码的中文显示)源代码。

　　但是通过上面代码的执行，发现报错显示http Error 403，因为无法获取网页的反爬机制。

　　2.通过页面添加头文件

　　我们通过谷歌浏览器访问页面，按F12切换到Network，刷新界面观察访问过程，可以从过程文件中选择一个查看头文件，添加到代码中，（这里选择baisibudejie.js）修改代码如下，就可以正常爬取界面了。

　　for  page in range (1,20):

   req = urllib.request.Request("http://www.budejie.com/video/%s" % page)

   req.add_header("User-Agent","Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36")

   html = urllib.request.urlopen(req).read()

   html = html.decode('UTF-8')

   print(html)

　　批量下载视频并创建文件名存储

　　1.为批量命名创建循环结构

　　建立循环结构后，需要保留文件名以供下载。i.split("/")[-1]的意思是对i进行拆分，用'/'作为分隔符，保留最后一段，即MP4文件名。

　　2.批量下载

　　还是要加一条显示的输出语句来表示这个过程，这也符合程序的交互性，即在下载视频的时候显示进度，最后下载到一个mp4文件夹中。

　　for i in re.findall(reg, html):

   filename = i.split("/")[-1]  # 以‘/ ’为分割f符，保留最后一段，即MP4的文件名

   print('正在下载%s视频' % filename)

   urllib.request.urlretrieve(i, "mp4/%s" % filename)

　　1.构建一个完整的程序

　　作为一名合格的程序员，需要对程序进行梳理，并添加注释，方便理解和后续修改

　　import urllib.request

import re

def getVideo(page):

       req = urllib.request.Request("http://www.budejie.com/video/%s" %page)

       req.add_header("User-Agent","Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36")

       html = urllib.request.urlopen(req).read()

       html = html.decode('UTF-8')

       reg = r'data-mp4="(.*?)"'

       for i in re.findall(reg,html):

           filename = i.split("/")[-1]#以‘/ ’为分割f符，保留最后一段，即MP4的文件名

           print ('正在下载%s视频' %filename)

           urllib.request.urlretrieve(i,"mp4/%s"%filename)

for  i in range (1,20):

   getVideo(i)