自动抓取网页数据( 爬虫是Python的一个重要的应用，使用Python爬虫我们可以轻松的从互联网中抓取)

　　自动抓取网页数据(

爬虫是Python的一个重要的应用，使用Python爬虫我们可以轻松的从互联网中抓取)

　　

　　爬虫是Python的一个重要应用。使用Python爬虫，我们可以很方便的从网上抓取我们想要的数据。本文将以抓取B站的视频热搜榜数据并存储为例。详细介绍了四个步骤。Python爬虫的基本流程。

　　第1步

　　请求尝试

　　先到b站首页，点击排行榜，复制链接。

　　启动 Jupyter notebook 并运行以下代码：

　　*敏*感*词*请求

　　网址 ='#39;

　　res = requests.get('url')

　　打印（res.status_code）

　　#200

　　在上面的代码中，做了以下三件事：

　　导入请求

　　使用get方法构造请求

　　使用 status_code 获取网页状态码

　　可以看到返回值为200，说明服务器响应正常，可以继续。

　　第2步

　　解析页面

　　上一步我们通过requests向网站请求数据后，成功获取到一个收录服务器资源的Response对象。现在我们可以使用 .text 来查看其内容。

　　

　　可以看到返回的是一个字符串，里面收录了我们需要的热门视频数据，但是直接从字符串中提取内容比较复杂，效率低下，所以我们需要对其进行解析，将字符串转换成结构化的web页面数据，以便您可以轻松找到 HTML 标签及其属性和内容。

　　Python中解析网页的方法有很多种，可以使用正则表达式，也可以使用BeautifulSoup、pyquery或lxml。本文将基于 BeautifulSoup 进行讲解。

　　Beautiful Soup 是一个第三方库，可以从 HTML 或 XML 文件中提取数据。安装也非常简单。使用 pip install bs4 进行安装。让我们用一个简单的例子来说明它是如何工作的。

　　frombs4 importBeautifulSoup

　　页面 = requests.get(url)

　　汤 = BeautifulSoup(page.content,'html.parser')

　　标题 = 汤.title.text

　　打印（标题）

　　#热门视频排行榜-哔哔(゜-゜)つロ干杯~-bilibili

　　上面代码中，我们使用bs4中的BeautifulSoup类，将上一步得到的html格式字符串转换为BeautifulSoup对象。注意使用的时候需要开发一个解析器，这里使用的是html.parser。

　　然后就可以获取其中一个结构化元素及其属性，比如使用soup.title.text获取页面标题，也可以使用soup.body、soup.p等获取任意需要的元素。

　　第 3 步

　　提取内容

　　上面两步我们使用requests向网页请求数据，使用bs4解析页面。现在我们到了最关键的一步：如何从解析后的页面中提取需要的内容。

　　在 Beautiful Soup 中，我们可以使用 find/find_all 来定位元素，但我更习惯使用 CSS 选择器 .select，因为我们可以像使用 CSS 选择元素一样向下访问 DOM 树。

　　下面我们用代码来说明如何从解析后的页面中提取B站的热点列表数据。首先我们需要找到存储数据的标签，在列表页面按F12，按照下图的说明找到。

　　

　　可以看到每条视频信息都包裹在class="rank-item"的li标签下，那么代码可以这样写

　　all_products = []

　　产品 = 汤.select('li.rank-item')

　　forproduct inproducts：

　　rank = product.select('div.num')[0].text

　　name = product.select('> a')[ 0].text.strip

　　play = product.select('span.data-box')[ 0].text

　　评论 = product.select('span.data-box')[ 1].text

　　up = product.select('span.data-box')[2].text

　　url = product.select('> a')[ 0].attrs['href']

　　all_products.append({

　　“视频排名”：排名，

　　“视频名称”：名称，

　　“播放音量”：播放，

　　“弹幕”：评论，

　　“向上主”：向上，

　　“视频链接”：网址

　　})

　　上面代码中，我们先使用soup.select('li.rank-item')，然后返回一个收录每个视频信息的列表，然后遍历每个视频信息，依然使用CSS选择器提取我们想要的字段信息以字典的形式存储在开头定义的空列表中。

　　可以注意到，我使用了多种选择方法来提取元素。这也是select方法的灵活性。有兴趣的读者可自行进一步研究。

　　第四步

　　存储数据

　　通过前面三步，我们成功使用requests+bs4从网站中提取出需要的数据，最后只需要将数据写入Excel并保存即可。

　　如果你对pandas不熟悉，可以使用csv模块来编写。需要注意的是设置了encoding='utf-8-sig'，否则会出现中文乱码的问题。

　　导入csv

　　键 = all_products[0].keys

　　withopen('B站10大视频热榜0.csv','w', newline='', encoding='utf-8-sig') asoutput_file:

　　dict_writer = csv.DictWriter（输出文件，键）

　　dict_writer.writeheader

　　dict_writer.writerows(all_products)

　　如果您熟悉pandas，您可以通过一行代码轻松地将字典转换为DataFrame。

　　*敏*感*词*熊猫ASPD

　　键 = all_products[0].keys

　　pd.DataFrame(all_products,columns=keys).to_csv('B站视频热榜TOP100.csv', encoding='utf-8-sig')

　　

　　结束语

　　至此，我们已经成功地使用Python在本地存储了b站的热门视频列表数据。大多数基于请求的爬虫基本上都是按照以上四个步骤进行的。

　　然而，虽然看起来简单，但在真实场景中的每一步都不是那么容易。从请求数据开始，目标网站有多种形式的反爬和加密，后期解析、提取甚至存储数据的方式也很多。需要进一步探索和学习。

　　本文选择B站视频热榜，因为够简单，希望通过这个案例，让大家了解Python爬虫工作的基本流程，最后附上完整代码

　　*敏*感*词*请求

　　frombs4 importBeautifulSoup

　　导入csv

　　*敏*感*词*熊猫ASPD

　　网址 ='#39;

　　页面 = requests.get(url)

　　汤 = BeautifulSoup(page.content,'html.parser')

　　all_products = []

　　产品 = 汤.select('li.rank-item')

　　forproduct inproducts：

　　rank = product.select('div.num')[0].text

　　name = product.select('> a')[ 0].text.strip

　　play = product.select('span.data-box')[ 0].text

　　评论 = product.select('span.data-box')[ 1].text

　　up = product.select('span.data-box')[2].text

　　url = product.select('> a')[ 0].attrs['href']

　　all_products.append({

　　“视频排名”：排名，

　　“视频名称”：名称，

　　“播放音量”：播放，

　　“弹幕”：评论，

　　“向上主”：向上，

　　“视频链接”：网址

　　})

　　键 = all_products[0].keys

　　withopen('B站10大视频热榜0.csv','w', newline='', encoding='utf-8-sig') asoutput_file:

　　dict_writer = csv.DictWriter（输出文件，键）

　　dict_writer.writeheader

　　dict_writer.writerows(all_products)

　　###使用pandas写数据

　　pd.DataFrame(all_products,columns=keys).to_csv('B站视频热榜TOP100.csv', encoding='utf-8-sig')