网页数据抓取怎么写(如何应对数据匮乏的问题？最简单的方法在这里)

　　网页数据抓取怎么写(如何应对数据匮乏的问题？最简单的方法在这里)

　　作者|LAKSHAY ARORA 编译|Flin Source|analyticsvidhya

　　概述

　　我们的数据太少，无法构建机器学习模型。我们需要更多数据！

　　如果这句话听起来很熟悉，那么您并不孤单！想要获得更多数据来训练我们的机器学习模型是一个持续存在的问题。我们无法获得可以直接在数据科学项目中使用的 Excel 或 .csv 文件，对吧？

　　那么，如何应对数据稀缺的问题呢？

　　实现这一目标的最有效和最简单的方法之一是通过网络抓取。我个人认为网络抓取是一种非常有用的技术，可以从多个 网站 中采集数据。今天，一些 网站 还为您可能想要使用的许多不同类型的数据提供 API，例如 Tweets 或 LinkedIn 帖子。

　　

　　但有时您可能需要从不提供特定 API 的 网站 采集数据。这就是网络抓取功能派上用场的地方。作为数据科学家，您可以编写一个简单的 Python 脚本并提取所需的数据。

　　因此，在本文中，我们将了解网页抓取的不同组件，然后直接深入 Python 以了解如何使用流行且高效的 BeautifulSoup 库执行网页抓取。

　　我们还为本文创建了免费课程：

　　请注意，网络抓取受许多准则和规则的约束。并非每个 网站 都允许用户抓取内容，因此存在法律限制。在尝试执行此操作之前，请确保您已阅读 网站 的网站 条款和条件。

　　内容

　　3 个流行的 Python 网络爬取工具和库

　　网络爬虫的组成部分

　　CrawlParse 和 TransformStore

　　从网页抓取 URL 和电子邮件 ID

　　抓取图片

　　在页面加载时获取数据

　　3 个流行的 Python 网络爬取工具和库

　　您将在 Python 中遇到几个用于 Web 抓取的库和框架。以下是三种用于高效完成工作的流行工具：

　　美丽汤

　　刮擦

　　硒

　　网络爬虫的组成部分

　　这是构成网络抓取的三个主要组件的绝佳说明：

　　

　　让我们详细了解这些组件。我们将通过 goibibo网站 获取酒店详细信息，例如酒店名称和每间客房的价格以执行此操作：

　　

　　注意：始终遵循目标 网站 的 robots.txt 文件，也称为机器人排除协议。这告诉网络机器人不要抓取哪些页面。

　　

　　因此，我们可以从目标 URL 中抓取数据。我们很高兴为我们的网络机器人编写脚本。开始吧！

　　第 1 步：爬行

　　网页抓取的第一步是导航到目标 网站 并下载网页的源代码。我们将使用 requests 库来执行此操作。http.client 和 urlib2 是另外两个用于发出请求和下载源代码的库。

　　下载网页的源代码后，我们需要过滤我们想要的内容：

　　"""

Web Scraping - Beautiful Soup

"""

# importing required libraries

import requests

from bs4 import BeautifulSoup

import pandas as pd

# target URL to scrap

url = "https://www.goibibo.com/hotels/hotels-in-shimla-ct/"

# headers

headers = {

'User-Agent': "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/77.0.3865.90 Safari/537.36"

}

# send request to download the data

response = requests.request("GET", url, headers=headers)

# parse the downloaded data

data = BeautifulSoup(response.text, 'html.parser')

print(data)

　　第 2 步：解析和转换

　　网页抓取的下一步是将这些数据解析为 HTML 解析器，为此我们将使用 BeautifulSoup 库。现在，如果您注意到我们的登录页面，与大多数页面一样，特定酒店的详细信息在不同的卡片上。

　　所以下一步是从完整的源代码中过滤卡片数据。接下来，我们将选择该卡并单击“检查元素”选项以获取该特定卡的源代码。你会得到这样的东西：

　　

　　所有卡片都有相同的类名，我们可以传递标签名和属性（比如

　　label) 以获取具有以下名称的这些卡片的列表：

　　# find all the sections with specifiedd class name

cards_data = data.find_all('div', attrs={'class', 'width100 fl htlListSeo hotel-tile-srp-container hotel-tile-srp-container-template new-htl-design-tile-main-block'})

# total number of cards

print('Total Number of Cards Found : ', len(cards_data))

# source code of hotel cards

for card in cards_data:

print(card)

　　

　　我们从网页的完整源代码中过滤掉了卡片数据，其中每张卡片都收录有关单个酒店的信息。仅选择酒店名称，执行“检查元素”步骤，并对房价执行相同操作：

　　

　　现在对于每张卡，我们必须找到上面的酒店名称，只能从

　　从标签中提取。这是因为每张卡和费率只有一个标签和标签和类别名称：

　　# extract the hotel name and price per room

for card in cards_data:

# get the hotel name

hotel_name = card.find('p')

# get the room price

room_price = card.find('li', attrs={'class': 'htl-tile-discount-prc'})

print(hotel_name.text, room_price.text)

　　

　　第三步：存储（存储数据）

　　最后一步是将提取的数据存储在 CSV 文件中。在这里，对于每张卡片，我们将提取酒店名称和价格并将其存储在 Python 字典中。然后我们最终将它添加到列表中。

　　接下来，让我们继续将此列表转换为 Pandas 数据框，因为它允许我们将数据框转换为 CSV 或 JSON 文件：

　　# create a list to store the data

scraped_data = []

for card in cards_data:

# initialize the dictionary

card_details = {}

# get the hotel name

hotel_name = card.find('p')

# get the room price

room_price = card.find('li', attrs={'class': 'htl-tile-discount-prc'})

# add data to the dictionary

card_details['hotel_name'] = hotel_name.text

card_details['room_price'] = room_price.text

# append the scraped data to the list

scraped_data.append(card_details)

# create a data frame from the list of dictionaries

dataFrame = pd.DataFrame.from_dict(scraped_data)

# save the scraped data as CSV file

dataFrame.to_csv('hotels_data.csv', index=False)

　　

　　恭喜！我们已经成功创建了一个基本的网络抓取工具。我希望您尝试这些步骤并尝试获取更多数据，例如酒店的评级和地址。现在，让我们看看如何执行一些常见任务，例如在页面加载时抓取 URL、电子邮件 ID、图像和抓取数据。

　　从网页中获取 URL 和电子邮件 ID

　　我们尝试通过网络抓取来抓取的两个最常见的功能是 网站URL 和电子邮件 ID。我确定您参与过需要大量提取电子邮件 ID 的项目或挑战。那么让我们看看如何在 Python 中抓取这些内容。

　　使用 Web 浏览器的控制台