网页抓取qq(让我们看一下Steam社区GrantTheftAutoVReviews的网页)

　　网页抓取qq(让我们看一下Steam社区GrantTheftAutoVReviews的网页)

　　我们来看看 Steam 社区 Grant Theft Auto V 评论的网页。您会注意到网页的完整内容不会一次性加载。

　　我们需要向下滚动以在页面上加载更多内容。这是网站 后端开发人员使用的一种称为“延迟加载”的优化技术。

　　但对我们来说，问题是当我们试图从这个页面抓取数据时，我们只能得到那个页面的有限内容：

　　一些 网站 还创建了“加载更多”按钮，而不是无休止的滚动想法。只有当您单击按钮时，它才会加载更多内容。内容受限的问题依然存在。那么让我们看看如何抓取这些页面。

　　导航到目标 URL 并打开“检查元素网络”窗口。接下来点击reload按钮，它会为你记录网络的加载顺序，比如图片加载、API请求、POST请求等。

　　清除当前记录并向下滚动。您会注意到，当您向下滚动时，页面正在发送对更多数据的请求：

　　进一步滚动，您将看到 网站 如何发出请求。看下面的网址——只有部分参数值在变化，你可以用简单的Python代码轻松生成这些网址：

　　您需要按照相同的步骤通过将请求逐页发送到每个页面来获取和存储数据。

　　尾注

　　这是使用强大的 BeautifulSoup 库在 Python 中进行网页抓取的简单且适合初学者的介绍。老实说，当我在寻找新项目或需要有关现有项目的信息时，我发现网络抓取非常有用。

　　注意：如果您想以更结构化的形式学习本教程，我们有一个免费课程，我们将教授 Web 抓取 BeatifulSoup。您可以在此处查看-使用 Python 进行 Web 爬网简介。

　　如前所述，还有其他库可用于执行网页抓取。我很想听听你最喜欢的图书馆想法（即使你使用 R！），以及你在这个主题上的经验。在下面的评论部分告诉我，我们会与您联系！