抓取动态网页()

优采云 发布时间: 2022-01-30 09:12

  抓取动态网页()

  我正在使用 VBA 和 MSXML 抓取一些 Web 内容,所以我知道基础知识。但现在我想从由 JavaScript 生成的网页中获取数据。我不能给你确切的链接,因为它是私人的,但我可以描述它 - 基本上,有带有标题和一些图像的 div 容器,下面是动态加载的表格(圆形圆圈),但不更新(所以他们只加载一次)。我不能给你确切的链接,因为它是私有的,但我可以描述它 - 基本上,有一个带有标题和一些图像的 div 容器,在它下面是动态加载的表格(圆圈),没有更新(所以它们只加载一次)。如果在浏览器中打开源代码视图,则找不到这些表,只有容器和图像的标题/src。标题/src。但是如果你点击表格并选择“检查元素”,你可以看到等的典型结构。我知道的方法:我知道的方法:

  1) 保存页面然后抓取它——可能不是最好的解决方案。 1)保存页面然后抓取它 - 可能不是最好的解决方案。

  如果我有所有页面的 URL 列表,有没有什么快速的方法可以保存所有页面?

  2) 通过 VBA 使用 Internet Explorer 控件,等待页面加载,然后像往常一样获取元素 - 但对我来说似乎很慢(?) - 就像一页上的 25 秒,即使它是为 0.加载的@>5 秒。 2)通过 VBA 使用 Internet Explorer 控件,等待页面加载,然后像往常一样获取元素 - 但对我来说似乎很慢(?) - 就像页面上的 25 秒,即使在加载之后也是如此 0.同样适用@>5 秒。

  也许我应该关闭一些会减慢加载速度的东西?也许我应该关闭一些会减慢加载速度的功能?

  你能检查出什么问题吗?

  这是我找到的代码:这是我找到的代码:

  3) 使用 Selenium 之类的 Web 驱动程序 - 找不到合适的示例。 3)使用像 Selenium 这样的网络驱动程序 - 找不到合适的例子。如果你从头开始给我一些,比如通过类名从元素中获取数据,那就太好了。

  4) 对我来说未知,但可能是最快的 - 直接从用于构建这些表的 JS 变量/数组中获取数据。 4)对我来说未知,但可能是最快的 - 直接从用于构建这些表的 JS 变量/数组中获取数据。我听说您可以将 VBA 与 JavaScript 连接,但没有找到任何适当的示例如何获取数据。

  所有解决方案都应在 VBA 范围内。我想知道最快的方法是什么。

0 个评论

要回复文章请先登录注册


官方客服QQ群

微信人工客服

QQ人工客服


线