php如何抓取网页数据库(我是java编程新手,所以我的问题可能很愚蠢!)

优采云 发布时间: 2021-11-08 05:12

  php如何抓取网页数据库(我是java编程新手,所以我的问题可能很愚蠢!)

  我是 Java 编程的新手,所以我的问题可能很愚蠢!我正在通过 Django 在 python 中构建一个 网站 。我需要从另一个站点下载一些内容并实时显示它们。我可以通过下载页面的 HTML 代码并从中提取数据(使用 bs4 &...)来做到这一点,但问题是我的目标站点使用 JavaScript 交互行为,当我尝试下载其内容时(使用 Python Urllib或请求),它只是给了我一些Java脚本,例如: 我要找的内容是这样的:如何下载网络数据库提供的内容?

  <a>data to scrape 1</a>

<a>data to scrape 2</a>

<a>data to scrape 3</a>

...

  但是像:

  

<a>{{toy.s}}</a>

{{toy.n}}

  似乎“玩具”变量是由后端数据库提供的。

  之前当然可以使用浏览器或者包(比如selenium)来渲染网站,但是我的服务器上没有任何浏览器,也不允许安装或者使用便携版!

  我认为是因为网站的后端将变量发送到我的浏览器,我的浏览器可以读取和渲染它们,所以我可以在没有任何浏览器的情况下抓取这些变量并读取它们。谁有想法?或者有没有办法使用python在没有任何外部软件的情况下渲染网站内容?

  来源

  2017-04-06amir daee

0 个评论

要回复文章请先登录注册


官方客服QQ群

微信人工客服

QQ人工客服


线