php如何抓取网页数据库(我是java编程新手,所以我的问题可能很愚蠢!)
优采云 发布时间: 2021-11-08 05:12php如何抓取网页数据库(我是java编程新手,所以我的问题可能很愚蠢!)
我是 Java 编程的新手,所以我的问题可能很愚蠢!我正在通过 Django 在 python 中构建一个 网站 。我需要从另一个站点下载一些内容并实时显示它们。我可以通过下载页面的 HTML 代码并从中提取数据(使用 bs4 &...)来做到这一点,但问题是我的目标站点使用 JavaScript 交互行为,当我尝试下载其内容时(使用 Python Urllib或请求),它只是给了我一些Java脚本,例如: 我要找的内容是这样的:如何下载网络数据库提供的内容?
<a>data to scrape 1</a>
<a>data to scrape 2</a>
<a>data to scrape 3</a>
...
但是像:
<a>{{toy.s}}</a>
{{toy.n}}
似乎“玩具”变量是由后端数据库提供的。
之前当然可以使用浏览器或者包(比如selenium)来渲染网站,但是我的服务器上没有任何浏览器,也不允许安装或者使用便携版!
我认为是因为网站的后端将变量发送到我的浏览器,我的浏览器可以读取和渲染它们,所以我可以在没有任何浏览器的情况下抓取这些变量并读取它们。谁有想法?或者有没有办法使用python在没有任何外部软件的情况下渲染网站内容?
来源
2017-04-06amir daee