抓取ajax动态网页java(上海交易所官网怎么做官网的方法介绍及方法)

　　抓取ajax动态网页java(上海交易所官网怎么做官网的方法介绍及方法)

　　上交所官网有很多有意义的数据，包括公司的最新公告、财务报告以及基金申购赎回数据。作为羊毛党，最好及时获取这些信息。当然，你可以每天浏览网页，但你不一定有这个时间。最好的方法是抓取所需的数据并通过电子邮件或微信公众号发送给自己。这就是我学习python的原因。

<p>爬虫的第一步是分析网页的结构和数据加载模式。观察上交所官网发现，由于使用了ajax、JavaScript等技术，无法像静态网页那样直接获取数据。上海证券交易所有两种类型的数据链接。一种类型的数据存储在 xhr 中。这很简单。您不需要构造请求标头。可以直接找到xhr链接，请求下载，然后进行数据处理；另一种类型的数据存放在script文件中，这需要构建请求头和请求参数，伪装成正常访问，否则会提示http 500错误代码和“页面繁忙”。