网页数据抓取怎么写(爬虫和虚拟币交易数据有什么区别？（文末附有代码）)

　　网页数据抓取怎么写(爬虫和虚拟币交易数据有什么区别？（文末附有代码）)

　　最近在研究爬虫和虚拟货币交易数据，突然发现这好像是一个练习题。（代码附在文末）

　　首先用Chrome打开网址

　　​​​BiKi的官方网站​​​

　　​​​​

　　​​​​

　　​​​​

　　发现中间有一张echart画的图。左边是币种选择，右边是实时买卖买卖的内容，也就是我们要捕捉的内容。

　　这些红框绘制的数据就是我们的目标。

　　我们首先要观察它的特点。

　　1.动态数据

　　2.F12进去发现页面没有数据

　　用F12进入后，发现这个数据是动态生成的。而界面上的数据也是指这个数据。总而言之，这就是我们要查找的元数据。

　　看完Elements没什么收获，再找网络。查看是否有任何 js 文件或数据一直在请求。

　　我们发现里面有一个叫ws的请求。感觉这可能是使用了websocket和服务器建立的长连接，一直在push数据过来。

　　而且里面的请求url是wss，说明是ssl加密的。

　　然后我们点击消息，发现里面总会收到二进制文件。大部分都在200b左右，继续刷新。这就是我们想要的数据。

　　此时，刷新界面。发现有很多绿色的json数据。这是网页从服务器请求的数据。请求后，服务器会将所需的数据发送给您。