如何抓取网页数据( Python学习笔记之抓取某只基金历史净值数据案例,)

　　如何抓取网页数据(

Python学习笔记之抓取某只基金历史净值数据案例,)

　　Python学习笔记中抓取某基金历史净值数据的实际案例

　　更新时间：2019-06-03 10:42:04 作者：学习笔记666

　　本文章主要介绍Python学习笔记中某基金的历史净值数据捕获案例，分析Python基于selenium库的数据捕获以及mysql交互相关的实现技巧结合具体例子。朋友们可以参考一下

　　本文以Python抓取某基金历史净值数据为例。分享给大家，供大家参考，如下：

　　

　　1、接下来，我们需要手动抓取html（这部分知识我们之前已经学过，所以现在重温一下）

　　

# coding: utf-8

from selenium.webdriver.support.ui import WebDriverWait

from selenium import webdriver

from bs4 import BeautifulSoup

from threading import Thread,Lock

import os

import csv

# 下面是利用 selenium 抓取html页面的代码

# 初始化函数

def initSpider():

driver = webdriver.PhantomJS(executable_path=r"你phantomjs可执行文件的绝对路径")

driver.get("http://fund.eastmoney.com/f10/jjjz_519961.html") # 要抓取的网页地址

# 找到"下一页"按钮,就可以得到它前面的一个label,就是总页数

getPage_text = driver.find_element_by_id("pagebar").find_element_by_xpath(

"div[@class='pagebtns']/label[text()='下一页']/preceding-sibling::label[1]").get_attribute("innerHTML")

# 得到总共有多少页

total_page = int("".join(filter(str.isdigit, getPage_text)))

# 返回

return (driver,total_page)

# 获取html内容

def getData(myrange,driver,lock):

for x in myrange:

# 锁住

lock.acquire()

tonum = driver.find_element_by_id("pagebar").find_element_by_xpath(

"div[@class='pagebtns']/input[@class='pnum']") # 得到 页码文本框

jumpbtn = driver.find_element_by_id("pagebar").find_element_by_xpath(

"div[@class='pagebtns']/input[@class='pgo']") # 跳转到按钮

tonum.clear() # 第x页 输入框

tonum.send_keys(str(x)) # 去第x页

jumpbtn.click() # 点击按钮

# ץȡ

WebDriverWait(driver, 20).until(lambda driver: driver.find_element_by_id("pagebar").find_element_by_xpath("div[@class='pagebtns']/label[@value={0} and @class='cur']".format(x)) != None)

# 保存到项目中

with open("../htmls/details/{0}.txt".format(x), 'wb') as f:

f.write(driver.find_element_by_id("jztable").get_attribute("innerHTML").encode('utf-8'))

f.close()

# 解锁

lock.release()

# 开始抓取函数

def beginSpider():

# 初始化爬虫

(driver, total_page) = initSpider()

# 创建锁

lock = Lock()

r = range(1, int(total_page)+1)

step = 10

range_list = [r[x:x + step] for x in range(0, len(r), step)] #把页码分段

thread_list = []

for r in range_list:

t = Thread(target=getData, args=(r,driver,lock))

thread_list.append(t)

t.start()

for t in thread_list:

t.join() # 这一步是需要的,等待线程全部执行完成

print("抓取完成")

# #################上面代码就完成了 抓取远程网站html内容并保存到项目中的 过程

　　需要解释一下这3个函数：

　　initSpider 函数初始化 selenium webdriver 对象，首先获取我们需要爬取的页面总数。

　　getData 函数有 3 个参数。对于 myrange，我们仍然需要分段捕获。之前我们学习了太多进程捕获，这里我们多线程捕获； lock参数用于锁定线程，防止线程冲突； driver就是我们在initSpider函数中初始化的webdriver对象。

　　在 getData 函数中，我们循环 myrange 并将捕获的 html 内容保存在项目目录中。

　　开始Spider函数，我们在这个函数中对总页数进行分段，并创建一个线程，调用getData。

　　所以最后一次执行：

　　

beginSpider()

　　开始抓取该基金的“历史净资产详细信息”。共有 31 页。

　　

　　2、根据我们学到的python和mysql交互的知识，我们也可以将这些数据写入数据表中。

　　这里就不赘述了，给出基金的详细表结构：

　　

CREATE TABLE `fund_detail` (

`id` int(11) unsigned NOT NULL AUTO_INCREMENT,

`fcode` varchar(10) NOT NULL DEFAULT '' COMMENT '基金代码',

`fdate` datetime DEFAULT NULL COMMENT '基金日期',

`NAV` decimal(10,4) DEFAULT NULL COMMENT '单位净值',

`ACCNAV` decimal(10,4) DEFAULT NULL COMMENT '累计净值',

`DGR` varchar(20) DEFAULT NULL COMMENT '日增长率',

`pstate` varchar(20) DEFAULT NULL COMMENT '申购状态',

`rstate` varchar(20) DEFAULT NULL COMMENT '赎回状态',

PRIMARY KEY (`id`)

) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COMMENT='基金详细数据表';

　　更多Python相关内容请参考本站专题：《Python Socket编程技巧总结》、《Python正则表达式使用总结》、《Python数据结构与算法教程》、《Python函数使用技巧》总结》、《Python字符串操作技巧总结》、《Python入门及进阶经典教程》、《Python文件和目录操作技巧总结》

　　希望这篇文章对你的 Python 编程有所帮助。