网站内容抓取(进程也不是越多越好()函数？怎么分呢？ )

　　网站内容抓取(进程也不是越多越好()函数？怎么分呢？

)

　　因为流程不是越多越好，我们计划分三个流程来实现。意思是：将待抓取的28个页面分成三部分。

　　如何划分？

　　# 初始range

r = range(1,29)

# 步长

step = 10

myList = [r[x:x+step] for x in range(0,len(r),step)]

print(myList) # [range(1, 11), range(11, 21), range(21, 29)]

　　看上面的代码，我们把1~29分成三个部分，列表中的三个范围。

　　2、还记得我们用来抓取基金内容的getData()函数吗网站？

　　def getData(start, end):

for x in range(start, end+1):

# 去第几页 输入框

tonum = driver.find_element_by_id("tonum")

# 去第几页 提交按钮

jumpBtn = driver.find_element_by_id("btn_jump")

tonum.clear() # 第x页 输入框

tonum.send_keys(str(x)) # 去第x页

jumpBtn.click() # 点击按钮

WebDriverWait(driver, 20).until(lambda driver: driver.find_element_by_id("pager") \

.find_element_by_xpath("span[@value={0} and @class!='end page']".format(x)) \

.get_attribute("class").find("at") != -1)

# 保存抓取到的html内容

# 保存到html目录下

with open("./htmls/{0}.txt".format(x),"wb") as f:

f.write(driver.find_element_by_id("tableDiv").get_attribute("innerHTML").encode("utf8"))

f.close()

　　该函数有2个参数：起始页码和结束页码，即从起始页到结束页。

　　这2个参数实际上是范围。

　　修改getData()函数如下（参数不同）：

　　3、创建进程并设置目标为上面的getData()：

　　# 初始range

r = range(1,int(total_page)+1)

# 步长

step = 10

myList = [r[x:x+step] for x in range(0,len(r),step)] # 把页面分段

# 创建进程

processList = []

if __name__ == "__main__":

for r in myList:

p = Process(target=getData,args=(r,))

processList.append(p)

# 开始执行进程

for p in processList:

p.start()

　　三个进程分别获取。

　　4、多进程爬取基金网站多页内容完整代码：

　　from selenium import webdriver

from selenium.webdriver.support.ui import WebDriverWait

from selenium.webdriver.support import expected_conditions

from multiprocessing import Process

driver = webdriver.PhantomJS(executable_path=r"你phantomjs的可执行文件路径")

# 请求一个网址

driver.get("http://fund.eastmoney.com/fund.html")

page_text = driver.find_element_by_id("pager").find_element_by_xpath("span[@class='nv']").text

total_page = ''.join(filter(str.isdigit,page_text)) # 得到总共有多少页

# 循环抓取网页内容的函数

def getData(myrange):

for x in myrange:

# 去第几页 输入框

tonum = driver.find_element_by_id("tonum")

# 去第几页 提交按钮

jumpBtn = driver.find_element_by_id("btn_jump")

tonum.clear() # 第x页 输入框

tonum.send_keys(str(x)) # 去第x页

jumpBtn.click() # 点击按钮

WebDriverWait(driver, 20).until(lambda driver: driver.find_element_by_id("pager") \

.find_element_by_xpath("span[@value={0} and @class!='end page']".format(x)) \

.get_attribute("class").find("at") != -1)

# 保存抓取到的html内容

# 保存到html目录下

with open("./htmls/{0}.txt".format(x),"wb") as f:

f.write(driver.find_element_by_id("tableDiv").get_attribute("innerHTML").encode("utf8"))

f.close()

# 初始range

r = range(1,int(total_page)+1)

# 步长

step = 10

myList = [r[x:x+step] for x in range(0,len(r),step)] # 把页面分段

# 创建进程

processList = []

if __name__ == "__main__":

for r in myList:

p = Process(target=getData,args=(r,))

processList.append(p)

# 开始执行进程

for p in processList:

p.start()