谷歌抓取网页视频教程(继续上一节内容，我们将使用Selenium操作谷歌浏览器抓取多页)

　　谷歌抓取网页视频教程(继续上一节内容，我们将使用Selenium操作谷歌浏览器抓取多页)

　　继续上一节，我们将使用 Selenium 操纵 Google Chrome 抓取多页数据并将结果保存到 CSV 文件。

　　首先我们检查爬取的URL总共收录5页内容：

　　我们修改之前文章的代码实现今天的功能，然后开始：

　　#导入包

from selenium import webdriver

import csv

#定义分页总数

MAX_PAGE_NUM = 5

#定义分页数字位数

MAX_PAGE_DIG = 3

#打开谷歌浏览器 并访问要抓取数据的地址

#注意：驱动chromedriver.exe与改python文件在同一个目录

driver = webdriver.Chrome('chromedriver.exe')

#创建csv文件进行写入

csv_file = open('results.csv', 'w')

csv_writer = csv.writer(csv_file)

#写入csv标题头内容

csv_writer.writerow(['购买者', '商品价格'])

for i in range(1, MAX_PAGE_NUM + 1):

#获取分页url中的数字内容:001 002...004 005

page_num = (MAX_PAGE_DIG - len(str(i))) * "0" + str(i)

url = "http://econpy.pythonanywhere.com/ex/" + page_num + ".html"

driver.get(url)

# 使用xpath找到购买者和商品价格元素列表

buyers = driver.find_elements_by_xpath('//div[@title="buyer-name"]')

prices = driver.find_elements_by_xpath('//span[@class="item-price"]')

# 打印所有信息

num_page_items = len(buyers)

for i in range(num_page_items):

#数据写入csv文件

csv_writer.writerow([buyers[i].text, prices[i].text])

#完成任务后 关闭浏览器

driver.close()

　　运行后会生成results.csv文件的截图：

　　视频运行代码效果如下。过程是运行程序——打开谷歌浏览器——访问每个页面的地址一次然后抓取数据并保存为csv文件——关闭浏览器即可完成。

　　关注公众号yale观看视频演示