网页数据抓取软件(网页搜索关键词并将相关信息返回上传文件操作通过input标签实现的上传功能)
优采云 发布时间: 2021-09-19 16:15网页数据抓取软件(网页搜索关键词并将相关信息返回上传文件操作通过input标签实现的上传功能)
Selenium获取网页数据,搜索网页关键词并返回相关信息
from selenium import webdriver#导入驱动模块
import time#导入时间模块
# 实例化一个浏览器
driver = webdriver.Firefox()
# 隐式等待
driver.implicitly_wait(10)
# 浏览器最大化
driver.maximize_window()
# 打开指定的网页(URL就是指网址)
driver.get("http://www.baidu.com")
driver.find_element_by_css_selector('#kw').send_keys('蔡徐坤')
#使用CSS筛选器按照ID元素定位到搜索输入框
driver.find_element_by_css_selector('#su').click()
#使用CSS筛选器定位到元素百度一下按钮
a = driver.find_elements_by_css_selector('.c-container>h3')
#按照属性值进行筛选,父类和子类关系用>,使用elements获取到的结果是一个非文本列表
for i in a:
print(i.text)
driver.quit()
时间模块:年月日格式化输出
import time
getTime = time.strftime('%Y-%m-%d %H:%M:%S')
print(getTime)
上载文件操作
通过输入标签实现的上传功能可以看作是一个输入框,即通过send_ukeys()指定上传文件的本地文件路径
使用以下代码创建file.html文件:
upload_file
upload_file
通过浏览器打开file.html文件。该功能如下图所示
from selenium import webdriver
import os
driver = webdriver.Firefox()
file_path = 'file:///' + os.path.abspath('file.html')
driver.get(file_path)
# 定位上传按钮,添加本地文件
driver.find_element_by_name("file").send_keys('D:\\upload_file.txt')
driver.quit()
上传文件的具体应用请参见邮箱126中的邮件发送操作