excel抓取网页动态数据( Python的安装到开发工具的简单介绍-Python安装下载企业版 )

　　excel抓取网页动态数据(

Python的安装到开发工具的简单介绍-Python安装下载企业版

)

　　

　　基于大众对 Python 的炒作和欣赏，作为一名 Java 从业者，在阅读了 Python 书籍之后，我决定成为一名 Python 爱好者。

　　作为一个合格的脑残粉（题主ノ◕ω◕）ノ），为了我的线下开发，我会详细介绍Python安装到开发工具的简单介绍，写一个捕获天气信息数据并保存到数据库例子。（这个文章适合完全不懂Python的小白快速上手）

　　如果你有时间，强烈建议跟上，因为介绍真的很详细。

　　源码视频书练习题等资料可私信小编01获取

　　1、Python 安装

　　2、PyCharm(ide) 安装

　　3、获取天气信息

　　4、数据写入excel

　　5、数据写入数据库

　　1、Python 安装

　　下载Python：官网地址：选择下载然后选择你的电脑系统，编辑器是Windows系统，所以选择

　　

　　

　　

　　2、Pycharm 安装

　　下载PyCharm：官网地址：

　　

　　免费版可能会缺少一些功能，所以不推荐，所以这里我们选择下载企业版。

　　安装 PyCharm 后，您可能需要输入您的电子邮件地址或输入激活码才能首次打开它。

　　获取免费激活码：

　　3、获取天气信息

　　我们计划采集的数据：杭州的天气信息，你可以先看看这个网站的杭州天气。

　　实现数据抓取的逻辑：使用python请求URL，会返回对应的HTML信息。我们解析 HTML 以获取我们需要的数据。（很简单的逻辑）

　　第 1 步：创建 Python 文件

　　

　　编写第一段 Python 代码

　　if __name__ == '__main__':

url = 'http://www.weather.com.cn/weather/101210101.shtml'

print('my frist python file')

　　此代码类似于 Java 中的 Main 方法。您可以直接右键单击并选择运行。

　　

　　第 2 步：请求 RUL

　　python的强大之处在于它拥有大量可以直接使用的模块（类似于Java jar包）。

　　我们需要安装一个请求模块：File - Setting - Product - Product Interpreter

　　

　　

　　单击如上所示的 + 号以安装 Python 模块。搜索

　　

　　顺便说一下，让我们安装一个 beautifulSoup4 和 pymysql 模块。beautifulSoup4 模块用于解析 HTML，可以将 HTML 字符串对象化。pymysql 模块用于连接 mysql 数据库。

　　

　　

　　安装好相关模块后，就可以愉快的敲代码了。

　　定义一个 getContent 方法：

　　# 导入相关联的包

import requests

import time

import random

import socket

import http.client

import pymysql

from bs4 import BeautifulSoup

def getContent(url , data = None):

header={

'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8',

'Accept-Encoding': 'gzip, deflate, sdch',

'Accept-Language': 'zh-CN,zh;q=0.8',

'Connection': 'keep-alive',

'User-Agent': 'Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/43.0.235'

} # request 的请求头

timeout = random.choice(range(80, 180))

while True:

try:

rep = requests.get(url,headers = header,timeout = timeout) #请求url地址，获得返回 response 信息

rep.encoding = 'utf-8'

break

except socket.timeout as e: # 以下都是异常处理

print( '3:', e)

time.sleep(random.choice(range(8,15)))

except socket.error as e:

print( '4:', e)

time.sleep(random.choice(range(20, 60)))

except http.client.BadStatusLine as e:

print( '5:', e)

time.sleep(random.choice(range(30, 80)))

except http.client.IncompleteRead as e:

print( '6:', e)

time.sleep(random.choice(range(5, 15)))

print('request success')

return rep.text # 返回的 Html 全文

　　在主方法调用中：

　　if __name__ == '__main__':

url ='http://www.weather.com.cn/weather/101210101.shtml'

html = getContent(url) # 调用获取网页信息

print('my frist python file')

　　第三步：分析页面数据

　　定义一个 getData 方法：

　　def getData(html_text):

final = []

bs = BeautifulSoup(html_text, "html.parser") # 创建BeautifulSoup对象

body = bs.body #获取body

data = body.find('div',{'id': '7d'})

ul = data.find('ul')

li = ul.find_all('li')

for day in li:

temp = []

date = day.find('h1').string

temp.append( date) #添加日期

inf = day.find_all('p')

weather = inf[0].string #天气

temp.append(weather)

temperature_highest = inf[1].find('span').string #最高温度

temperature_low = inf[1].find('i').string # 最低温度

temp.append(temperature_low)

temp.append(temperature_highest)

final.append(temp)

print('getDate success')

return final

　　上面的解析其实是按照HTML的规则来解析的。你可以在开发者模式下打开杭州天气（F12），看看页面的元素分布。

　　

　　在主方法调用中：

　　if __name__ == '__main__':

url ='http://www.weather.com.cn/weather/101210101.shtml'

html = getContent(url) # 获取网页信息

result = getData(html) # 解析网页信息，拿到需要的数据

print('my frist python file')

　　将数据写入excel

　　现在我们已经在 Python 中得到了想要的数据，我们可以先将数据存储起来，比如将数据写入 csv。

　　定义一个 writeDate 方法：

　　import csv #导入包

def writeData(data, name):

with open( name, 'a', errors='ignore', newline='') as f:

f_csv = csv.writer(f)

f_csv.writerows(data)

print('write_csv success')

　　在主方法调用中：

　　if __name__ == '__main__':

url ='http://www.weather.com.cn/weather/101210101.shtml'

html = getContent(url) # 获取网页信息

result = getData(html) # 解析网页信息，拿到需要的数据

writeData(result, 'D:/py_work/venv/Include/weather.csv') #数据写入到 csv文档中

print('my frist python file')

　　执行后在指定路径下会多出一个weather.csv文件，可以打开查看。

　　

　　

　　这里最简单的数据采集——存储完成。

　　将数据写入数据库

　　因为数据一般存储在数据库中，所以我们以mysql数据库为例，尝试将数据写入我们的数据库。

　　第一步是创建 WEATHER 表：

　　创建表可以直接在mysql客户端进行，也可以在python中创建表。这里我们使用 python 创建一个 WEATHER 表。

　　定义一个createTable方法：（import pymysql之前已经导入过，如果没有需要导入包）

　　def createTable():

# 打开数据库连接

db = pymysql.connect("localhost", "zww", "960128", "test")

# 使用 cursor() 方法创建一个游标对象 cursor

cursor = db. cursor()

# 使用 execute() 方法执行 SQL 查询

cursor. execute("SELECT VERSION()")

# 使用 fetchone() 方法获取单条数据.

data = cursor.fetchone()

print("Database version : %s " % data) # 显示数据库版本（可忽略，作为个栗子）

# 使用 execute() 方法执行 SQL，如果表存在则删除

cursor. execute("DROP TABLE IF EXISTS WEATHER")

# 使用预处理语句创建表

sql = """CREATE TABLE WEATHER (

w_id int(8) not null primary key auto_increment,

w_date varchar(20) NOT NULL ,

w_detail varchar(30),

w_temperature_low varchar(10),

w_temperature_high varchar(10)) DEFAULT CHARSET=utf8""" # 这里需要注意设置编码格式，不然中文数据无法插入

cursor. execute(sql)

# 关闭数据库连接

db.close()

print('create table success')

　　在主方法调用中：

　　if __name__ == '__main__':

url ='http://www.weather.com.cn/weather/101210101.shtml'

html = getContent(url) # 获取网页信息

result = getData(html) # 解析网页信息，拿到需要的数据

writeData(result, 'D:/py_work/venv/Include/weather.csv') #数据写入到 csv文档中

createTable() #表创建一次就好了，注意

print('my frist python file')

　　执行后，查看数据库，查看天气表是否创建成功。

　　

　　第二步，批量写入WEATHER表数据：

　　定义一个 insertData 方法：

　　def insert_data(datas):

# 打开数据库连接

db = pymysql.connect("localhost", "zww", "960128", "test")

# 使用 cursor() 方法创建一个游标对象 cursor

cursor = db. cursor()

try:

# 批量插入数据

cursor.executemany('insert into WEATHER(w_id, w_date, w_detail, w_temperature_low, w_temperature_high) value(null, %s,%s,%s,%s)', datas)

# sql = "INSERT INTO WEATHER(w_id,

# w_date, w_detail, w_temperature)

# VALUES ( null, '%s','%s','%s')" %

# (data[0], data[1], data[2])

# cursor. execute(sql) #单条数据写入

# 提交到数据库执行

db.commit()

except Exception as e:

print('插入时发生异常' + e)

# 如果发生错误则回滚

db.rollback()

# 关闭数据库连接

db.close()

　　在主方法调用中：

　　if __name__ == '__main__':

url ='http://www.weather.com.cn/weather/101210101.shtml'

html = getContent(url) # 获取网页信息

result = getData(html) # 解析网页信息，拿到需要的数据

writeData(result, 'D:/py_work/venv/Include/weather.csv') #数据写入到 csv文档中

# createTable() #表创建一次就好了，注意

insertData(result) #批量写入数据

print('my frist python file')

　　检查：执行完这条Python语句后，查看数据库是否有写入数据。如果有的话，你就完成了。

　　

　　在此处查看完整代码：

　　# 导入相关联的包

import requests

import time

import random

import socket

import http.client

import pymysql

from bs4 import BeautifulSoup

import csv

def getContent(url , data = None):

header={

'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8',

'Accept-Encoding': 'gzip, deflate, sdch',

'Accept-Language': 'zh-CN,zh;q=0.8',

'Connection': 'keep-alive',

'User-Agent': 'Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/43.0.235'

} # request 的请求头

timeout = random.choice(range(80, 180))

while True:

try:

rep = requests.get(url,headers = header,timeout = timeout) #请求url地址，获得返回 response 信息

rep.encoding = 'utf-8'

break

except socket.timeout as e: # 以下都是异常处理

print( '3:', e)

time.sleep(random.choice(range(8,15)))

except socket.error as e:

print( '4:', e)

time.sleep(random.choice(range(20, 60)))

except http.client.BadStatusLine as e:

print( '5:', e)

time.sleep(random.choice(range(30, 80)))

except http.client.IncompleteRead as e:

print( '6:', e)

time.sleep(random.choice(range(5, 15)))

print('request success')

return rep.text # 返回的 Html 全文

def getData(html_text):

final = []

bs = BeautifulSoup(html_text, "html.parser") # 创建BeautifulSoup对象

body = bs.body #获取body

data = body.find('div',{'id': '7d'})

ul = data.find('ul')

li = ul.find_all('li')

for day in li:

temp = []

date = day.find('h1').string

temp.append( date) #添加日期

inf = day.find_all('p')

weather = inf[0].string #天气

temp.append(weather)

temperature_highest = inf[1].find('span').string #最高温度

temperature_low = inf[1].find('i').string # 最低温度

temp.append(temperature_highest)

temp.append(temperature_low)

final.append(temp)

print('getDate success')

return final

def writeData(data, name):

with open( name, 'a', errors='ignore', newline='') as f:

f_csv = csv.writer(f)

f_csv.writerows(data)

print('write_csv success')

def createTable():

# 打开数据库连接

db = pymysql.connect("localhost", "zww", "960128", "test")

# 使用 cursor() 方法创建一个游标对象 cursor

cursor = db. cursor()

# 使用 execute() 方法执行 SQL 查询

cursor. execute("SELECT VERSION()")

# 使用 fetchone() 方法获取单条数据.

data = cursor.fetchone()

print("Database version : %s " % data) # 显示数据库版本（可忽略，作为个栗子）

# 使用 execute() 方法执行 SQL，如果表存在则删除

cursor. execute("DROP TABLE IF EXISTS WEATHER")

# 使用预处理语句创建表

sql = """CREATE TABLE WEATHER (

w_id int(8) not null primary key auto_increment,

w_date varchar(20) NOT NULL ,

w_detail varchar(30),

w_temperature_low varchar(10),

w_temperature_high varchar(10)) DEFAULT CHARSET=utf8"""

cursor. execute(sql)

# 关闭数据库连接

db.close()

print('create table success')

def insertData(datas):

# 打开数据库连接

db = pymysql.connect("localhost", "zww", "960128", "test")

# 使用 cursor() 方法创建一个游标对象 cursor

cursor = db. cursor()

try:

# 批量插入数据

cursor.executemany('insert into WEATHER(w_id, w_date, w_detail, w_temperature_low, w_temperature_high) value(null, %s,%s,%s,%s)', datas)

# 提交到数据库执行

db.commit()

except Exception as e:

print('插入时发生异常' + e)

# 如果发生错误则回滚

db.rollback()

# 关闭数据库连接

db.close()

print('insert data success')

if __name__ == '__main__':

url ='http://www.weather.com.cn/weather/101210101.shtml'

html = getContent(url) # 获取网页信息

result = getData(html) # 解析网页信息，拿到需要的数据

writeData(result, 'D:/py_work/venv/Include/weather.csv') #数据写入到 csv文档中

# createTable() #表创建一次就好了，注意

insertData(result) #批量写入数据