网站内容抓取(Selenium简介与安装Selenium是什么？Python抓取微博有两种方式)

　　网站内容抓取(Selenium简介与安装Selenium是什么？Python抓取微博有两种方式)

　　Selenium 的介绍和安装

　　什么是硒？

　　Selenium 也是 Web 应用程序测试的工具。 Selenium 测试直接在浏览器中运行，就像真正的用户在操作一样。支持的浏览器包括IE、Mozilla Firefox、Mozilla Suite等

　　安装

　　可以直接用pip命令安装！

pip install selenium

　　Python爬取微博有两种方式，一种是通过selenium自动登录后直接从页面爬取，另一种是使用api。

　　这里使用了硒。

　　程序：

<p>

from selenium import webdriver

import time

import re

#全局变量

driver = webdriver.Chrome("C:\Program Files (x86)\Google\Chrome\Application\chromedriver.exe")

def loginWeibo(username, password):

driver.get(&#39;https://passport.weibo.cn/signin/login&#39;)

time.sleep(1)

driver.find_element_by_id("loginName").send_keys("haishu_zheng@163.com")

driver.find_element_by_id("loginPassword").send_keys("Weibo01061122")

time.sleep(1)

driver.find_element_by_id("loginAction").click()

#driver.close()

def visitUserPage(userId):

driver.get(&#39;http://weibo.cn/&#39; + userId)

print(&#39;********************&#39;)

print(&#39;*敏*感*词*&#39;)

# 1.用户id

print(&#39;用户id:&#39; + userId)

# 2.用户昵称

strName = driver.find_element_by_xpath("//div[@class=&#39;ut&#39;]")

strlist = strName.text.split(&#39; &#39;)

nickname = strlist[0]

print(&#39;昵称:&#39; + nickname)

# 3.微博数、粉丝数、关注数

strCnt = driver.find_element_by_xpath("//div[@class=&#39;tip2&#39;]")

pattern = r"\d+\.?\d*" # 匹配数字，包含整数和小数

cntArr = re.findall(pattern, strCnt.text)

print(strCnt.text)

print("微博数：" + str(cntArr[0]))

print("关注数：" + str(cntArr[1]))

print("粉丝数：" + str(cntArr[2]))

print(&#39;\n********************&#39;)

# 4.将用户信息写到文件里

with open("weibo.txt", "w", encoding = "gb18030") as file:

file.write("用户ID：" + userId + &#39;\r\n&#39;)

file.write("昵称：" + nickname + &#39;\r\n&#39;)

file.write("微博数：" + str(cntArr[0]) + &#39;\r\n&#39;)

file.write("关注数：" + str(cntArr[1]) + &#39;\r\n&#39;)

file.write("粉丝数：" + str(cntArr[2]) + &#39;\r\n&#39;)

# 5.获取微博内容

# http://weibo.cn/ + userId + ? filter=0&page=1

# filter为0表示全部，为1表示原创

print("微博内容")

pageList = driver.find_element_by_xpath("//div[@class=&#39;pa&#39;]")

print(pageList.text)

pattern = r"\d+\d*" # 匹配数字，只包含整数

pageArr = re.findall(pattern, pageList.text)

totalPages = pageArr[1] # 总共有多少页微博

print(totalPages)

pageNum = 1 # 第几页

numInCurPage = 1 # 当前页的第几条微博内容

contentPath = "//div[@class=&#39;c&#39;][{0}]"

while(pageNum