python抓取网页数据( 小编来一起学习学习吧三种数据抓取的3种方法)

　　python抓取网页数据(

小编来一起学习学习吧三种数据抓取的3种方法)

　　python数据抓取的3种方法总结

　　更新时间：2021-02-07 12:16:01 作者：呵呵

　　本篇文章主要介绍python数据抓取的3种方法。文中介绍的示例代码非常详细，对您的学习或工作有一定的参考和学习价值。有需要的朋友请按照以下说明进行操作。来和我一起学习

　　三种数据采集方法

　　*使用之前构建的下载网页函数获取目标网页的html，我们以获取html为例。

　　

　　

from get_html import download

url = 'https://guojiadiqu.bmcx.com/AFG__guojiayudiqu/'

page_content = download(url)

　　*假设我们需要抓取这个网页中的国名和简介，我们会依次使用这三种数据抓取方式来实现数据抓取。

　　1.正则表达式

　　

from get_html import download

import re

url = 'https://guojiadiqu.bmcx.com/AFG__guojiayudiqu/'

page_content = download(url)

country = re.findall('class="h2dabiaoti">(.*?)', page_content) #注意返回的是list

survey_data = re.findall('(.*?)', page_content)

survey_info_list = re.findall('<p>　　(.*?)', survey_data[0])

survey_info = ''.join(survey_info_list)

print(country[0],survey_info)

</p>

　　2.美汤(bs4）

　　

from get_html import download

from bs4 import BeautifulSoup

url = 'https://guojiadiqu.bmcx.com/AFG__guojiayudiqu/'

html = download(url)

#创建 beautifulsoup 对象

soup = BeautifulSoup(html,"html.parser")

#搜索

country = soup.find(attrs={'class':'h2dabiaoti'}).text

survey_info = soup.find(attrs={'id':'wzneirong'}).text

print(country,survey_info)

　　3.lxml

　　

from get_html import download

from lxml import etree #解析树

url = 'https://guojiadiqu.bmcx.com/AFG__guojiayudiqu/'

page_content = download(url)

selector = etree.HTML(page_content)#可进行xpath解析

country_select = selector.xpath('//*[@id="main_content"]/h2') #返回列表

for country in country_select:

print(country.text)

survey_select = selector.xpath('//*[@id="wzneirong"]/p')

for survey_content in survey_select:

print(survey_content.text,end='')

　　运行结果：

　　

　　最后参考《用Python编写网络爬虫》中三种方式的性能对比，如下图：

　　

　　仅供参考。

　　总结

　　至此，这篇关于python数据抓取的3种方法的文章文章就介绍到这里了。更多相关python数据抓取内容，请搜索脚本之家往期文章或继续浏览下方相关话题。文章希望您以后多多支持 Scripting House！