网页爬虫抓取百度图片( Python爬虫实现爬取百度百科词条功能)

　　网页爬虫抓取百度图片(

Python爬虫实现爬取百度百科词条功能)

　　Python爬虫实现爬取百度百科词条的功能

　　更新时间：2019-04-05 09:59:23 作者：Rose Nina

　　本文文章主要介绍Python爬虫实现爬取百度百科词条的功能，结合完整的示例表格分析Python爬虫的基本原理和爬取百度百科词条的步骤、网页下载、分析、数据输出等相关操作技巧，有需要的朋友可以参考

　　本文介绍了Python爬虫实现爬取百度百科词条的功能。分享给大家，供大家参考，如下：

　　Crawler 是一个自动提取网页的程序。它从万维网下载网页以供搜索引擎使用。它是搜索引擎的重要组成部分。爬虫从一个或几个初始网页的网址开始，获取初始网页上的网址。在抓取网页的过程中，它不断地从当前页面中提取新的URL并将它们放入队列中，直到满足系统的某个停止条件。爬虫的工作流程比较复杂。需要按照一定的网页分析算法过滤与主题无关的链接，保留有用的链接，放入URL队列等待被抓取。然后，它会根据一定的搜索策略从队列中选择下一个要抓取的网页的网址，并重复上述过程，直到达到系统的某个条件时停止。另外，爬虫爬过的所有网页都会被系统存储起来进行一定的分析、过滤和索引，以备以后查询和检索。常见的爬虫框架有 Scrapy 等。

　　自定义爬虫一般包括：URL管理器、网页下载器、网页解析器、输出处理器。

　　下面我写了一个爬取百度百科词条的例子。

　　爬虫主程序入口

　　

from crawler_test.html_downloader import UrlDownLoader

from crawler_test.html_outer import HtmlOuter

from crawler_test.html_parser import HtmlParser

from crawler_test.url_manager import UrlManager

# 爬虫主程序入口

class MainCrawler():

def __init__(self):

# 初始值，实例化四大处理器：url管理器，下载器，解析器，输出器

self.urls = UrlManager()

self.downloader = UrlDownLoader()

self.parser = HtmlParser()

self.outer = HtmlOuter()

# 开始爬虫方法

def start_craw(self, main_url):

print('爬虫开始...')

count = 1

self.urls.add_new_url(main_url)

while self.urls.has_new_url():

try:

new_url = self.urls.get_new_url()

print('爬虫%d,%s' % (count, new_url))

html_cont = self.downloader.down_load(new_url)

new_urls, new_data = self.parser.parse(new_url, html_cont)

# 将解析出的url放入url管理器，解析出的数据放入输出器中

self.urls.add_new_urls(new_urls)

self.outer.conllect_data(new_data)

if count >= 10:# 控制爬取的数量

break

count += 1

except:

print('爬虫失败一条')

self.outer.output()

print('爬虫结束。')

if __name__ == '__main__':

main_url = 'https://baike.baidu.com/item/Python/407313'

mc = MainCrawler()

mc.start_craw(main_url)

　　网址管理器

　　

# URL管理器

class UrlManager():

def __init__(self):

self.new_urls = set() # 待爬取

self.old_urls = set() # 已爬取

# 添加一个新的url

def add_new_url(self, url):

if url is None:

return

elif url not in self.new_urls and url not in self.old_urls:

self.new_urls.add(url)

# 批量添加url

def add_new_urls(self, urls):

if urls is None or len(urls) == 0:

return

else:

for url in urls:

self.add_new_url(url)

# 判断是否有url

def has_new_url(self):

return len(self.new_urls) != 0

# 从待爬取的集合中获取一个url

def get_new_url(self):

new_url = self.new_urls.pop()

self.old_urls.add(new_url)

return new_url

　　网页下载器

　　

from urllib import request

# 网页下载器

class UrlDownLoader():

def down_load(self, url):

if url is None:

return None

else:

rt = request.Request(url=url, method='GET') # 发GET请求

with request.urlopen(rt) as rp: # 打开网页

if rp.status != 200:

return None

else:

return rp.read() # 读取网页内容

　　网页解析器

　　

import re

from urllib import parse

from bs4 import BeautifulSoup

# 网页解析器，使用BeautifulSoup

class HtmlParser():

# 每个词条中，可以有多个超链接

# main_url指url公共部分，如“https://baike.baidu.com/”

def _get_new_url(self, main_url, soup):

# baike.baidu.com/

# 计算机程序设计语言

new_urls = set()

# 解析出main_url之后的url部分

child_urls = soup.find_all('a', href=re.compile(r'/item/(\%\w{2})+'))

for child_url in child_urls:

new_url = child_url['href']

# 再拼接成完整的url

full_url = parse.urljoin(main_url, new_url)

new_urls.add(full_url)

return new_urls

# 每个词条中，只有一个描述内容，解析出数据（词条，内容）

def _get_new_data(self, main_url, soup):

new_datas = {}

new_datas['url'] = main_url

# 计算机程序设计语言...

new_datas['title'] = soup.find('dd', class_='lemmaWgt-lemmaTitle-title').find('h1').get_text()

# class="lemma-summary" label-module="lemmaSummary"...

new_datas['content'] = soup.find('div', attrs={'label-module': 'lemmaSummary'},

class_='lemma-summary').get_text()

return new_datas

# 解析出url和数据（词条，内容）

def parse(self, main_url, html_cont):

if main_url is None or html_cont is None:

return

soup = BeautifulSoup(html_cont, 'lxml', from_encoding='utf-8')

new_url = self._get_new_url(main_url, soup)

new_data = self._get_new_data(main_url, soup)

return new_url, new_data

　　输出处理器

　　

# 输出器

class HtmlOuter():

def __init__(self):

self.datas = []

# 先收集数据

def conllect_data(self, data):

if data is None:

return

self.datas.append(data)

return self.datas

# 输出为HTML

def output(self, file='output_html.html'):

with open(file, 'w', encoding='utf-8') as fh:

fh.write('')

fh.write('')

fh.write('')

fh.write('爬虫数据结果')

fh.write('')

fh.write('')

fh.write(

'')

fh.write('')

fh.write('URL')

fh.write('词条')

fh.write('内容')

fh.write('')

for data in self.datas:

fh.write('')

fh.write('{0}'.format(data['url']))

fh.write('{0}'.format(data['title']))

fh.write('{0}'.format(data['content']))

fh.write('')

fh.write('')

fh.write('')

fh.write('')

　　效果（部分）：

　　

　　更多Python相关内容请参考本站专题：《Python Socket编程技巧总结》、《Python正则表达式使用总结》、《Python数据结构与算法教程》、《Python函数使用技巧总结》、 《Python字符串操作技巧汇总》、《Python入门及进阶经典教程》、《Python文件与目录操作技巧汇总》

　　我希望这篇文章对你的 Python 编程有所帮助。