网页qq抓取什么原理(爬虫入门后可以看一下爬虫如何模拟登陆Python爬虫模拟)

　　网页qq抓取什么原理(爬虫入门后可以看一下爬虫如何模拟登陆Python爬虫模拟)

　　什么是网络爬虫

　　网络爬虫，又称网络蜘蛛，是指按照一定的规则在网络上爬取所需内容的脚本程序。众所周知，每个网页通常都收录其他网页的入口，网络爬虫通过一个网站进入其他网站，获取需要的内容。

　　优先声明：我们使用的python编译环境是PyCharm

　　一、一、一个网络爬虫的结构：

　　二、写一个网络爬虫

　　(1）准备需要的库

　　我们需要准备一个名为BeautifulSoup（网页解析）的开源库来解析下载的网页。我们使用的是PyCharm编译环境，可以直接下载开源库。

　　进行如下操作：

　　选择文件->设置

　　

　　打开项目：PythonProject下的项目解释器

　　

　　单击加号以添加新库

　　

　　输入bs4，选择bs4，点击Install Packge下载

　　

　　(2）写一个爬虫调度器

　　这里的bike_spider是项目名引入的四个类，分别对应如下四段代码：url manager、url downloader、url parser、url outputter。

　　# 爬虫调度程序

from bike_spider import url_manager, html_downloader, html_parser, html_outputer

# 爬虫初始化

class SpiderMain(object):

def __init__(self):

self.urls = url_manager.UrlManager()

self.downloader = html_downloader.HtmlDownloader()

self.parser = html_parser.HtmlParser()

self.outputer = html_outputer.HtmlOutputer()

def craw(self, my_root_url):

count = 1

self.urls.add_new_url(my_root_url)

while self.urls.has_new_url():

try:

new_url = self.urls.get_new_url()

print("craw %d : %s" % (count, new_url))

# 下载网页

html_cont = self.downloader.download(new_url)

# 解析网页

new_urls, new_data = self.parser.parse(new_url, html_cont)

self.urls.add_new_urls(new_urls)

# 网页输出器收集数据

self.outputer.collect_data(new_data)

if count == 10:

break

count += 1

except:

print("craw failed")

self.outputer.output_html()

if __name__ == "__main__":

root_url = "http://baike.baidu.com/item/Python/407313"

obj_spider = SpiderMain()

obj_spider.craw(root_url)

　　(3)写网址管理器

　　我们将抓取到的网址和未抓取到的网址分开存放，这样我们就不会重复抓取一些已经抓取过的网页。

　　# url管理器

class UrlManager(object):

def __init__(self):

self.new_urls = set()

self.old_urls = set()

def add_new_url(self, url):

if url is None:

return

if url not in self.new_urls and url not in self.old_urls:

self.new_urls.add(url)

def add_new_urls(self, urls):

if urls is None or len(urls) == 0:

return

for url in urls:

self.new_urls.add(url)

def get_new_url(self):

# pop方法会帮我们获取一个url并且移除它

new_url = self.new_urls.pop()

self.old_urls.add(new_url)

return new_url

def has_new_url(self):

return len(self.new_urls) != 0

　　(4）写一个网页下载器

　　通过网络请求下载页面

　　# 网页下载器

import urllib.request

class HtmlDownloader(object):

def download(self, url):

if url is None:

return None

response = urllib.request.urlopen(url)

# code不为200则请求失败

if response.getcode() != 200:

return None

return response.read()

　　(5）写一个网页解析器

　　在解析网页时，我们需要知道我们要查询哪些特征。我们可以打开一个网页，右击查看元素，了解我们检查的内容的共性。

　　# 网页解析器

import re

from bs4 import BeautifulSoup

from urllib.parse import urljoin

class HtmlParser(object):

def parse(self, page_url, html_cont):

if page_url is None or html_cont is None:

return

soup = BeautifulSoup(html_cont, "html.parser", from_encoding="utf-8")

new_urls = self._get_new_urls(page_url, soup)

new_data = self._get_new_data(page_url, soup)

return new_urls, new_data

def _get_new_data(self, page_url, soup):

res_data = {"url": page_url}

# 获取标题

title_node = soup.find("dd", class_="lemmaWgt-lemmaTitle-title").find("h1")

res_data["title"] = title_node.get_text()

summary_node = soup.find("div", class_="lemma-summary")

res_data["summary"] = summary_node.get_text()

return res_data

def _get_new_urls(self, page_url, soup):

new_urls = set()

# 查找出所有符合下列条件的url

links = soup.find_all("a", href=re.compile(r"/item/"))

for link in links:

new_url = link['href']

# 获取到的url不完整，学要拼接

new_full_url = urljoin(page_url, new_url)

new_urls.add(new_full_url)

return new_urls

　　(6）写一个网页输出设备

　　输出格式有很多种，我们选择以html的形式输出，这样就可以到一个html页面。

　　# 网页输出器

class HtmlOutputer(object):

def __init__(self):

self.datas = []

def collect_data(self, data):

if data is None:

return

self.datas.append(data)

# 我们以html表格形式进行输出

def output_html(self):

fout = open("output.html", "w", encoding='utf-8')

fout.write("")

fout.write("")

fout.write("")

# 以表格输出

fout.write("")

for data in self.datas:

# 一行

fout.write("")

# 每个单元行的内容

fout.write("%s" % data["url"])

fout.write("%s" % data["title"])

fout.write("%s" % data["summary"])

fout.write("")

fout.write("")

fout.write("")

fout.write("")

# 输出完毕后一定要关闭输出器

fout.close()

　　写在最后

　　注意：网页经常变化，我们需要根据网页的变化动态修改我们的代码以获得我们需要的内容。

　　这只是一个简单的网络爬虫，如果我们需要改进它的功能，我们需要考虑更多的问题。

　　爬虫上手后，可以看看爬虫是如何模拟登陆的 Python爬虫是如何模拟登陆的