采集网站内容( 如何使用Scrapy结合PhantomJS框架写一个_HANDLER资料总结)

　　采集网站内容(

如何使用Scrapy结合PhantomJS框架写一个_HANDLER资料总结)

　　

　　###1，简介

　　最近在看Scrapy爬虫框架，尝试用Scrapy框架写一个简单的小程序，可以实现网页信息采集。在尝试的过程中遇到了很多小问题，希望大家给点建议。

　　本文主要介绍如何使用Scrapy结合PhantomJS采集天猫产品内容。本文中定制了一个DOWNLOADER_MIDDLEWARES，用于采集动态网页内容，需要加载js。看了很多关于DOWNLOADER_MIDDLEWARES的资料，总结起来，使用简单，但是会阻塞框架，所以性能不好。有资料提到自定义DOWNLOADER_HANDLER或者使用scrapyjs可以解决框架阻塞的问题。有兴趣的朋友可以去研究一下，这里就不多说了。

　　###2、具体实现

　　####2.1、环保要求

　　准备Python开发运行环境需要进行以下步骤：

　　以上步骤展示了两种安装方式： 1、安装本地下载的wheel包； 2、使用Python安装管理器进行远程下载安装。注意：包版本需要与python版本匹配

　　####2.2、开发测试过程首先找到需要采集的网页，这里简单搜索一个天猫产品，网址，页面如下：

　　

　　然后开始写代码，下面的代码默认在命令行界面执行

　　1)，创建一个scrapy爬虫项目tmSpider

　　E:\python-3.5.1>scrapy startproject tmSpider

　　2)，修改settings.py配置

　　配置如下：

　　DOWNLOADER_MIDDLEWARES = {

'tmSpider.middlewares.middleware.CustomMiddlewares': 543,

'scrapy.contrib.downloadermiddleware.useragent.UserAgentMiddleware': None

}

　　3)，在项目目录下创建一个middlewares文件夹，然后在该文件夹下创建一个middleware.py文件，代码如下：

　　# -*- coding: utf-8 -*-

from scrapy.exceptions import IgnoreRequest

from scrapy.http import HtmlResponse, Response

import tmSpider.middlewares.downloader as downloader

class CustomMiddlewares(object):

def process_request(self, request, spider):

url = str(request.url)

dl = downloader.CustomDownloader()

content = dl.VisitPersonPage(url)

return HtmlResponse(url, status = 200, body = content)

def process_response(self, request, response, spider):

if len(response.body) == 100:

return IgnoreRequest("body length == 100")

else:

return response

　　4)，使用selenium和PhantomJS编写一个网页内容下载器，也在上一步创建的middlewares文件夹中创建一个downloader.py文件，代码如下：

　　# -*- coding: utf-8 -*-

import time

from scrapy.exceptions import IgnoreRequest

from scrapy.http import HtmlResponse, Response

from selenium import webdriver

import selenium.webdriver.support.ui as ui

class CustomDownloader(object):

def __init__(self):

# use any browser you wish

cap = webdriver.DesiredCapabilities.PHANTOMJS

cap["phantomjs.page.settings.resourceTimeout"] = 1000

cap["phantomjs.page.settings.loadImages"] = True

cap["phantomjs.page.settings.disk-cache"] = True

cap["phantomjs.page.customHeaders.Cookie"] = 'SINAGLOBAL=3955422793326.2764.1451802953297; '

self.driver = webdriver.PhantomJS(executable_path='F:/phantomjs/bin/phantomjs.exe', desired_capabilities=cap)

wait = ui.WebDriverWait(self.driver,10)

def VisitPersonPage(self, url):

print('正在加载网站.....')

self.driver.get(url)

time.sleep(1)

# 翻到底，详情加载

js="var q=document.documentElement.scrollTop=10000"

self.driver.execute_script(js)

time.sleep(5)

content = self.driver.page_source.encode('gbk', 'ignore')

print('网页加载完毕.....')

return content

def __del__(self):

self.driver.quit()

　　5) 创建爬虫模块

　　在项目目录E:\python-3.5.1\tmSpider，执行如下代码：

　　E:\python-3.5.1\tmSpider>scrapy genspider tmall 'tmall.com'

　　执行后会在项目目录E:\python-3.5.1\tmSpider\tmSpider\spiders下自动生成tmall.py程序文件。该程序中的解析函数处理scrapy下载器返回的网页内容。 采集网页信息的方法可以是：

　　6)，启动爬虫

　　在E:\python-3.5.1\tmSpider项目目录下执行命令

　　E:\python-3.5.1\simpleSpider>scrapy crawl tmall

　　输出结果：

　　

　　提一下，上面的命令一次只能启动一个爬虫。如果你想同时启动多个爬虫怎么办？然后需要自定义一个爬虫启动模块，在spider下创建模块文件runcrawl.py，代码如下

　　# -*- coding: utf-8 -*-

import scrapy

from twisted.internet import reactor

from scrapy.crawler import CrawlerRunner

from tmall import TmallSpider

...

spider = TmallSpider(domain='tmall.com')

runner = CrawlerRunner()

runner.crawl(spider)

...

d = runner.join()

d.addBoth(lambda _: reactor.stop())

reactor.run()

　　执行runcrawl.py文件并输出结果：

　　

　　###3，展望

　　通过自定义DOWNLOADER_MIDDLEWARES调用PhantomJs实现爬虫后，一直在纠结框架阻塞的问题，一直在想解决办法。后面会研究scrapyjs、splash等调用浏览器的方式，看看能不能有效的解决这个问题。

　　###4、相关文件

　　1、Python即时网络爬虫：API说明

　　###5、GooSeeker开源代码下载源码采集

　　1、GooSeeker开源Python网络爬虫GitHub源码

　　###6, 文档修改历史 1, 2016-07-06: V1.0