js 抓取网页内容(国内docker仓库镜像对比安装运行Splash.jsJS渲染解析 )

　　js 抓取网页内容(国内docker仓库镜像对比安装运行Splash.jsJS渲染解析

)

　　随着越来越多的网站开始使用JS在客户端浏览器中动态渲染网站，我们需要的很多数据无法从原来的html中获取，加上Scrapy没有提供JS渲染分析功能。我们通常使用两种方法来抓取这种类型的网站数据：

　　通过分析网站，找到对应的数据接口，并模拟该接口获取我们需要的数据（见Scrapy捕捉Ajax动态页面），但是一旦网站接口被隐藏得很深，或者接口的加密太复杂了。这种方法可能行不通。在JS内核的帮助下，将获取到的收录JS脚本的页面交给JS内核进行渲染，最后将渲染出来的html返回给Scrapy进行分析，比较常见的就是WebKit和Scrapy-Splash

　　本文文章的目的是介绍如何使用Scrapy-Splash配合Scrapy抓取动态页面。

　　准备工作

　　Docker安装，具体安装步骤参考Docker官网

　　为什么要安装 Docker？

　　因为Scrapy-Splash使用Splash HTTP API，所以需要提供一个Splash实例，而且Docker镜像中有现成的Splash实例，使用起来非常方便。

　　Docker 镜像源变更，参考国内docker仓库镜像对比

　　安装并运行 Splash

　　docker pull scrapinghub/splash #从docker镜像中拉取splash实例

docker run -p 8050:8050 scrapinghub/splash #启动splash实例

　　Scrapy 配置

　　在Scrapy项目的setting.py中添加如下内容：

　　SPLASH_URL = 'http://localhost:8050'

DOWNLOADER_MIDDLEWARES = {

'scrapy_splash.SplashCookiesMiddleware': 723,

'scrapy_splash.SplashMiddleware': 725,

'scrapy.downloadermiddlewares.httpcompression.HttpCompressionMiddleware': 810,

}

SPIDER_MIDDLEWARES = {

'scrapy_splash.SplashDeduplicateArgsMiddleware': 100,

}

DUPEFILTER_CLASS = 'scrapy_splash.SplashAwareDupeFilter'

HTTPCACHE_STORAGE = 'scrapy_splash.SplashAwareFSCacheStorage'

　　实际代码分析

　　我们以腾讯证券的页面为例。腾讯证券新闻列表由js动态渲染

　　我们直接打开这个链接，然后打开开发者工具，找到新闻列表：

　　当我们查看第一个来自网络的请求的响应时，发现返回的html中的列表页面是空的

　　实际数据隐藏在JS中，加载完成后由JS操作DOM插入。

　　这里，由于实际数据是塞进一段js变量中的，不是通过ajax调用接口获取的，所以为了避免自己手动拦截js变量，我们将页面交给Scrapy-Splash用于渲染

　　import scrapy

from FinancialInfoSpider.items import ArticleItem

from scrapy_splash import SplashRequest

from w3lib.html import remove_tags

import re

from bs4 import BeautifulSoup

class TencentStockSpider(scrapy.Spider):

name = "TencentStock"

def start_requests(self):

urls = [

'http://stock.qq.com/l/stock/ywq/list20150423143546.htm',

]

for url in urls:

yield SplashRequest(url, self.parse, args={'wait': 0.5})

def parse(self,response):

sel = scrapy.Selector(response)

links = sel.xpath("//div[@class='qq_main']//ul[@class='listInfo']//li//div[@class='info']//h3//a/@href").extract()

requests = []

for link in links:

request = scrapy.Request(link, callback =self.parse_article)

requests.append(request)

return requests

def parse_article(self,response):

sel = scrapy.Selector(response)

article = ArticleItem()

article['title'] = sel.xpath('//*[@id="Main-Article-QQ"]/div/div[1]/div[1]/div[1]/h1/text()').extract()[0]

article['source'] = sel.xpath('//*[@id="Main-Article-QQ"]/div/div[1]/div[1]/div[1]/div/div[1]/span[2]').xpath('string(.)').extract()[0]

article['pub_time'] = sel.xpath('//*[@id="Main-Article-QQ"]/div/div[1]/div[1]/div[1]/div/div[1]/span[3]/text()').extract()[0]

html_content = sel.xpath('//*[@id="Cnt-Main-Article-QQ"]').extract()[0]

article['content'] = self.remove_html_tags(html_content)

return article

def remove_html_tags(self,html):

soup = BeautifulSoup(html)

[s.extract() for s in soup('script')]

[s.extract() for s in soup('style')]

content = ''

for substring in soup.stripped_strings:

content = content + substring

return content

　　主要代码就一句话，将获取到的页面发送到本地Splash实例进行渲染解析，最后将结果返回给parse函数进行解析

　　SplashRequest(url, self.parse, args={'wait': 0.5})

　　里面使用了 BeautifulSoup 库，用于去除 html 中的 script 和 style 标签。具体用法可以参考这两篇文章文章：

　　Python第二个爬虫工具Beautiful Soup的使用

　　使用 BeautifulSoup 删除 html 中的脚本和注释

　　输出结果：