php网页抓取图片(通过一个实例来教学如何用nodejs实现爬取网站图片功能 )

　　php网页抓取图片(通过一个实例来教学如何用nodejs实现爬取网站图片功能

)

　　通过一个例子教你如何使用nodejs实现爬取网站图片的功能。有兴趣的朋友可以采集。

　　我会通过实例向大家说明nodejs实现爬取网站图片的功能。以下为全文：

　　原理：

　　爬虫是最明显的IO密集型应用场景。显然，使用node来让I/O等待开销小的数据挖掘更方便

　　使用 express 模块构建节点服务

　　并使用request模块获取目标页面的html代码

　　下载cheerio模块处理html代码（cheerio类似于jQuery的语法，使用方便方便）

　　环境配置：

　　npm install express request cheerio --save

　　(1)介绍各个模块

　　var http = require('http');

var request = require('request);

var cheerio = require('cheerio');

var fs = require('fs'); //用来操作文件

var url = 'https://movie.douban.com/cinema/nowplaying/beijing/' //定义要爬的页面

　　(2)发送请求

　　http.get(function(res){

var html = '';

var titles = [];

res.setEncoding('utf-8') //防止中文乱码

res.on('data',function(chunk){

html += chrunk; //*敏*感*词*data事件 每次取一块数据

})

res.on('end',function(){

var $ = cheerio.load(html); //获取数据完成后，解析html

//将获取的图片存到images文件夹中

$('.mod-bd img').each(function(index, item){

//获取图片属性

var imgName = $(this).parent().next().text().trimg()

var imgfile = imgName + '.jpeg';

var imgSrc = $(this).attr('src')

//采用request模块，向服务器发起请求 获取图片资源

request.head(imgSrc, function(error, res,body){

if(error){

console.log('失败了')

}

});

//通过管道的方式用fs模块将图片写到本地的images文件下

request(imgSrc).pipe.(fs.createWriteStream('./images/' + imgfile));

})

})

})