nodejs抓取动态网页(【金融课堂】网络爬虫（webcrawler）、深层网络机器人 )

　　nodejs抓取动态网页(【金融课堂】网络爬虫（webcrawler）、深层网络机器人

)

　　前言

　　网络爬虫（也称为网络蜘蛛、网络机器人，在 foaf 社区中，更常见的是网络追逐）是根据某些规则自动抓取万维网上信息的程序或脚本。其他不太常用的名称是蚂蚁、自动索引、模拟器或蠕虫。

　　我们可以使用网络爬虫来自动采集数据信息，比如在搜索引擎中抓取网站收录，数据分析挖掘采集，应用采集对金融数据进行应用采集财务分析。此外，网络爬虫还可以应用于舆情监测分析、目标*敏*感*词*采集等各个领域。

　　1、网络爬虫分类

　　根据系统结构和实现技术，网络爬虫大致可以分为以下几类：通用网络爬虫、聚焦网络爬虫、增量网络爬虫、深度网络爬虫（deep web crawler）。实际的网络爬虫系统通常是通过多种爬虫技术的组合来实现的。下面简单介绍一下这几种爬虫。

　　1.1、通用网络爬虫

　　也称为可扩展的网络爬虫，爬取对象从一些*敏*感*词*网址扩展到整个网络，主要是门户搜索引擎和大型网络服务提供商采集数据。

　　1.2、关注网络爬虫

　　也称为主题爬虫，是指一种网络爬虫，它有选择地抓取与​​预定义主题相关的页面。与一般的网络爬虫相比，聚焦爬虫只需要抓取与主题相关的页面，大大节省了硬件和网络资源。保存的页面也因为数量少更新快，也可以满足特定区域的特定人群。信息需求。

　　1.3、增量网络爬虫

　　它是指对下载的网页进行增量更新并且只抓取新生成或更改的网页的爬虫。它可以在一定程度上保证被爬取的页面尽可能的新。.

　　1.4、深网爬虫

　　网页按存在方式可分为表面网页（surface web）和深层网页（也称隐形网页或隐藏网页）。表面网页是指可以被传统搜索引擎收录的网页，是以超链接可以到达的静态网页为主的网页。深网是那些大部分内容无法通过静态链接获取而隐藏在搜索表单后面的网页。只有用户提交一些 关键词 才能获取网页。

　　2、创建一个简单的爬虫应用

　　简单了解了上面的爬虫之后，我们来实现一个简单的爬虫应用。

　　2.1、 达成目标

　　说到爬虫，大概率会想到大数据，然后会想到python。百度如下，python做爬虫。由于本人主要做前端开发，所以相对来说javascript更熟练，也更简单。实现一个小目标，使用nodejs爬取首页文章列表（你经常使用的一个开发者网站），然后写入本地json文件。

　　2.2、环境建设

　　nodejs安装完成后，打开命令行，可以使用node -v查看nodejs是否安装成功，npm -v查看nodejs是否安装成功，如果安装成功会打印如下信息（视情况而定）在版本上）：

　　

　　2.3、 具体实现

　　2.3.1、安装依赖包

　　在目录下执行 npm install superagentcheerio --save-dev 安装superagent和cheerio依赖。创建一个 crawler.js 文件。

　　// 导入依赖包

const http = require("http");

const path = require("path");

const url = require("url");

const fs = require("fs");

const superagent = require("superagent");

const cheerio = require("cheerio");

　　2.3.2、 爬取数据

　　然后获取请求页面。获取页面内容后，根据自己想要的数据解析返回的dom，最后将处理后的结果json翻译成字符串保存到本地。

　　//爬取页面地址

const pageurl="https://www.cnblogs.com/";

// 解码字符串

function unescapestring(str){

if(!str){

return ''

}else{

return unescape(str.replace(/&#x/g,'%u').replace(/;/g,''));

}

}

// 抓取数据

function fetchdata(){

console.log('爬取数据时间节点：',new date());

superagent.get(pageurl).end((error,response)=>{

// 页面文档数据

let content=response.text;

if(content){

console.log('获取数据成功');

}

// 定义一个空数组来接收数据

let result=[];

let $=cheerio.load(content);

let postlist=$("#main #post_list .post_item");

postlist.each((index,value)=>{

let titlelnk=$(value).find('a.titlelnk');

let itemfoot=$(value).find('.post_item_foot');

let title=titlelnk.html(); //标题

let href=titlelnk.attr('href'); //链接

let author=itemfoot.find('a.lightblue').html(); //作者

let headlogo=$(value).find('.post_item_summary a img').attr('src'); //头像

let summary=$(value).find('.post_item_summary').text(); //简介

let postedtime=itemfoot.text().split('发布于 ')[1].substr(0,16); //发布时间

let readnum=itemfoot.text().split('阅读')[1]; //阅读量

readnum=readnum.substr(1,readnum.length-1);

title=unescapestring(title);

href=unescapestring(href);

author=unescapestring(author);

headlogo=unescapestring(headlogo);

summary=unescapestring(summary);

postedtime=unescapestring(postedtime);

readnum=unescapestring(readnum);

result.push({

index,

title,

href,

author,

headlogo,

summary,

postedtime,

readnum

});

});

// 数组转换为字符串

result=json.stringify(result);

// 写入本地cnblogs.json文件中

fs.writefile("cnblogs.json",result,"utf-8",(err)=>{

// *敏*感*词*错误，如正常输出，则打印null

if(!err){

console.log('写入数据成功');

}

});

});

}

fetchdata();

　　3、进行优化

　　3.1、 生成结果

　　在项目目录中打开命令行，输入node crawler.js，

　　

　　你会发现目录下会创建一个 cnblogs.json 文件。打开文件如下：