js抓取网页内容( 云开发最大的好处不需要前端搭建服务器的包)

　　js抓取网页内容(

云开发最大的好处不需要前端搭建服务器的包)

　　微信小程序云开发js抓取网页内容

　　最近在研究微信小程序的云开发功能。云开发最大的好处是不需要在前端搭建服务器，可以利用云能力写一个可以从头启动的微信小程序，免去购买服务器的成本，对于个人来说尝试从前台到后台练习微信小程序。发展还是不错的选择。一个微信小程序一天就可以上线。

　　云开发的优势

　　云开发为开发者提供完整的云支持，弱化后端和运维的概念，无需搭建服务器，利用平台提供的API进行核心业务开发，实现快速上线和迭代。同时，这种能力与开发者的能力是一样的。所使用的云服务相互兼容，并不相互排斥。

　　云开发目前提供三个基本能力：

　　云端功能：代码运行在云端，微信私有协议自然认证，开发者只需编写自己的业务逻辑代码数据库：一个JSON数据库，可以在小程序前端操作，也可以读写云功能。小程序前端直接上传/下载云文件，在云开发控制台可视化管理

　　好了，我介绍了这么多关于云开发的知识，感性的同学可以去研究学习。官方文档地址：...

　　网页内容抓取

　　小程序是回答问题，所以问题的来源是一个问题。网上搜了一下，一个贴一个贴一个主题是一种方式，但是这种重复的工作估计贴10次左右就放弃了。于是我想到了网络爬虫。拿起我之前学过的节点就行了。

　　必备工具：Cheerio。一个类似于服务器端 JQuery 的包。它主要用于分析和过滤捕获的内容。Node 的 fs 模块。这是node自带的模块，用于读写文件。这里用来将解析后的数据写入json文件中。Axios（非必需）。用于抓取 网站 HTML 页面。因为我想要的数据是在网页上点击一个按钮后渲染出来的，所以不能直接访问这个网址。我别无选择，只能复制我想要的内容，将其另存为字符串，然后解析该字符串。

　　接下来可以使用npm init初始化一个node项目，一路回车生成package.json文件。

　　然后 npm install --save axios Cheerio 安装cheerio 和 axios 包。

　　关键是用cheerio实现了一个类似jquery的功能。只需点击抓取的内容cheerio.load(quesitons)，然后就可以按照jquery的操作来获取dom，组装你想要的数据了。

　　最后，使用 fs.writeFile 将数据保存到 json 文件中，就大功告成了。

　　具体代码如下：

　　让 axios = require(axios);

　　让cheerio = require(cheerio);

　　让 fs = require(fs);

　　//我的html结构大致如下，数据很多

　　const 问题 = `

　　`;

　　const $ =cheerio.load(questions);

　　var arr = [];

　　对于 (var i = 0; i

　　var obj = {};

　　obj.questions = $(#q + i).find(.question).text();

　　obj.A = ((((#q + i).find(.answer)[0]).text();

　　obj.B = ((((#q + i).find(.answer)[1]).text();

　　obj.C = ((((#q + i).find(.answer)[2]).text();

　　obj.D = ((((#q + i).find(.answer)[3]).text();

　　obj.index = i + 1;

　　obj.answer =

　　((((#q + i).find(.answer)[0]).attr(value) == 1

　　: ((((#q + i).find(.answer)[1]).attr(value) == 1

　　: ((((#q + i).find(.answer)[2]).attr(value) == 1

　　：D；

　　arr.push(obj);

　　}

　　fs.writeFile(poem.json, JSON.stringify(arr), err => {

　　如果（错误）抛出错误；

　　console.log(json文件已经成功保存！);

　　});

　　保存到json后的文件格式如下，这样就可以通过json文件上传到云服务器了。

　　预防措施

　　对于微信小程序云开发的数据库，需要注意上传json文件的数据格式。之前一直报格式错误，后来发现JSON数据不是数组，而是类似于JSON Lines，即每个记录对象之间用n分隔，而不是逗号。所以需要对node写的json文件做一点处理，才能上传成功。