nodejs抓取动态网页( 响应设计分为数据结构数据结构设计和响应码设计(组图) )

　　nodejs抓取动态网页(

响应设计分为数据结构数据结构设计和响应码设计(组图)

)

　　 分页获取部分博客

GET /api/blogs?page=1&size=15&sort=time

- 按层次组织资源：

// 获取某个博客下面的所有评论

GET /api/blogs/143/comments

层次化的设计有可能会让URL太长，不便于阅读，比如：

// 获取某个博客下面的某个评论的某个回复

GET /api/blogs/123/comments/12343/replys/2231

所以，我们也可以使用扁平化的方式设计所有的资源：

// 获取某个博客的所有评论，使用查询参数来限定条件

GET /api/comments?blogId=123

// 获取某个评论的所有回复

GET /api/replys?commentId=123

　　响应式设计

　　响应式设计分为数据结构设计和响应代码设计。

　　前后分离

　　在以前的时代，当用户请求一个网页时，服务器通过JSP技术或者其他模板引擎技术动态渲染，然后返回给用户。它们看起来像这样：

　　

　　这样做的缺点是后端和前端是一体的，即使前端代码不是后端人员编写的，双方仍然需要进行必要的交流和沟通，减少了开发效率；并且前后端一起部署，灵活性差；而静态资源的后台处理性能较差，不应该处理静态资源压缩、缓存等问题，应该交给代理服务器，比如Nginx。

　　前后端分离最极端的方式是：前后端独立编写，独立部署，通过API接*敏*感*词*互。它们看起来像这样：

　　

　　项目实战：电商管理后台

　　目标是为商家和管理员实现一个收录账户模块、权限模块、商品分类模块和订单模块的后台系统。

　　项目采用前后端分离的开发方式。它只实现 API 功能，不提供接口。

　　项目结构搭建及实施过程

　　在之前的TODO项目的基础上，增加了一个中间件包和一个测试包。前者用于存放中间件包，因为权限管理需要通过中间件来实现；后者是一个与测试相关的包。

　　各个模块的实现顺序为：模型层-->服务层-->路由器层。单元测试：服务层编写脚本测试；路由器层使用邮递员测试。配置文件的环境切换

　　开发环境和生产环境的配置一般是不同的，比如端口配置和数据库配置。一般我们通过环境变量NODE_ENV来区分。为了动态切换配置，需要根据NODE_ENV的当前值加载不同的配置对象。

　　这样做的方法是：

　　创建config目录，创建dev.js和prod.js存放对应的配置信息，编写index.js实现动态配置切换的逻辑。

　　目录结构：

　　

　　写入入口文件

　　添加依赖项：

　　npm i body-parser express express-async-errors mongoose morgan

　　编写 app.js 和 db.js 文件。

　　应用程序.js

　　 //引入dib

require('./db')

const config = require('./config');

const morgan = require('morgan')

const bodyParser = require('body-parser');

const express = require('express')

// 引入异常捕获处理

require('express-async-errors');

const app = express();

//注册中间件

// log中间件

app.use(morgan('combined'));

//注册自定义的中间件

// 注册body-parser中间件

// parse application/x-www-form-urlencoded

app.use(bodyParser.urlencoded({ extended: false }));

// parse application/json

app.use(bodyParser.json());

// 注册路由

app.use("/users", require('./router/account'));

// 注册异常处理中间件

app.use((err, req, res, next)=>{

res.fail(err.toString())

});

//启动

app.listen(config.PORT);

　　数据库.js

　　 const config = require('./config');

const mongoose = require('mongoose');

mongoose.connect(`mongodb://127.0.0.1/${config.DB}`);

const db = mongoose.connection;

db.on('error', (err)=>{

console.log(err);

});

db.on("open", ()=>{

console.log("mongodb connect successfully!");

});

　　账户模块

　　先写模型，再写服务，最后写路由器；最后，测试服务和路由器。

　　REST 中间件

　　为了方便返回 REST 结果，我们编写了一个 res_md.js 中间件，用于为每个 res 对象安装 2 个方法。注意中间件的注册顺序要放在前面。代码显示如下：

　　 module.exports = function (req, res, next) {

res.success = (data = null) =>{

res.send({

code: 0,

msg: "操作成功",

data: data

})

};

res.fail = (msg)=>{

res.send({

code: -1,

msg: msg

})

};

next();

};

　　账户模型

　　 const mongoose = require('mongoose')

const schema = new mongoose.Schema({

username: {

type: String,

required: [true, "用户名不能缺少"]

},

password: {

type: String,

required: [true, "密码不能缺少"]

},

age: {

type: Number,

min: [0, "年龄不能小于0"],

max: [120, "年龄不能大于120"]

},

role: {

type: Number,

default: 0 // 0是商家， 10086是管理员

},

created:{

type: Date,

default: Date.now()

}

});

module.exports = mongoose.model('user', schema);

　　账户服务

　　 const User = require('../model/user');

const config = require('../config')

const crypto = require('lxj-crypto')

/**

* 根据用户名获取某个用户

* @param username

* @returns {Promise}

*/

async function getUserByUsername(username) {

return await User.findOne({username: username}).select("-__v")

}

async function checkCanInsertUser(user) {

//检查密码是否为空

if(!user.password || user.password.length===0){

throw Error("密码不能为空")

}

//检查用户是否已经存在

let res = await getUserByUsername(user.username);

if(res){

throw Error("用户名已经存在")

}

}

/**

* 添加普通用户

* @param user

* @returns {Promise}

*/

async function addUser(user) {

await checkCanInsertUser(user);

user.role = 0;

user.created = Date.now();

//对密码进行加密,加密的方式：使用username作为随机数对password进行哈希

user.password = crypto.md5Hmac(user.password, user.username)

await User.create(user)

}

async function deleteUser(id) {

let res = await User.deleteOne({_id:id});

if(!res || res.n===0){

throw Error("删除用户失败")

}

}

/**

* 登录的方法

* @param user

* @returns token

*/

async function login(user) {

// 1. 对密码进行加密

user.password = crypto.md5Hmac(user.password, user.username)

// 2. 进行查询

let res = await User.findOne({username:user.username, password: user.password});

if(!res){

throw Error("用户名或者密码错误")

}

// 说明用户名和密码验证成功，需要生产token返回给客户端，以后客户端的header中带上这个token

// token 生产方法：用aes进行对指定的data加密

let tokenData = {

username: user.username,

expire: Date.now() + config.TokenDuration

};

let token = crypto.aesEncrypt(JSON.stringify(tokenData), config.TokenKey);

return token

}

module.exports = {

getUserByUsername,

addUser,

deleteUser,

login

};

　　帐号路由器

　　 let router = require("express").Router();

let accountService = require('../service/accout')

router.get("/:username", async (req, res)=>{

let user = await accountService.getUserByUsername(req.params.username);

res.success(user);

});

// 登录

router.post("/login", async (req, res)=>{

let token = await accountService.login(req.body);

res.success({token});

});

// 注册

router.post("/register", async (req, res)=>{

await accountService.register(req.body)

res.success()

});

router.delete("/:id", async (req, res)=>{

await accountService.deleteUser(req.params.id)

res.success()

});

module.exports = router;

```