js提取指定网站内容(.js和puppeteer小试牛刀.newPage)

　　js提取指定网站内容(.js和puppeteer小试牛刀.newPage)

　　如果你是技术人员，那么可以看我的下一个文章，否则请直接移到我的github仓库，看文档就行了，使用仓库地址：有文档和源码，别忘了给一星给这个需求用到的技术：Node.js和puppeteer，小测试，爬京东资源

　　const puppeteer = require('puppeteer'); // 引入依赖

(async () => { //使用async函数完美异步

const browser = await puppeteer.launch(); //打开新的浏览器

const page = await browser.newPage(); // 打开新的网页

await page.goto('https://www.jd.com/'); //前往里面 'url' 的网页

const result = await page.evaluate(() => { //这个result数组包含所有的图片src地址

let arr = []; //这个箭头函数内部写处理的逻辑

const imgs = document.querySelectorAll('img');

imgs.forEach(function (item) {

arr.push(item.src)

})

return arr

});

// '此时的result就是得到的爬虫数据，可以通过'fs'模块保存'

})()

复制过去 使用命令行命令 ` node 文件名 ` 就可以运行获取爬虫数据了

这个 puppeteer 的包 ，其实是替我们开启了另一个浏览器，重新去开启网页，获取它们的数据。

　　跳转网页中所有标题的文本内容对应 中的所有标签，最后放入一个数组中。

　　browser.newPage(), browser.close() 是固定的。

　　调用这个方法。

　　也就是说我们可以先进入京东网页，处理完逻辑再调用page.goto函数，

　　注意上面所有的逻辑都是puppeteer包帮我们在一个不可见的地方打开另一个浏览器，然后处理逻辑，所以我们最后需要调用browser.close()方法来关闭那个浏览器。

　　这时候我们对上一篇的代码进行优化，爬取对应的资源。

　　 const puppeteer = require('puppeteer');

(async () => {

const browser = await puppeteer.launch();

const page = await browser.newPage();

await page.goto('https://www.jd.com/');

const hrefArr = await page.evaluate(() => {

let arr = [];

const aNodes = document.querySelectorAll('.cate_menu_lk');

aNodes.forEach(function (item) {

arr.push(item.href)

})

return arr

});

let arr = [];

for (let i = 0; i < hrefArr.length; i++) {

const url = hrefArr[i];

console.log(url) //这里可以打印

await page.goto(url);

const result = await page.evaluate(() => { //这个方法内部console.log无效

return $(&#x27;title&#x27;).text(); //返回每个界面的title文字内容

});

arr.push(result) //每次循环给数组中添加对应的值

}

console.log(arr) //得到对应的数据 可以通过Node.js的 fs 模块保存到本地

await browser.close()

})()

　　天坑page.evaluate函数里面的console.log不能打印，内部不能获取外部变量，只能返回return。使用的选择器在使用前必须先到相应界面的控制台测试是否可以选择DOM。比如京东就不能使用querySelector。在这里，因为京东的界面使用了jQuery，所以我们可以使用jQuery。简而言之，我们可以使用他们可以使用的所有选择器，否则我们不能。

　　接下来我们爬取Node.js的官网主页，直接生成PDF

　　本项目要求：给我们一个网页地址，爬取他的网页内容，然后输出成我们想要的PDF格式文档，请注意是高质量的PDF文档

　　TIPS：本项目的设计思路是一个网页和一个PDF文件，所以每次爬取单个页面，请将index.pdf复制出来，然后继续改url地址，继续爬取，生成一个新的PDF文件，当然你也可以一次爬取多个网页，通过循环编译的方式生成多个PDF文件。对于像京东首页这样开启了图片延迟加载的网页，部分爬取的内容就是处于加载状态的内容。对于有一些反爬机制的网页，爬虫也会有问题，但是大部分网站都可以

　　const puppeteer = require(&#x27;puppeteer&#x27;);

const url = require(&#x27;./url&#x27;);

(async () => {

const browser = await puppeteer.launch({ headless: true })

const page = await browser.newPage()

//选择要打开的网页

await page.goto(url, { waitUntil: &#x27;networkidle0&#x27; })

//选择你要输出的那个PDF文件路径，把爬取到的内容输出到PDF中，必须是存在的PDF，可以是空内容，如果不是空的内容PDF，那么会覆盖内容

let pdfFilePath = &#x27;./index.pdf&#x27;;

//根据你的配置选项，我们这里选择A4纸的规格输出PDF，方便打印

await page.pdf({

path: pdfFilePath,

format: &#x27;A4&#x27;,

scale: 1,

printBackground: true,

landscape: false,

displayHeaderFooter: false

});

await browser.close()

})()

　　文件解构设计

　　在这个时代，数据非常宝贵。根据网页的设计逻辑，如果选择特定href的地址，可以直接获取对应的资源，也可以再次使用page.goto方法进入，然后调用page.evaluate( ) 处理逻辑。或者输出对应的PDF文件，当然也可以一次输出多个PDF文件~这里就不过多介绍了，毕竟Node.js可以上天，说不定以后真的可以做任何事。这么优质又短的教程，请采集或转发给您的朋友，谢谢。