php登录抓取网页指定内容( 什么是PhantomJS?PhantomJS是一个基于WebKit的服务器端JavaScriptAPI )
优采云 发布时间: 2022-03-23 19:14php登录抓取网页指定内容(
什么是PhantomJS?PhantomJS是一个基于WebKit的服务器端JavaScriptAPI
)
什么是 PhantomJS？
PhantomJS 是一个基于 WebKit 的服务器端 JavaScript API。它完全支持没有浏览器支持的 Web，并且速度很快并且原生支持各种 Web 标准：DOM 操作、CSS 选择器、JSON、Canvas 和 SVG。 PhantomJS 可用于页面自动化、网络监控、网页截图和无接口测试。
一、安装
安装包下载地址：，包括Windows、Mac OS、Linux版本，可以选择对应的版本下载解压（为了方便可以自己设置phantomjs的环境变量），里面有example文件夹，其中收录许多已编写的代码以供使用。本文假设已经安装好phantomjs并设置了环境变量。
二、使用
console.log('Hello, world!');
phantom.exit();
//另存为 hi.js
//运行
phantomjs hi.js
会输出
你好，世界！
传递参数
phantomjs examples/arguments.js 参数 1 参数 2
//js 代码
var system = require('system');
if (system.args.length === 1) {
console.log('Try to pass some args when invoking this script!');
} else {
system.args.forEach(function (arg, i) {
console.log(i + ': ' + arg);
});
}
phantom.exit();
然后输出：
0：参数11：参数2（数组形式）
页面加载——页面加载
通过创建网页对象，可以加载、解析和呈现网页。
以下脚本采用示例页面对象的最简单用法，加载它并将其保存为图像，example.png。
var page = require('webpage').create();
page.open('http://example.com', function () {
page.render('example.png');
phantom.exit();
});
由于这个功能，PhantomJS可以用来截取网页，截取一些内容的快照，比如保存网页、SVG为图片、PDF等。这个功能非常好。
下一个 loadspeed.js 脚本会加载一个特殊的 URL（不要忘记 http 协议）并测量加载页面的时间。
var page = require('webpage').create(),
system = require('system'),
t, address;
if (system.args.length === 1) {
console.log('Usage: loadspeed.js ');
phantom.exit();
}
t = Date.now();
address = system.args[1];
page.open(address, function (status) {
if (status !== 'success') {
console.log('FAIL to load the address');
} else {
t = Date.now() - t;
console.log('Loading time ' + t + ' msec');
}
phantom.exit();
});
//运行
phantomjs loadspeed.js http://www.google.com
然后输出：
加载时间 719 毫秒
代码评估 - 代码评估
要在网页上下文中评估 JavaScript 或 CoffeeScript，请使用 evaluate() 方法。代码在“沙箱”中运行，它无法读取其所属页面上下文之外的任何 JavaScript 对象和变量。 evaluate() 将返回一个对象，但它仅限于简单对象，不能收录方法或闭包。
这是一个显示页面标题的示例：
var page = require('webpage').create();
page.open(url, function (status) {
var title = page.evaluate(function () {
return document.title;
});
console.log('Page title is ' + title);
});
默认情况下，不会显示来自网页的任何控制台消息，包括来自 evaluate() 内部的代码。要覆盖这个行为，使用 onConsoleMessage 回调函数，前面的例子可以重写为：
var page = require('webpage').create();
page.onConsoleMessage = function (msg) {
console.log('Page title is ' + msg);
};
page.open(url, function (status) {
page.evaluate(function () {
console.log(document.title);
});
});
DOM 操作 - DOM 操作
由于脚本像 Web 浏览器一样运行，因此标准 DOM 脚本和 CSS 选择器可以正常工作。这使得 PhantomJS 适合支持各种页面自动化任务。
以下 useragent.js 将读取 id 为 myagent 的元素的 textContent 属性：
var page = require('webpage').create();
console.log('The default user agent is ' + page.settings.userAgent);
page.settings.userAgent = 'SpecialAgent';
page.open('http://www.httpuseragent.org', function (status) {
if (status !== 'success') {
console.log('Unable to access network');
} else {
var ua = page.evaluate(function () {
return document.getElementById('myagent').textContent;
});
console.log(ua);
}
phantom.exit();
});
上面的例子还提供了一种自定义用户代理的方法。
使用 JQuery 和其他库：
var page = require('webpage').create();
page.open('http://www.sample.com', function() {
page.includeJs("http://ajax.lug.ustc.edu.cn/ajax/libs/jquery/1.6.1/jquery.min.js", function() {
page.evaluate(function() {
$("button").click();
});
phantom.exit()
});
});
网络请求和响应
当页面向远程服务器请求资源时，可以通过 onResourceRequested 和 onResourceReceived 回调方法跟踪请求和响应。示例 netlog.js：
var page = require('webpage').create();
page.onResourceRequested = function (request) {
console.log('Request ' + JSON.stringify(request, undefined, 4));
};
page.onResourceReceived = function (response) {
console.log('Receive ' + JSON.stringify(response, undefined, 4));
};
page.open(url);
有关如何使用此功能进行 HAR 输出和基于 YSlow 的性能分析的更多信息，请参阅网络监控页面。
PhantomJs 官网：
GitHub：
windows下使用php执行phantomjs
下面直接给出执行代码：
exec('C:\wamp\www\phantomjs\bin\phantomjs --output-encoding=utf8 C:\wamp\www\Xss_Scanner\test.js ',$output_main);
var_dump($output_main);
需要注意的是，js文件不能走绝对路径。可以相对于网站根目录，以下执行成功：
exec('C:\wamp\www\phantomjs\bin\phantomjs --output-encoding=utf8 test.js ',$output_main);
注意：test.js放在网站的根目录下。
另外：PHP下执行phantomjs也可以使用另外一个函数systom()来执行
php-phantomjs中文API整理DEMO合集
<p>
