php抓取网页title(Javaexample参数分析及应用)

　　php抓取网页title(Javaexample参数分析及应用)

　　PhantomJS 是一个基于 WebKit 的服务器端 API。它完全支持没有浏览器支持的 Web，并且速度很快并且原生支持各种 Web 标准：DOM 操作、CSS 选择器、JSON、Canvas 和 SVG。PhantomJS 可用于页面自动化、网络监控、网页截图和无界面测试。

　　一、安装

　　安装包下载地址：，包括Windows、Mac OS、Linux版本，可以选择对应的版本下载解压（为了方便可以自己设置phantomjs的环境变量），里面有一个example文件夹，里面有很多写的好用的代码。本文假设 phantomjs 已经安装并设置了环境变量。

　　二、使用你好，世界！

　　使用以下两行脚本创建一个新的文本文件：

　　console.log('Hello, world!');

phantom.exit();

　　将文件保存为 hello.js，然后执行它：

　　phantomjs hello.js

　　输出是：你好，世界！

　　第一行将字符串打印到终端，第二行 phantom.exit 将退出。

　　在这个脚本中调用 phantom.exit 非常重要，否则 PhantomJS 根本不会停止。

　　脚本参数 – 脚本参数

　　Phantomjs如何传递参数？如下：

　　phantomjs examples/arguments.js foo bar baz

　　其中，foo、bar、baz是要传递的参数。如何获得它们：

　　var system = require('system');

if (system.args.length === 1) {

console.log('Try to pass some args when invoking this script!');

} else {

system.args.forEach(function (arg, i) {

console.log(i + ': ' + arg);

});

}

phantom.exit();

　　它将输出：

　　0: foo

1: bar

2: baz

　　页面加载——页面加载

　　通过创建网页对象，可以加载、解析和呈现网页。

　　以下脚本显示了示例页面对象的最简单用法，它加载它并将其保存为图像 example.png。

　　var page = require('webpage').create();

page.open('http://example.com', function () {

page.render('example.png');

phantom.exit();

});

　　因为这个特性，PhantomJS可以用来对网页进行截图，对一些内容进行快照，比如将网页、SVG保存为图片、PDF等。这个功能非常好。

　　下一个 loadspeed.js 脚本加载一个特殊的 URL（不要忘记 http 协议）并测量加载页面的时间。

　　var page = require('webpage').create(),

system = require('system'),

t, address;

if (system.args.length === 1) {

console.log('Usage: loadspeed.js ');

phantom.exit();

}

t = Date.now();

address = system.args[1];

page.open(address, function (status) {

if (status !== 'success') {

console.log('FAIL to load the address');

} else {

t = Date.now() - t;

console.log('Loading time ' + t + ' msec');

}

phantom.exit();

});

　　在命令行运行脚本：

　　phantomjs loadspeed.js http://www.google.com

　　它输出如下内容：

　　加载加载时间 719 毫秒

　　代码评估 - 代码评估

　　要在网页上下文中评估 JavaScript 或 CoffeeScript，请使用 evaluate() 方法。代码在“沙箱”中运行，它无法读取其所属页面上下文之外的任何 JavaScript 对象和变量。evaluate() 将返回一个对象，但它仅限于简单对象，不能收录方法或闭包。

　　这是显示页面标题的示例：

　　var page = require('webpage').create();

page.open(url, function (status) {

var title = page.evaluate(function () {

return document.title;

});

console.log('Page title is ' + title);

});

　　默认情况下，不会显示来自网页并收录evaluate() 内部代码的任何控制台消息。要覆盖此行为，使用 onConsoleMessage 回调函数，可以将前面的示例重写为：

　　var page = require('webpage').create();

page.onConsoleMessage = function (msg) {

console.log('Page title is ' + msg);

};

page.open(url, function (status) {

page.evaluate(function () {

console.log(document.title);

});

});

　　DOM 操作 – DOM 操作

　　由于该脚本似乎在 Web 浏览器上运行，因此标准 DOM 脚本和 CSS 选择器可以正常工作。这使得 PhantomJS 适合支持各种页面自动化任务。

　　以下 useragent.js 将读取 id 为 myagent 的元素的 textContent 属性：

　　var page = require('webpage').create();

console.log('The default user agent is ' + page.settings.userAgent);

page.settings.userAgent = 'SpecialAgent';

page.open('http://www.httpuseragent.org', function (status) {

if (status !== 'success') {

console.log('Unable to access network');

} else {

var ua = page.evaluate(function () {

return document.getElementById('myagent').textContent;

});

console.log(ua);

}

phantom.exit();

});

　　上面的示例还提供了一种自定义用户代理的方法。

　　使用 JQuery 和其他库：

　　var page = require('webpage').create();

page.open('http://www.sample.com', function() {

page.includeJs("http://ajax.googleapis.com/ajax/libs/jquery/1.6.1/jquery.min.js", function() {

page.evaluate(function() {

$("button").click();

});

phantom.exit()

});

});

　　网络请求和响应——网络请求和响应

　　当页面向远程服务器请求资源时，可以通过 onResourceRequested 和 onResourceReceived 回调方法跟踪请求和响应。示例 netlog.js：

　　var page = require('webpage').create();

page.onResourceRequested = function (request) {

console.log('Request ' + JSON.stringify(request, undefined, 4));

};

page.onResourceReceived = function (response) {

console.log('Receive ' + JSON.stringify(response, undefined, 4));

};

page.open(url);

　　有关如何将此功能用于 HAR 输出和基于 YSlow 的性能分析的更多信息，请参阅网络监控页面。

　　PhantomJs官网：

　　GitHub：

　　以上帮助说明来自woiweb：

　　windows下使用php执行phantomjs

　　下面直接给出执行代码：

　　echo '';

exec('H:wampwwwphantomjsinphantomjs --output-encoding=utf8 H:wampwwwXss_Scanner est.js ',$output_main);

　　var_dump($output_main);

　　// $str = implode('',$output_main);

// var_dump($str);

　　test.js 文件内容如下：

　　console.log('Loading a web page');

　　var page = require('webpage').create();

　　var url = 'http://www.mafutian.net/';

　　page.open(url, function (status) {

　　 //Page is loaded!

　　 if (status !== 'success') {

　　 console.log('Unable to post!');

　　 } else {

　　 console.log(page.content);

　　 }

　　 phantom.exit();

　　});

　　执行结果如下图所示：

　　

　　请注意，要实现上述执行结果，需要以下几点：

　　（1）PHP的安全模式不能开启，即需要在php.ini中将sql.safe_mode设置为Off。（并且重启服务器，当然php本身并没有开启安全模式）默认模式）

　　(2）无论phantomjs是否加入系统环境变量，都应该是exec()中的绝对路径，以下执行无效：

　　exec('phantomjs --output-encoding=utf8 H:wampwwwXss_Scanner est.js ',$output_main);

　　你需要走phantomjs的绝对路径。

　　需要注意的是，js文件不能走绝对路径。可以相对于网站根目录，如下执行成功：

　　exec('H:wampwwwphantomjsinphantomjs --output-encoding=utf8 test.js ',$output_main);

　　注意：test.js 放在网站 的根目录下。

　　另外：PHP下执行phantomjs也可以使用另外一个函数systom()来执行

　　以上内容参考：链接地址：

　　php-phantomjs中文API整理的合集DEMO

<p>