php抓取网页title(Javaexample参数分析及应用)

　　php抓取网页title(Javaexample参数分析及应用)

　　PhantomJS 是一个基于 WebKit 的服务器端 API。它完全支持网络，无需浏览器支持。它速度快，并且本机支持各种 Web 标准：DOM 处理、CSS 选择器、JSON、Canvas 和 SVG。PhantomJS 可用于页面自动化、网络监控、网页截图和无界面测试。

　　一、安装

　　安装包下载地址：包括Windows、Mac OS、Linux版本，可以选择对应版本下载解压（为了方便，可以自己设置phantomjs的环境变量），里面有example文件夹，很多已经写好的代码使用。本文假设已安装phantomjs并设置好环境变量。

　　二、使用你好，世界！

　　创建一个收录以下两行脚本的新文本文件：

　　console.log('Hello, world!');

phantom.exit();

　　将文件保存为hello.js，然后执行：

　　phantomjs hello.js

　　输出结果是：你好，世界！

　　第一行将在终端中打印一个字符串，第二行 phantom.exit 将退出。

　　在这个脚本中调用phantom.exit非常重要，否则PhantomJS根本不会停止。

　　脚本参数 – 脚本参数

　　Phantomjs 是如何传递参数的？如下：

　　phantomjs examples/arguments.js foo bar baz

　　其中foo、bar、baz是要传递的参数，如何获取：

　　var system = require('system');

if (system.args.length === 1) {

console.log('Try to pass some args when invoking this script!');

} else {

system.args.forEach(function (arg, i) {

console.log(i + ': ' + arg);

});

}

phantom.exit();

　　它会输出：

　　0: foo

1: bar

2: baz

　　页面加载-页面加载

　　通过创建网页对象，可以加载、分析和呈现网页。

　　以下脚本将是示例页面对象的最简单用法，它加载并将其保存为图像，example.png。

　　var page = require('webpage').create();

page.open('http://example.com', function () {

page.render('example.png');

phantom.exit();

});

　　由于这个特性，PhantomJS 可以用来截取网页的截图和一些内容的快照，比如保存网页、SVG 为图片、PDF 等，这个功能非常好。

　　下一个 loadspeed.js 脚本加载一个特殊的 URL（不要忘记 http 协议）并测量加载页面的时间。

　　var page = require('webpage').create(),

system = require('system'),

t, address;

if (system.args.length === 1) {

console.log('Usage: loadspeed.js ');

phantom.exit();

}

t = Date.now();

address = system.args[1];

page.open(address, function (status) {

if (status !== 'success') {

console.log('FAIL to load the address');

} else {

t = Date.now() - t;

console.log('Loading time ' + t + ' msec');

}

phantom.exit();

});

　　在命令行上运行脚本：

　　phantomjs loadspeed.js http://www.google.com

　　它输出如下内容：

　　加载加载时间 719 毫秒

　　代码评估 – 代码评估

　　要在网页上下文中对 JavaScript 或 CoffeeScript 执行操作，请使用evaluate() 方法。代码在“沙箱”中运行，它无法读取其所属页面上下文之外的任何 JavaScript 对象和变量。evaluate() 将返回一个对象，但它仅限于简单对象，不能收录方法或闭包。

　　这是显示页面标题的示例：

　　var page = require('webpage').create();

page.open(url, function (status) {

var title = page.evaluate(function () {

return document.title;

});

console.log('Page title is ' + title);

});

　　默认情况下不会显示来自网页的任何控制台信息，包括evaluate() 的内部代码。要覆盖此行为，请使用 onConsoleMessage 回调函数。前面的例子可以改写为：

　　var page = require('webpage').create();

page.onConsoleMessage = function (msg) {

console.log('Page title is ' + msg);

};

page.open(url, function (status) {

page.evaluate(function () {

console.log(document.title);

});

});

　　DOM操作-DOM操作

　　由于脚本似乎在 Web 浏览器上运行，因此标准 DOM 脚本和 CSS 选择器可以很好地工作。这使得 PhantomJS 适合支持各种页面自动化任务。

　　下面的 useragent.js 将读取 id 为 myagent 的元素的 textContent 属性：

　　var page = require('webpage').create();

console.log('The default user agent is ' + page.settings.userAgent);

page.settings.userAgent = 'SpecialAgent';

page.open('http://www.httpuseragent.org', function (status) {

if (status !== 'success') {

console.log('Unable to access network');

} else {

var ua = page.evaluate(function () {

return document.getElementById('myagent').textContent;

});

console.log(ua);

}

phantom.exit();

});

　　上面的例子还提供了一种自定义用户代理的方法。

　　使用 JQuery 和其他库：

　　var page = require('webpage').create();

page.open('http://www.sample.com', function() {

page.includeJs("http://ajax.googleapis.com/ajax/libs/jquery/1.6.1/jquery.min.js", function() {

page.evaluate(function() {

$("button").click();

});

phantom.exit()

});

});

　　网络请求和响应-网络请求和响应

　　当页面从远程服务器请求资源时，可以通过 onResourceRequested 和 onResourceReceived 回调方法跟踪请求和响应。示例 netlog.js：

　　var page = require('webpage').create();

page.onResourceRequested = function (request) {

console.log('Request ' + JSON.stringify(request, undefined, 4));

};

page.onResourceReceived = function (response) {

console.log('Receive ' + JSON.stringify(response, undefined, 4));

};

page.open(url);

　　关于如何使用此功能进行基于 YSlow 的 HAR 输出和性能分析的更多信息，请参阅网络监控页面。

　　PhantomJs 官网：

　　GitHub：

　　以上帮助说明来自woiweb：

　　windows下使用PHP执行phantomjs

　　下面直接给出执行代码：

　　echo '';

exec('H:\wamp\www\phantomjs\bin\phantomjs --output-encoding=utf8 H:\wamp\www\Xss_Scanner\test.js ',$output_main);

　　var_dump($output_main);

　　// $str = implode('',$output_main);

// var_dump($str);

　　test.js文件内容如下：

　　console.log('Loading a web page');

　　var page = require('webpage').create();

　　var url = 'http://www.mafutian.net/';

　　page.open(url, function (status) {

　　 //Page is loaded!

　　 if (status !== 'success') {

　　 console.log('Unable to post!');

　　 } else {

　　 console.log(page.content);

　　 }

　　 phantom.exit();

　　});

　　执行结果如下图所示：

　　

　　注意，要达到上述执行结果，需要以下几点：

　　（1） 不能开启PHP的安全模式，即需要在php.ini中将sql.safe_mode设置为Off。（并重启服务器，当然php本身并没有开启安全模式默认情况下）

　　（2） 不管phantomjs是否加到系统环境变量中，在exec()中应该是绝对路径。以下执行无效：

　　exec('phantomjs --output-encoding=utf8 H:\wamp\www\Xss_Scanner\test.js ',$output_main);

　　需要走phantomjs的绝对路径。

　　需要注意的是，js文件不需要走绝对路径。可以相对于网站的根目录，如下执行成功：

　　exec('H:\wamp\www\phantomjs\bin\phantomjs --output-encoding=utf8 test.js ',$output_main);

　　注意：test.js放在网站的根目录下。

　　另外：在PHP下执行phantomjs也可以使用另一个函数systom()来执行

　　参考以上内容：链接地址：

　　php-phantomjs中文API整理的合集DEMO

<p>