mac 抓取网页视频软件( 测试中的src属性(图)框架(组图) )
优采云 发布时间: 2021-10-28 00:04mac 抓取网页视频软件(
测试中的src属性(图)框架(组图)
)
public static void main(String[] args) {
HttpClient client = new HttpClient();
HttpMethod method = new GetMethod("http://www.ln.gov.cn/video/video_57835_1/zydst/2011_99870/d12q/201401/t20140101_1249267.html");
try {
client.executeMethod(method);
Parser parser = new Parser(method.getResponseBodyAsString());
NodeVisitor visitor = new NodeVisitorExtends();
parser.visitAllNodesWith(visitor);
method.releaseConnection();
} catch (IOException e) {
e.printStackTrace();
} catch (ParserException e) {
e.printStackTrace();
}
}
/**
* 定义内部类，获取抓取的网页数据中iframe的src包含http://的值。
* 2014-08-14 16:52:10
* @author pengyh
*
*/
private static class NodeVisitorExtends extends NodeVisitor {
public void visitTag(Tag tag) {
//只获取html中iframe节点的属性
if(tag.getTagName().equalsIgnoreCase("iframe")){
//获取该iframe中的src属性
String srcUrl = tag.getAttribute("src");
//只获取该src中包含有http://的值
if(srcUrl.contains("http://")){
logger.info("获取到iframe中包含http:的地址为[{}]", srcUrl);
System.out.println(srcUrl);
}
}
}
}
定义的内部类NodeVisitorExtends可以处理抓取的网页数据。测试是获取iframe中src的属性。
======================以上方法只能获取flash player地址。如果视频在普通网页上播放，使用wap页面可以正常播放，但是如果wap嵌入在客户端框架中，并且如果集成在Android客户端框架中的播放器是手机自带的播放器，有时需要使用HTML5标签，此时需要在flash播放器中获取真实的视频mp4地址。
此时需要修改如下：
String MP4Url=parseContent(":8080/mas/front/video/main.do?method=exPlay&id=659721&autoPlay=true&logoAlpha=0&logoCss=lb","utf-8");
:8080/mas/front/video/main.do?method=exPlay&id=659721&autoPlay=true&logoAlpha=0&logoCss=lb 就是上面抓到的flash播放器地址，转换为ipad协议或者重新解析。 （不过好像还有一些视频地址找不到，可能和视频来源有关。）
MP4Url 是真正的视频地址。
/**
* 上面的方法只是获取iframe,src flash播放器的地址， 此方法获取flash播放器的视频地址 2014-09-22 16:45:29
*
* @author pengyh
* @param url
* @param charset
* @return
*/
public static String parseContent(String url, String charset) {
logger.info("获取flash播放器中的视频地址，url:{}", url);
InputStream is = null;
HttpClient client = null;
Document doc = null;
try {
client = new HttpClient();
client.getParams().setParameter(HttpMethodParams.USER_AGENT,
"Mozilla/5.0 (iPad; CPU OS 7_0 like Mac OS X)");
GetMethod getMethod = new GetMethod(url);
// client.getHostConfiguration().setProxy("192.168.13.19", 7777);
client.executeMethod(getMethod);
is = getMethod.getResponseBodyAsStream();
doc = Jsoup.parse(is, charset, "");
} catch (Exception e) {
e.printStackTrace();
} finally {
if (is != null)
try {
is.close();
} catch (IOException e) {
e.printStackTrace();
}
client = null;
}
logger.info("获取返回结果中source节点的标签");
Elements tag = doc.getElementsByTag("source");
if (tag != null) {
String srcVal = tag.attr("src");
logger.info("获取source标签中src的值[{}]。", srcVal);
return srcVal;
}
return null;
}
