C#(csharp)用CefSharp开发实现一个浏览器，抓取网站任意资源

　　C#(csharp)用CefSharp开发实现一个浏览器，抓取网站任意资源

　　前言：

　　不少网站会保护自己，防止别人下载图片。

　　因此下载器，先后改了好几次，不断技术升级。

　　早期 用WebClient 下载 HTML 分析 URL 下载。

　　后来 为了下载 手机网站的图片，用上了 User-Agent 特性，模拟手机浏览器。

　　之前遇到一个复杂些的 网站M ，页面用 JS 加载生成。无法直接获得HTML。

　　用Chrome一番分析后，发现其图片地址 有固定格式。文件名是 3位数数字，从1开始累加。

　　因此只要在浏览器 取到第一个图，后面的图片URL 生成下 也得到了。批量下载搞定。

　　前段时间 网站M 升级。图片展示使用 HTML5 canavs 显示，而且 图片路径 也加随机字符。难以生成了。

　　对于Chrome来说依然没有遮挡效果。依然可以取到 URL，可以手工保存图片， 然而 无法批量下载了。

　　问题来了：

　　无法取到 HTML分析出 图片路径，而且路径名称随机。那么如何批量下载图片？

　　既然 图片展示到我们面前，数据必然也已经到了 我们这边，就看我们这么取得了。

　　解决办法：

　　WebClient不行，于是想到了 Winform 的 WebBrowser 实现浏览器，能显示必然能取到数据。

　　WebBrowser对于大部分网站还是可以的。然而对于 HTML5的 或者 新特性的 网站就有些 不方便了。有时候不能正常显示网站。例如，网站M.

　　它依赖 操作系统的 IE浏览器，而且默认是系统里老版本的 IE。可能是 IE7 吧。

　　一番资料查找 发现CefSharp。这个是Chrome 的另一个开源项目， C# 调用。可以在Winform，Wpf 等中 嵌入浏览器。

　　CefSharp在网上有一些资料，不多。为了弄明白CefSharp里 取得 图片URL，图片数据。花了一番功夫，查资料，看源码。

　　倾情大放送，来一大波代码：

　　开发环境：VS2015 framework 4.5.2 x86模式 CefSharp 63.0.30

　　winform:

　　有了上面的代码，便可以获取到 目标网站的 任意资源了。

　　END

　　●

　　●

　　●

　　●

　　●

　　●

　　扫描二维码

　　获取更多精彩

　　关注服务号