抓取网页新闻(1.讲故事民生资讯号民生民生)

　　抓取网页新闻(1.讲故事民生资讯号民生民生)

　　一：背景1.讲故事

　　前段时间，我在当地开设了一个民生信息账号。信息都是你抄的，你抄的是官媒的。小市民喜欢奇闻异事，所以有必要，如何定位抓怪故事的地方。上号的消息其实做起来很简单。可以使用逻辑回归。本文主要讨论如何抓取。在C#中，大家都知道抓取的通用库是HtmlAgilityPack，但是这个库的主流方法是使用xpath提取。网页的内容让我很不舒服。毕竟，我对莫名的抵抗并不熟悉。我这个年纪的码农，受过Jquery至少5-6年的教育，所以我必须使用类似Jquery的方法。python中有cquery。在 C# 中是否有类似的方法可以做到这一点？嘿，真的有万能的github。. . 这就是本文介绍的CSQuery。

　　二：CSQuery1.安装

　　github的地址：然后就在vs里面nuget：

　　

　　2. 举几个例子

　　万事俱备，那么如何使用呢？别着急，我给你举两个博客园的例子。

　　1) 将首页的友情链接提取到

　　

　　如上图所示，如果要在这里获取友情链接的几个大字符，直接使用text()肯定是不行的。默认情况下，它还会捕获所有子节点的文本，如下图所示：

　　

　　如何处理？可以使用jquery提供的contents方法，然后判断获取到的所有子节点中是否有文本节点，最终获取文本节点的内容，如下：

　　

　　如果是用js做的，那怎么用CSQuery代码做呢？模仿一下，下面的代码：

　　

static void Main(string[] args)

{

var jquery = CQ.CreateDocument(new WebClient().DownloadString("http://cnblogs.com"));

var content = jquery["#friend_link"].Contents().Filter((dom) =>

{

return dom.NodeType == NodeType.TEXT_NODE;

}).Text();

Console.WriteLine(content);

}

　　不知道用xpath提取这样的内容是不是很麻烦，但是jquery不好用，但是好用。

　　2) 如何为 html 中的某些元素着色

　　有时出于商业目的需要改变一些html标签的颜色，比如把博客和首页tabmenu中的特殊区域改成红色，如下图：

　　

　　如何用 CSQuery 处理它？如果你玩过jquery，一般步骤如下：

　　通过步骤，C#代码如下：

　　

static void Main(string[] args)

{

Config.HtmlEncoder = HtmlEncoders.None;

var jquery = CQ.CreateDocument(new WebClient().DownloadString("http://cnblogs.com"));

var html = jquery["#nav_left li"].Each(dom =>

{

var self = jquery[dom];

var text = self.Text();

if (text == "博问" || text == "专区")

{

self.Find("a").CssSet(new { color = "red" });

}

}).Render();

}

　　

　　3) 其他操作方法

　　除了以上两种操作方法，还可以使用after、before、replaceAll、IS等一百多种实用方法。这篇文章当然不能一一介绍。有兴趣的可以下载看看。小提琴。

　　三：其他用途

　　除了抓取html中的元素，我觉得这个东西还可以用来在发送邮件的时候操作邮件模板。毕竟很久以前大家都是用jquery来画html的，所以用CSQuery也是可以的，相比用xslt，各有优劣。，然后做一个例子：

　　1. 生成一个html模板

　　2. 使用 CSQuery 将 li 附加到 ul

　　可以使用 Append 将内容附加到节点。

　　

class Program

{

static void Main(string[] args)

{

Config.HtmlEncoder = HtmlEncoders.None;

var strlist = new string[2] { "1", "2" };

var path = Environment.CurrentDirectory + "\2.html";

var jquery = CQ.CreateFromFile(path);

foreach (var str in strlist)

{

jquery.Find("#main").Append($"{str}");

}

var html = jquery.Render();

}

}

　　

　　3. 部分渲染的 RenderSelection

　　Render方法是把整个Dom渲染成html，但是有时候你只需要拿到你修改的部分内容，而不是整个html，这就涉及到部分渲染了。您可以使用 RenderSelection 方法。代码如下：

　　

static void Main(string[] args)

{

Config.HtmlEncoder = HtmlEncoders.None;

var strlist = new string[2] { "1", "2" };

var path = Environment.CurrentDirectory + "\2.html";

var jquery = CQ.CreateFromFile(path);

var current = jquery.Find("#main");

foreach (var str in strlist)

{

current.Append($"{str}");

}

var html = current.RenderSelection();

Console.WriteLine(html);

}

------------- output ----------------

12

　　四：总结

　　jquery的操作方式对我个人来说还是比较舒服的，毕竟我很熟悉！不过html5中也加入了querySelector和querySelectorAll来支持css3选择器，功能非常强大，但是jquery不仅在选择器上灵活，在节点操作上也很灵活。一般来说，在不是特别交互的情况下可以使用它。怀旧。

　　如果你还有更多问题想和我互动，扫下方二维码进来吧~

　　

　　程序员的信标