• 设为首页
  • 点击收藏
  • 手机版
    手机扫一扫访问
    迪恩网络手机版
  • 关注官方公众号
    微信扫一扫关注
    公众号
登陆 注册

HtmlAgilityPack解析Html(C#爬虫利器)

原作者: [db:作者] 来自: [db:来源] 收藏 邀请

有个需求要写网络爬虫,以前接触过一个叫Html Agility Pack这个解析html的库,这次又要用到,然而发现以前咋用的已经不记得了,现在从头开始记录一下使用过程.

Html Agility Pack官网.大家用的同时也可以去github上star一下这个项目,支持一下.net开源项目.(首页上有其github的项目地址)

加载Html

有几种方式可以加载Html

  1. 从流(Stream)中加载

    HtmlWebRequest req = WebRequest.Create("https://www.cnblogs.com/Laggage/p/10740012.html") as HtmlWebRequest;
HtmlWebResponse res = req.GetResponse() as HtmlWebResponse;
Stream s = res.GetResponseStream();

    HtmlDocument doc = new HtmlDocument();
    
doc.Load(s)

  2. 从字符串加载Html(直接用的官网的一个例子)

    var html = @"<!DOCTYPE html>
<html>
<body>
    <h1>This is <b>bold</b> heading</h1>
    <p>This is <u>underlined</u> paragraph</p>
    <h2>This is <i>italic</i> heading</h2>
</body>
</html> ";

    var htmlDoc = new HtmlDocument();
    
htmlDoc.LoadHtml(html);
    

    var htmlBody = htmlDoc.DocumentNode.SelectSingleNode("//body");
    

    Console.WriteLine(htmlBody.OuterHtml);

  3. 从文件加载

    string path = @"test.html";

    HtmlDocument doc = new HtmlDocument();
    
doc.Load(path);
    

    HtmlNode node = doc.DocumentNode.SelectSingleNode("//body");
    

    Console.WriteLine(node.OuterHtml);

  4. 还可以直接从网络上加载(套用官网的例子)

    string html = @"http://html-agility-pack.net/";

    HtmlWeb web = new HtmlWeb();
    

    HtmlDocument htmlDoc = web.Load(html);
    

    HtmlNode node = htmlDoc.DocumentNode.SelectSingleNode("//head/title");
    

    Console.WriteLine("Node Name: " + node.Name + "\n" + node.OuterHtml);

解析html

利用Html Agility Pack解析起html还是很容易的.主要利用XPath语法.同样套用官网的代码.

HtmlDocument htmlDoc = new HtmlDocument();
htmlDoc.LoadHtml(html);

string name = htmlDoc.DocumentNode

.SelectNodes("//td/input")  //双斜杠表示查询所有的子节点,如果是只要查询范围在当前节点的下一层子节点,则只用一个子节点.

.First()

.Attributes["value"].Value;

主要就是利用 HtmlNode.SelectSingleNode()和HtmlNode.SelectNodes()方法来寻找节点.



这是 Html Agility Pack 官网首页的一段html,现在以要拿到其中的pre标签的所有内容为例.

string url = @"https://html-agility-pack.net/";
HtmlWeb web = new HtmlWeb();

HtmlDocument doc = web.Load(html);

string text = doc.DocumentNode
.SelectSingleNode("//div[@class='side-body container-none page-index']/div[@class='container-examples-index d-flex justify-content-center']/pre")
.InnerText;

Console.WriteLine(text);

具体的XPath语法可以看W3C的教程:W3CXPath教程.

  </div>

鲜花
握手
雷人
路过
鸡蛋
该文章已有0人参与评论

请发表评论

全部评论

专题导读
More+
上一篇：
转UBBC#完整发布时间：2022-07-10
下一篇：
关于C# byte[]与struct的转换发布时间：2022-07-10
热门推荐
More+
热门话题
More+
阅读排行榜

扫描微信二维码

查看手机版网站

随时了解更新最新资讯

139-2527-9053

在线客服（服务时间 9:00～18:00）

在线QQ客服
地址：深圳市南山区西丽大学城创智工业园
电邮：jeky_zhao#qq.com
移动电话：139-2527-9053

Powered by 互联科技 X3.4© 2001-2213 极客世界.|Sitemap