Asp.net解析HTML并利用XPATH分析提取内容

OStack程序员社区-中国程序员成长平台 › 门户 › 编程› ASP.NET›ASP.NET编程经验

原作者: [db:作者] 来自: [db:来源] 收藏邀请

HTML解析器有很多种，最常用的是HtmlAgilityPack和SgmlReader(http://sourceforge.net/projects/dekiwiki/files/SgmlReader/)。

这里使用的是HtmlAgilityPack：

下载地址：http://htmlagilitypack.codeplex.com

同时官网提供了一个自动生成xpath路径的工具HAP Explorer。

关于XPATH表达式以及相关教程参见：XPath表达式精选[更新中...]

获取HTML的方式有很多种：

1.通过HttpWebRequest类可实现模拟登录并获取页面信息

2.用第三方控件模拟登录，参见：正在做简历搬家功能，分享一下研究过程

使用方法：

首先引用HtmlAgilityPack的DLL文件 using HtmlAgilityPack;

根据XPath提取内容的函数:


　　 　　/// <summary>

/// 根据XPATH获取筛选的字符串

/// </summary>

/// <param name="content">需要提取HTML的内容</param>

/// <param name="xpath">XPath表达式</param>

/// <param name="separ">分隔符</param>

/// <returns>提取后的内容</returns>

public static string GetStrByXPath(string content, string xpath, string separ)

        {

            HtmlDocument doc1 = new HtmlDocument();

            doc1.LoadHtml(content);

            HtmlNodeCollection repeatNodes = doc1.DocumentNode.SelectNodes(xpath);

string text = "";

//循环节点  

foreach (HtmlNode node in repeatNodes)

            {

                text += node.InnerText + separ;

            }

return text;

        }