[转]C#(ASP.net)从其他网站抓取内容并截取有用信息

OStack程序员社区-中国程序员成长平台 › 门户 › 编程› ASP.NET›ASP.NET编程经验

原作者: [db:作者] 来自: [db:来源] 收藏邀请

本文转自：http://www.cnblogs.com/henw/archive/2011/09/23/2186387.html

1. 需要引用的类库

using System.Net; 

using System.IO; 

using System.Text; 

using System.Text.RegularExpressions;

2. 获取其他网站网页内容的关键代码

WebRequest request = WebRequest.Create("http://目标网址.com/"); 
WebResponse response = request.GetResponse(); 

StreamReader reader = new StreamReader(response.GetResponseStream(), Encoding.GetEncoding("gb2312")); 
//reader.ReadToEnd() 表示取得网页的源码 
TextBox1.Text = reader.ReadToEnd();

3. 获取其他网站网页源码之后通过{正则表达式}帅选有用信息

MatchCollection TitleMatchs = Regex.Matches(reader.ReadToEnd(), @"发表评论</a></p></div><div class=""body"">([\s\S]*?)</div><div class=""share"">", RegexOptions.IgnoreCase | RegexOptions.Multiline); 

foreach (Match NextMatch in TitleMatchs) 
{ 

    s += "<br>" + NextMatch.Groups[1].Value; 

    TextBox1.Text += "\n" + NextMatch.Groups[1].Value; 
}

RegexOptions.IgnoreCase: 表示不区分大小写, 一般网站源码大小写不敏感所以取消之.

RegexOptions.Multiline: 表示对多行内容进行帅选.

4. 大功告成

不上图了! 影响不好! 见谅见谅

欢迎大家一起讨论!

示例源码下载

1. 需要引用的类库

using System.Net; 

using System.IO; 

using System.Text; 

using System.Text.RegularExpressions;

2. 获取其他网站网页内容的关键代码

WebRequest request = WebRequest.Create("http://目标网址.com/"); 
WebResponse response = request.GetResponse(); 

StreamReader reader = new StreamReader(response.GetResponseStream(), Encoding.GetEncoding("gb2312")); 
//reader.ReadToEnd() 表示取得网页的源码 
TextBox1.Text = reader.ReadToEnd();

3. 获取其他网站网页源码之后通过{正则表达式}帅选有用信息

MatchCollection TitleMatchs = Regex.Matches(reader.ReadToEnd(), @"发表评论</a></p></div><div class=""body"">([\s\S]*?)</div><div class=""share"">", RegexOptions.IgnoreCase | RegexOptions.Multiline); 

foreach (Match NextMatch in TitleMatchs) 
{ 

    s += "<br>" + NextMatch.Groups[1].Value; 

    TextBox1.Text += "\n" + NextMatch.Groups[1].Value; 
}