C# 实现抓取网站页面内容的实例方法

OStack程序员社区-中国程序员成长平台 › 门户 › 编程› ASP.NET›ASP.NET编程经验

原作者: [db:作者] 来自: [db:来源] 收藏邀请

抓取新浪网的新闻栏目，如图所示：

使用谷歌浏览器的查看源代码：通过分析得知，我们所要找的内容在以下两个标签之间：

复制代码代码如下:

内容。。。。

如图所示：

内容。。。。

使用VS建立一个如图所示的网站：

我们下载网络数据主要通过 WebClient 类来实现。

使用下面源代码获取我们选择的内容：

复制代码代码如下:

protected void Enter_Click(object sender, EventArgs e)
        {
            WebClient we = new WebClient(); //主要使用WebClient类
            byte[] myDataBuffer;
            myDataBuffer = we.DownloadData(txtURL.Text); //该方法返回的是字节数组，所以需要定义一个byte[]
            string download = Encoding.Default.GetString(myDataBuffer); //对下载的数据进行编码

//通过查询源代码，获取某两个值之间的新闻内容
            int startIndex = download.IndexOf("");
            int endIndex = download.IndexOf("");

            string temp = download.Substring(startIndex, endIndex - startIndex + 1); //截取新闻内容

lblMessage.Text = temp;//显示所截取的新闻内容
}

效果如图：

最后: 除了把下载的数据保存为文本以外，还可以保存为文件类型和流类型。

复制代码代码如下:

WebClient wc = new WebClient();
            wc.DownloadFile(TextBox1.Text, @"F:\test.txt");
            Label1.Text = "文件下载完成";

复制代码代码如下:

WebClient wc = new WebClient();
            Stream  s =  wc.OpenRead(TextBox1.Text);

            StreamReader sr = new StreamReader(s);
            Label1.Text =  sr.ReadToEnd();