• 设为首页
  • 点击收藏
  • 手机版
    手机扫一扫访问
    迪恩网络手机版
  • 关注官方公众号
    微信扫一扫关注
    公众号

C#实现web信息自动抓取

原作者: [db:作者] 来自: [db:来源] 收藏 邀请

背景

 

随着Internet的普及,网络信息正以极高的速度增长,在这么多数据中找到自己需要的信息是一件很繁琐的事情,找到需要的信息后如何获取也是件麻烦的事。这就需要Internet信息抓取程序来代替人工的操作。

所谓Internet信息抓取程序,就是程序会按照用户的关键词或关键网站来收集相应的信息,并提供给用户想要的信息格式。

 

信息量的增加会带来信息网站发布人员工作量的剧增,为实现信息发布系统实现信息自

动发布、减少工作人员工作量、即时跟踪最新信息,就需要自动信息提供程序,因此Internet信息抓取程序应运而生。

 

目标

 

实现自定义网站信息分类抓取,存入本地数据库、生成静态页面或其它用户定义的信息结构,并下载与信息相关的多媒体文件。

 

开发

 

l         目标站点结构分析

本步骤是准确抓取信息个关键。

首先要选择更新频率高的页面做为抓取地址,然后分析要抓取内容页面url特点。

然后分析要抓取信息页面的元素特性,比如标题位置,内容位置 等,得到定位标记点。

将以上信息写成自己的配置文件或存到数据库中。

每个网站都需要分析,写出单独的配置文件,供抓取程序使用。

 

l         信息提取

根据配置文件取得要抓取页面url,使用HttpWebRequest类获取内容:

//获取http页面函数

        public string Get_Http(string a_strUrl,int timeout)

        {

            string strResult ;        

 

            try

            {

HttpWebRequest myReq = (HttpWebRequest)HttpWebRequest.Create(a_strUrl) ;

                myReq.Timeout = timeout;

                HttpWebResponse HttpWResp = (HttpWebResponse)myReq.GetResponse();

           

                Stream myStream = HttpWResp.GetResponseStream () ;

 

                StreamReader sr = new StreamReader(myStream , Encoding.Default);

                StringBuilder strBuilder = new StringBuilder();

                while (-1 != sr.Peek())

                {

                    strBuilder.Append(sr.ReadLine()+"\r\n");

                }

 

                strResult = strBuilder.ToString();

            }

            catch(Exception exp)

            {

                strResult = "错误:" + exp.Message ;

            }

 

            return strResult ;

 

        }

获取页面内容后,分析页面中连接地址取到要抓取的url:

//处理页面标题和链接

        public string SniffWebUrl( string urlStr,string blockB,string blockE )

        {      

            string urlch1 = "";

            string urlch2 = "";                   

            int end_n1 = 0;

            int end_nums = 0;

            int end_nums1 = 0;

            int end_nums2 = 0;

            int end_nums3     = 0;           

            string reUTStr = "";

            string reTitle = "";

            string ret = "";          

            try

            {

                int pos01 = urlStr.IndexOf( "." );

                int pos02 = urlStr.LastIndexOf( "/" );

                if( pos01 < 0 )

                {

                    return "";

                }

                if( pos02 < 0 )

                {

                    return "";

                }

                int pos03 = urlStr.IndexOf( "/",pos01 );

                if ( pos03 < 0 )

                {

                    urlch1 = urlStr;

                    urlch2 = urlStr;

                }

                else

                {

                    urlch1 = urlStr.Substring( 0,pos03 );

                    urlch2 = urlStr.Substring( 0,pos02 );

                }

 

                string tmpAllStr = new PublicFun().Get_Http( urlStr ,time1);

 

                int pos1 = tmpAllStr.IndexOf( blockB );

                int pos2 = tmpAllStr.IndexOf( blockE,pos1 + blockB.Length );

                if ( pos1>0 && pos2>0 && pos2>pos1 )

                {

                    ret = tmpAllStr.Substring( pos1 + blockB.Length,pos2 - pos1 - blockB.Length );

                    ret = ret.Substring( ret.IndexOf( "<" ));

                    while( ret.IndexOf( "<A" ) >= 0 )

                    {

                        ret = ret.Substring( 0,ret.IndexOf( "<A" ) ) + "<a" + ret.Substring( ret.IndexOf( "<A" ) + 2 );

                    }

                    while( ret.IndexOf( "</A" ) >=0 )

                    {

                        ret = ret.Substring( 0,ret.IndexOf( "</A" ) ) + "</a" + ret.Substring( ret.IndexOf( "</A" ) + 3 );

                    }

                    while( ret.IndexOf( "Href=" ) >=0 )

                    {

                        ret = ret.Substring( 0,ret.IndexOf( "Href=" )) + "href=" + ret.Substring( ret.IndexOf( "Href=" ) + 5 );

                    }

                    while( ret.IndexOf( "HREF=" ) >=0 )

                    {

                        ret = ret.Substring( 0,ret.IndexOf( "HREF=" )) + "href=" + ret.Substring( ret.IndexOf( "HREF=" ) + 5 );

                    }

                    while( ret.IndexOf( "href='" ) >=0 )

                    {

                        ret = ret.Substring( 0,ret.IndexOf( "href='" )) + "href=\"" + ret.Substring( ret.IndexOf( "href='" ) + 6 );

                    }

                }      

                tmpAllStr = ret;     

                int begin_nums = tmpAllStr.IndexOf( "href=" );

 

                while ( begin_nums >= 0 )

                {              

                    string tmpStrA = "";

                    string tmpStrB = tmpAllStr.Substring( begin_nums + 5,1 );

                    if ( tmpStrB == "\"" )

                    {

                        end_n1 = begin_nums + 6;

                        if ( ( end_n1 + 1 ) > tmpAllStr.Length )

                        {

                            return "";

                        }

                        tmpStrA = tmpAllStr.Substring( begin_nums+6,1 );

                    }

                    else

                    {

                        end_n1 = begin_nums + 5;

                        tmpStrA = tmpStrB;

                    }

 

                    if ( tmpStrA == "#" )

                    {

                        tmpAllStr = tmpAllStr.Substring( end_n1 );

                        begin_nums = tmpAllStr.IndexOf( "href=" );

                    }

                    else

                    {                  

                        end_nums1 = tmpAllStr.IndexOf( " ",end_n1 );

                        end_nums2 = tmpAllStr.IndexOf( ">",end_n1 );

                        end_nums3 = tmpAllStr.IndexOf( "</a",end_nums2 );

 

                        if ( ( end_nums3 >= 0 ) && ( end_nums2 >= 0 ) )

                        {

                            reTitle = tmpAllStr.Substring( end_nums2 + 1,end_nums3 - end_nums2 - 1 );

 

                            if ( end_nums1 > end_nums2 )

                            {

                                end_nums = end_nums2;

                            }

                            else

                            {

                                if ( end_nums1 < 0 )

                                {

                                    end_nums = end_nums2;

                                }

                                else

                                {

                                    end_nums = end_nums1;

                                }

                            }


鲜花

握手

雷人

路过

鸡蛋
该文章已有0人参与评论

请发表评论

全部评论

专题导读
上一篇:
C++学习笔记4--表达式发布时间:2022-07-14
下一篇:
C#解析Json值中含数组发布时间:2022-07-14
热门推荐
阅读排行榜

扫描微信二维码

查看手机版网站

随时了解更新最新资讯

139-2527-9053

在线客服(服务时间 9:00~18:00)

在线QQ客服
地址:深圳市南山区西丽大学城创智工业园
电邮:jeky_zhao#qq.com
移动电话:139-2527-9053

Powered by 互联科技 X3.4© 2001-2213 极客世界.|Sitemap