客服电话
APP下载
迪恩网络APP
随时随地掌握行业动态
官方微信
扫描二维码
关注迪恩网络微信公众号
|
背景
随着Internet的普及，网络信息正以极高的速度增长，在这么多数据中找到自己需要的信息是一件很繁琐的事情，找到需要的信息后如何获取也是件麻烦的事。这就需要Internet信息抓取程序来代替人工的操作。 所谓Internet信息抓取程序，就是程序会按照用户的关键词或关键网站来收集相应的信息，并提供给用户想要的信息格式。
信息量的增加会带来信息网站发布人员工作量的剧增，为实现信息发布系统实现信息自 动发布、减少工作人员工作量、即时跟踪最新信息，就需要自动信息提供程序，因此Internet信息抓取程序应运而生。
目标
实现自定义网站信息分类抓取，存入本地数据库、生成静态页面或其它用户定义的信息结构，并下载与信息相关的多媒体文件。
开发
l 目标站点结构分析 本步骤是准确抓取信息个关键。 首先要选择更新频率高的页面做为抓取地址，然后分析要抓取内容页面url特点。 然后分析要抓取信息页面的元素特性，比如标题位置，内容位置 等，得到定位标记点。 将以上信息写成自己的配置文件或存到数据库中。 每个网站都需要分析，写出单独的配置文件，供抓取程序使用。
l 信息提取 根据配置文件取得要抓取页面url，使用HttpWebRequest类获取内容： //获取http页面函数 public string Get_Http(string a_strUrl,int timeout) { string strResult ;
try { HttpWebRequest myReq = (HttpWebRequest)HttpWebRequest.Create(a_strUrl) ; myReq.Timeout = timeout; HttpWebResponse HttpWResp = (HttpWebResponse)myReq.GetResponse();
Stream myStream = HttpWResp.GetResponseStream () ;
StreamReader sr = new StreamReader(myStream , Encoding.Default); StringBuilder strBuilder = new StringBuilder(); while (-1 != sr.Peek()) { strBuilder.Append(sr.ReadLine()+"\r\n"); }
strResult = strBuilder.ToString(); } catch(Exception exp) { strResult = "错误：" + exp.Message ; }
return strResult ;
} 获取页面内容后，分析页面中连接地址取到要抓取的url： //处理页面标题和链接 public string SniffWebUrl( string urlStr,string blockB,string blockE ) { string urlch1 = ""; string urlch2 = ""; int end_n1 = 0; int end_nums = 0; int end_nums1 = 0; int end_nums2 = 0; int end_nums3 = 0; string reUTStr = ""; string reTitle = ""; string ret = ""; try { int pos01 = urlStr.IndexOf( "." ); int pos02 = urlStr.LastIndexOf( "/" ); if( pos01 < 0 ) { return ""; } if( pos02 < 0 ) { return ""; } int pos03 = urlStr.IndexOf( "/",pos01 ); if ( pos03 < 0 ) { urlch1 = urlStr; urlch2 = urlStr; } else { urlch1 = urlStr.Substring( 0,pos03 ); urlch2 = urlStr.Substring( 0,pos02 ); }
string tmpAllStr = new PublicFun().Get_Http( urlStr ,time1);
int pos1 = tmpAllStr.IndexOf( blockB ); int pos2 = tmpAllStr.IndexOf( blockE,pos1 + blockB.Length ); if ( pos1>0 && pos2>0 && pos2>pos1 ) { ret = tmpAllStr.Substring( pos1 + blockB.Length,pos2 - pos1 - blockB.Length ); ret = ret.Substring( ret.IndexOf( "<" )); while( ret.IndexOf( "<A" ) >= 0 ) { ret = ret.Substring( 0,ret.IndexOf( "<A" ) ) + "<a" + ret.Substring( ret.IndexOf( "<A" ) + 2 ); } while( ret.IndexOf( "</A" ) >=0 ) { ret = ret.Substring( 0,ret.IndexOf( "</A" ) ) + "</a" + ret.Substring( ret.IndexOf( "</A" ) + 3 ); } while( ret.IndexOf( "Href=" ) >=0 ) { ret = ret.Substring( 0,ret.IndexOf( "Href=" )) + "href=" + ret.Substring( ret.IndexOf( "Href=" ) + 5 ); } while( ret.IndexOf( "HREF=" ) >=0 ) { ret = ret.Substring( 0,ret.IndexOf( "HREF=" )) + "href=" + ret.Substring( ret.IndexOf( "HREF=" ) + 5 ); } while( ret.IndexOf( "href='" ) >=0 ) { ret = ret.Substring( 0,ret.IndexOf( "href='" )) + "href=\"" + ret.Substring( ret.IndexOf( "href='" ) + 6 ); } } tmpAllStr = ret; int begin_nums = tmpAllStr.IndexOf( "href=" );
while ( begin_nums >= 0 ) { string tmpStrA = ""; string tmpStrB = tmpAllStr.Substring( begin_nums + 5,1 ); if ( tmpStrB == "\"" ) { end_n1 = begin_nums + 6; if ( ( end_n1 + 1 ) > tmpAllStr.Length ) { return ""; } tmpStrA = tmpAllStr.Substring( begin_nums+6,1 ); } else { end_n1 = begin_nums + 5; tmpStrA = tmpStrB; }
if ( tmpStrA == "#" ) { tmpAllStr = tmpAllStr.Substring( end_n1 ); begin_nums = tmpAllStr.IndexOf( "href=" ); } else { end_nums1 = tmpAllStr.IndexOf( " ",end_n1 ); end_nums2 = tmpAllStr.IndexOf( ">",end_n1 ); end_nums3 = tmpAllStr.IndexOf( "</a",end_nums2 );
if ( ( end_nums3 >= 0 ) && ( end_nums2 >= 0 ) ) { reTitle = tmpAllStr.Substring( end_nums2 + 1,end_nums3 - end_nums2 - 1 );
if ( end_nums1 > end_nums2 ) { end_nums = end_nums2; } else { if ( end_nums1 < 0 ) { end_nums = end_nums2; } else { end_nums = end_nums1; } }
2023-10-27 2022-08-15 2022-08-17 2022-09-23 2022-08-13 六六分期app的软件客服如何联系？不知道吗？加qq群【895510560】即可！标题：六六分期 今天小编告诉大家如何处理win10系统火狐flash插件总是崩溃的问题，可能很多用户都不知 今天小编告诉大家如何对win10系统删除桌面回收站图标进行设置，可能很多用户都不知道 今天小编告诉大家如何对win10系统电脑设置节能降温的设置方法，想必大家都遇到过需要 我们在使用xp系统的过程中,经常需要对xp系统无线网络安装向导设置进行设置，可能很多 今天小编告诉大家如何处理win7系统玩cf老是与主机连接不稳定的问题，可能很多用户都不 电脑对日常生活的重要性小编就不多说了，可是一旦碰到win7系统设置cf烟雾头的问题，很 我们在日常使用电脑的时候，有的小伙伴们可能在打开应用的时候会遇见提示应用程序无法 今天小编告诉大家如何对win7系统打开vcf文件进行设置，可能很多用户都不知道怎么对win 今天小编告诉大家如何对win10系统s4开启USB调试模式进行设置，可能很多用户都不知道怎 |
请发表评论