1 using System;
2 using System.Collections.Generic;
3 using System.Text;
4 using System.Text.RegularExpressions;
5 using System.Web;
6 using System.Net;
7 using System.IO;
8 namespace baiduRobotStrim
9 {
10 struct BaiduEntry
11 {
12 public string title, brief, link;
13 }
14 class Program
15 {
16 static string GetHtml(string keyword)
17 {
18 string url = @"http://www.baidu.com/";
19 string encodedKeyword = HttpUtility.UrlEncode(keyword, Encoding.GetEncoding(936));
20 //百度使用codepage 936字符编码来作为查询串，果然专注于中文搜索……
21 //更不用说，还很喜欢微软
22 //谷歌能正确识别UTF-8编码和codepage这两种情况，不过本身网页在HTTP头里标明是UTF-8的
23 //估计谷歌也不讨厌微软（以及微软的专有规范）
24 string query = "s?wd=" + encodedKeyword;
25
26 HttpWebRequest req;
27 HttpWebResponse response;
28 Stream stream;
29 req = (HttpWebRequest)WebRequest.Create(url + query);
30 response = (HttpWebResponse)req.GetResponse();
31 stream = response.GetResponseStream();
32 int count = 0;
33 byte[] buf = new byte[8192];
34 string decodedString = null;
35 StringBuilder sb = new StringBuilder();
36 try
37 {
38 Console.WriteLine("正在读取网页{0}的内容……", url + query);
39 do
40 {
41 count = stream.Read(buf, 0, buf.Length);
42 if (count > 0)
43 {
44 decodedString = Encoding.GetEncoding(936).GetString(buf, 0, count);
45 sb.Append(decodedString);
46 }
47 } while (count > 0);
48 }
49 catch
50 {
51 Console.WriteLine("网络连接失败，请检查网络设置。");
52 }
53 return sb.ToString();
54 }
55 static void PrintResult(List<BaiduEntry> entries)
56 {
57 int count = 0;
58 entries.ForEach(delegate(BaiduEntry entry)
59 {
60 Console.WriteLine("找到了百度的第{0}条搜索结果：", count += 1);
61 if (entry.link != null)
62 {
63 Console.WriteLine("找到了一条链接：");
64 Console.WriteLine(entry.link);
65 }
66 if (entry.title != null)
67 {
68 Console.WriteLine("标题为：");
69 Console.WriteLine(entry.title);
70 }
71 if (entry.brief != null)
72 {
73 Console.WriteLine("下面是摘要：");
74 Console.WriteLine(entry.brief);
75 }
76 Program.Cut();
77 });
78 }
79 static void simpleOutput()
80 {
81 string html = "<table><tr><td><font>test</font><a>hello</a><br></td></tr></table>";
82 Console.WriteLine(RemoveSomeTags(html));
83 }
84 static string RemoveVoidTag(string html)
85 {
86 string[] filter = { "<br>" };
87 foreach (string tag in filter)
88 {
89 html = html.Replace(tag, "");
90 }
91 return html;
92 }
93 static string ReleaseXmlTags(string html)
94 {
95 string[] filter = { "<a.*?>", "</a>", "<em>", "</em>", "<b>", "</b>", "<font.*?>", "</font>" };
96 foreach (string tag in filter)
97 {
98 html = Regex.Replace(html, tag, "");
99 }
100 return html;
101 }
102
103 static string RemoveSomeTags(string html)
104 {
105 html = RemoveVoidTag(html);
106 html = ReleaseXmlTags(html);
107 return html;
108 }
109 static void Cut()
110 {
111 Console.WriteLine("~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~");
112 }
113 static void MainProc(string input)
114 {
115 MainProc(input, false);
116 }
117 static void MainProc(string input, bool tagsForBrief)
118 {
119 Regex r = new Regex("<table.*?</table>", RegexOptions.IgnoreCase);
120 //提取出(<table>,</table>)对，并等待进一步处理。
121 Match m = r.Match(input);
122 List<string> collection = new List<string>();
123 while (m.Success)
124 {
125 collection.Add(m.Value);
126 //找出tagname为table的节点并存储到collection变量中
127 m = m.NextMatch();
128 }
129 List<BaiduEntry> entries = new List<BaiduEntry>();
130 collection.ForEach(delegate(string entry)
131 {
132 r = new Regex("<td.*?>(.*)</td>", RegexOptions.IgnoreCase);
133 if(r.IsMatch(entry))
134 {//从entry字符串里捕获到的就是百度里存储在每个table标签里的td标签了。
135 //现阶段中，百度页面里有几个table标签是兄弟节点的关系，
136 //第一个table标签是一个广告，剩下的table标签刚好都是搜索结果。
137 //理想状态下input字符串里只有几个由table标签组织的搜索结果项。
138 //理应使用预处理过的字符串来调用本函数
139 m = r.Match(entry);
140 string html = m.Groups[1].Value;//直接使用捕获分组1的值。
141 //html变量里存储着td节点的innerHTML，那里有真正的搜索结果
142 BaiduEntry baidu = new BaiduEntry();
143 r = new Regex("<a.*?href=\"(.*?)\".*?>", RegexOptions.IgnoreCase);
144 if (r.IsMatch(html))
145 {
146 string linkString = r.Match(html).Groups[1].Captures[0].Value;
147 baidu.link = linkString;
148 }
149 r = new Regex("<font.*</font>");
150 //td节点下有一些嵌套了2层的font标签，把这个大的font标签拿下来。
151 html = r.Match(html).Value;//现在html变量里存储着比较浓缩的信息了。
152
153 r = new Regex("<font.*?>(.*?)</font>");
154 Match contentMatch = r.Match(html);
155 if (contentMatch.Success)
156 {
157 string title = contentMatch.Groups[1].Captures[0].Value;
158 title = RemoveSomeTags(title);
159 baidu.title = title;
160 contentMatch = contentMatch.NextMatch();
161 if (contentMatch.Success)
162 {
163 string brief = contentMatch.Groups[1].Captures[0].Value;
164 int splitIndex = brief.IndexOf("<font");
165 if (splitIndex > -1)
166 brief = brief.Substring(0, splitIndex);
167 if (!tagsForBrief)
168 brief = RemoveSomeTags(brief);
169 //如果不需要带有HTML格式的摘要，那么就处理掉HTML标签
170 baidu.brief = brief;
171 }
172 }
173 else
174 {
175 if (html == "") return;
176 Console.WriteLine("怪了，这里没有找到任何结果。");
177 Console.WriteLine("如果百度已经更改了页面的结构那么程序需要重新设计。");
178 Console.WriteLine("Mark:");
179 Console.WriteLine(html);
180 Cut();
181 Cut();
182 Cut();
183 }
184 entries.Add(baidu);
185 }
186 });
187
188 PrintResult(entries);
189 }
190 public static void Main(string[] args)
191 {
192 Console.WriteLine("请输入一个关键字。");
193 string keyword;
194 keyword = Console.ReadLine();
195 Console.WriteLine("正在从百度上获取结果，请稍等……");
196 string input;
197 input = GetHtml(keyword);
198 Regex r = new Regex("<table.*class=\"result\"[\\s\\S]*</table>", RegexOptions.IgnoreCase);
199 input = r.Match(input).Value;
200 MainProc(input);
201 Console.ReadKey(true);
202 }
203 }
204 }
205
客服电话
APP下载
官方微信
请发表评论