• 设为首页
  • 点击收藏
  • 手机版
    手机扫一扫访问
    迪恩网络手机版
  • 关注官方公众号
    微信扫一扫关注
    公众号

C#用HttpWebRequest通过代理服务器验证后抓取网页内容

原作者: [db:作者] 来自: [db:来源] 收藏 邀请
大家知道,用HttpWebRequest可以通过Http对网页进行抓取,但是如果是内网,而且是通过代理上网的用户,如果直接进行操作是行不通的。
那有没有什么办法呢?
当然有,呵呵,见以下代码:

string urlStr = "http://www.domain.com";                            //設定要獲取的地址
HttpWebRequest hwr = (HttpWebRequest)HttpWebRequest.Create(urlStr);    //建立HttpWebRequest對象
hwr.Timeout = 60000;                                                //定義服務器超時時間
WebProxy proxy = new WebProxy();                                    //定義一個網關對象
proxy.Address = new Uri("http://proxy.domain.com:3128");            //網關服務器:端口
proxy.Credentials = new NetworkCredential("f3210316""6978233");    //用戶名,密碼
hwr.UseDefaultCredentials = true;                                    //啟用網關認証
hwr.Proxy = proxy;                                                    //設置網關
HttpWebResponse hwrs = (HttpWebResponse)hwr.GetResponse();            //取得回應
Stream s = hwrs.GetResponseStream();                                //得到回應的流對象
StreamReader sr = new StreamReader(s, Encoding.UTF8);                //以UTF-8編碼讀取流
StringBuilder content = new StringBuilder();                        //
while (sr.Peek() != -1)                                                //每次讀取一行,直到
返回得到的字符串

鲜花

握手

雷人

路过

鸡蛋
该文章已有0人参与评论

请发表评论

全部评论

专题导读
上一篇:
CLR via C#深解笔记二 - 类型设计发布时间:2022-07-14
下一篇:
C# httpcookie asp.net中cookie的使用发布时间:2022-07-14
热门推荐
热门话题
阅读排行榜

扫描微信二维码

查看手机版网站

随时了解更新最新资讯

139-2527-9053

在线客服(服务时间 9:00~18:00)

在线QQ客服
地址:深圳市南山区西丽大学城创智工业园
电邮:jeky_zhao#qq.com
移动电话:139-2527-9053

Powered by 互联科技 X3.4© 2001-2213 极客世界.|Sitemap