• 设为首页
  • 点击收藏
  • 手机版
    手机扫一扫访问
    迪恩网络手机版
  • 关注官方公众号
    微信扫一扫关注
    公众号

C#学习之路--百度网盘爬虫设计与实现(一)

原作者: [db:作者] 来自: [db:来源] 收藏 邀请

百度网盘爬虫

现在市面上出现了很多网盘搜索引擎,写这系列博文及爬虫程序的初衷:

  • 更方面的查找资源

  • 学习C#

  • 学习爬虫的设计与实现

  • 记录学习历程

  • 自我监督

    能力有限,如有不妥之处,还请各位看官点评。同在学习的网友~与君共勉。

工具/库选择
  • mysql5.6 (习惯使然,sqlserver比较庞大,个人使用起来不是很习惯,后期可能改为sqlserver)

  • HttpWebRequestHttpWebResponseJSON.NET

  • vs2015, .NET4.5

    PS:介绍以上是权当做个备忘录/提示。

百度网盘搜索流程
此爬虫原理是通过爬取用户的分享/专辑保存链接来达到资源搜索的目的,而用户与用户之间通过订阅/关注来联系,慢慢形成一个庞大的爬虫网络。
  1. 首先设定爬取用户(初始化爬虫队列)。

  2. 遍历用户分享/专辑,更改队列状态。

  3. 将用户订阅/关注用户加入队列。

  4. 重复以上步骤。

    PS:看似简单的流程,想要精工还需细磨。

获取百度网盘推荐用户
当没有订阅任何用户时,网盘的分享动态界面会出现一些用户噢。这是系统推荐的用户,虽然改动不一定会很大,但是可以作为爬虫的初始用户来处理(这种推荐用户听说关注的人都不少噢)

接口返回信息:

errorno: 状态码
request_id:请求ID
hotuser_list:用户列表

用户列表结构:

type:类型(通常返回-1,不明用途)
hot_uname:用户昵称
avatar_url:头像缩略图地址
intro:描述
follow_count:订阅人数
fans_count:粉丝人数
user_type:用户类型?(不明意义)
is_vip:是否为VIP
pubshare_count:分享数
hot_uk:不知道啥玩意
album_count:分享专辑数
END
暂时就写到这儿了,要去写代码了~ 写完再会

鲜花

握手

雷人

路过

鸡蛋
该文章已有0人参与评论

请发表评论

全部评论

专题导读
上一篇:
深入C#的String类发布时间:2022-07-14
下一篇:
C#实现反射调用动态加载的DLL文件中的方法发布时间:2022-07-14
热门推荐
热门话题
阅读排行榜

扫描微信二维码

查看手机版网站

随时了解更新最新资讯

139-2527-9053

在线客服(服务时间 9:00~18:00)

在线QQ客服
地址:深圳市南山区西丽大学城创智工业园
电邮:jeky_zhao#qq.com
移动电话:139-2527-9053

Powered by 互联科技 X3.4© 2001-2213 极客世界.|Sitemap