• 设为首页
  • 点击收藏
  • 手机版
    手机扫一扫访问
    迪恩网络手机版
  • 关注官方公众号
    微信扫一扫关注
    公众号

CrawlerDemon: 分布式爬虫 Crawler

原作者: [db:作者] 来自: 网络 收藏 邀请

开源软件名称:

CrawlerDemon

开源软件地址:

https://gitee.com/spirit_demon/CrawlerDemon

开源软件介绍:

特点

  1. 基于akka 高性能分布式框架
  2. 使用 spring 配置请求参数
  3. 自动管理代理地址Ip,http请求重试, 超过重复次数丢弃请求
  4. 针对任务请求,任务响应实现过滤(需要根据自己业务实现过滤逻辑)
  5. 配置多数据源存储 抓取数据自由选择入库

系统核心组件

  1. task 生成请求任务,填写 请求的url ,页面编码,header ,parma 参数
  2. actor 具体抓取actor,处理taskRequest 的请求转发,页面分页,taskResponse 过滤
  3. parse 解析具体页面内容,写库操作。

历史版本

v 1.0.21 修复 HttpRequestMeta 克隆参数的bug。


鲜花

握手

雷人

路过

鸡蛋
该文章已有0人参与评论

请发表评论

全部评论

专题导读
热门推荐
热门话题
阅读排行榜

扫描微信二维码

查看手机版网站

随时了解更新最新资讯

139-2527-9053

在线客服(服务时间 9:00~18:00)

在线QQ客服
地址:深圳市南山区西丽大学城创智工业园
电邮:jeky_zhao#qq.com
移动电话:139-2527-9053

Powered by 互联科技 X3.4© 2001-2213 极客世界.|Sitemap