• 设为首页
  • 点击收藏
  • 手机版
    手机扫一扫访问
    迪恩网络手机版
  • 关注官方公众号
    微信扫一扫关注
    公众号

Apache Storm工作流程

原作者: [db:作者] 来自: [db:来源] 收藏 邀请

一个工作的Storm集群应该有一个Nimbus和一个或多个supervisors另一个重要的节点是Apache ZooKeeper,它将用于nimbus和supervisors之间的协调。

现在让我们仔细看看Apache Storm的工作流程

  • 最初,nimbus将等待“Storm拓扑”提交给它。

  • 一旦提交拓扑,它将处理拓扑并收集要执行的所有任务和任务将被执行的顺序。

  • 然后,nimbus将任务均匀分配给所有可用的supervisors

  • 在特定的时间间隔,所有supervisor将向nimbus发送心跳以通知它们仍然运行着。

  • supervisor终止并且不向心跳发送心跳时,则nimbus将任务分配给另一个supervisor

  • nimbus本身终止时,supervisor将在没有任何问题的情况下对已经分配的任务进行工作。

  • 一旦所有的任务都完成后,supervisor将等待新的任务进去。

  • 同时,终止nimbus将由服务监控工具自动重新启动。

  • 重新启动的网络将从停止的地方继续。同样,终止supervisor也可以自动重新启动。由于网络管理程序和supervisor都可以自动重新启动,并且两者将像以前一样继续,因此Storm保证至少处理所有任务一次。

  • 一旦处理了所有拓扑,则网络管理器等待新的拓扑到达,并且类似地,管理器等待新的任务。

默认情况下,Storm集群中有两种模式:

  • 本地模式 -此模式用于开发,测试和调试,因为它是查看所有拓扑组件协同工作的最简单方法。在这种模式下,我们可以调整参数,使我们能够看到我们的拓扑如何在不同的Storm配置环境中运行。在本地模式下,storm拓扑在本地机器上在单个JVM中运行。

  • 生产模式 -在这种模式下,我们将拓扑提交到工作Storm集群,该集群由许多进程组成,通常运行在不同的机器上。如在storm的工作流中所讨论的,工作集群将无限地运行,直到它被关闭。


鲜花

握手

雷人

路过

鸡蛋
该文章已有0人参与评论

请发表评论

全部评论

专题导读
上一篇:
Apache Storm分布式消息系统发布时间:2022-02-03
下一篇:
Apache Storm集群架构发布时间:2022-02-03
热门推荐
热门话题
阅读排行榜

扫描微信二维码

查看手机版网站

随时了解更新最新资讯

139-2527-9053

在线客服(服务时间 9:00~18:00)

在线QQ客服
地址:深圳市南山区西丽大学城创智工业园
电邮:jeky_zhao#qq.com
移动电话:139-2527-9053

Powered by 互联科技 X3.4© 2001-2213 极客世界.|Sitemap