大数据调度平台oozie、azkaban、dolphinscheduler、AirFlow对比_热点关注

迪丽瓦拉

2025-06-01 10:24:27

0次

Apache Oozie#

Linkedin Azkaban

#

Azkaban:最适合shell脚本，当job不多的时候，可以使用。

Apache Airflow

#

Airflow 在使用时有一大痛点：使用Python语言来定义工作流的。

Apache DolphinScheduler

#

特点：分布式、去中心化、易扩展的可视化工作流任务调度系统

海豚调度的多租户和我们YARN的多租户是对应起来的，这个非常好。

海豚调度出来的有点迟，它把我们之前讲的 Oozie、Azkaban、airflow的优点全拿过来了，后发优势，集万千优点于一身，缺点也避免了。

离线：用的Spark比较多，实时用 Flink比较多。

过载处理：airflow 任务过多时卡死服务器，DolphinScheduler任务队列机制，当任务过多时会缓存在任务队列中。

推荐海豚DolphinScheduler任务器~~~~

【甘快看•文化中国行】文博“站... 国庆假期，嘉峪关方特游人如织。文博场馆内，非遗技艺可看可感；山野村落间，田园风光令人心旷神怡；城市街...

江畔开演，嗦粉迎客！四川南充国... 封面新闻记者刘彦君10 月 7 日，四川南充国庆假期文旅成绩单正式出炉：全市A级景区接待游客322...

国庆外骨骼助力器销售额涨12.... 【文/王力编辑/吕栋】国庆假期，爬山这件事开始有了点“开外挂”的味道。过去登山装备是登山杖、护膝和...

这个假期，天衢新区活力拉满！德百奥莱广场上，大型实景演出《德运星河》再度精彩上演；董子文化街里，祭董大典庄严肃穆，文化市集青春洋...

走进印尼帕达尔岛俯瞰蓝色海洋　　印尼科莫多国家公园的核心岛屿——帕达尔岛由古老火山喷发形成，登顶观景台，四片海湾同时铺展在眼前，...

美丽中国行·大河长歌｜一河穿沙... 　　黄河自黑山峡奔涌而入，从甘肃进入宁夏首站中卫，在沙坡头，与腾格里沙漠迎面相拥，形成沙水交融、河漠...

来上海别只吃小笼包了！新场古镇... 在上海市浦东新区，有一座被称为“小小新场赛苏州”的古镇，你知道是哪一座古镇吗？它北靠上海迪士尼度假区...

双节文旅收官盘点：古韵山西破壁... 本报（chinatimes.net.cn）记者赵文娟平遥、忻州、太原报道2026年中秋国庆双节叠加...

“双节”期间河南全省博物馆接... 来源：中国新闻网中新网郑州10月8日电(记者韩章云)10月8日，记者从河南省文物局获悉，中秋国庆...

外媒关注国庆假期：消费市场持续... 来源:中国新闻网中新网10月7日电10月7日是2026年国庆假期的最后一天。假期旅游热潮吸引国际媒体...