不可錯(cuò)過(guò)的新一代分布式任務(wù)調(diào)度與計(jì)算框架

作者：佚名 2020-06-23 10:22:58

新聞

前端

分布式 PowerJob（原OhMyScheduler）是全新一代分布式調(diào)度與計(jì)算框架，能讓您輕松完成作業(yè)的調(diào)度與繁雜任務(wù)的分布式計(jì)算。

寧鄉(xiāng)ssl適用于網(wǎng)站、小程序/APP、API接口等需要進(jìn)行數(shù)據(jù)傳輸應(yīng)用場(chǎng)景，ssl證書(shū)未來(lái)市場(chǎng)廣闊！成為創(chuàng)新互聯(lián)建站的ssl證書(shū)銷(xiāo)售渠道，可以享受市場(chǎng)價(jià)格4-6折優(yōu)惠！如果有意向歡迎電話聯(lián)系或者加微信：18982081108（備注：SSL證書(shū)合作）期待與您的合作！

 [[331036]]

PowerJob（原OhMyScheduler）是全新一代分布式調(diào)度與計(jì)算框架，能讓您輕松完成作業(yè)的調(diào)度與繁雜任務(wù)的分布式計(jì)算。

項(xiàng)目地址：

https://GitHub.com/KFCFans/PowerJob?utm_source=tuicool&utm_medium=referral

簡(jiǎn)介

主要特性

• 使用簡(jiǎn)單：提供前端Web界面，允許開(kāi)發(fā)者可視化地完成調(diào)度任務(wù)的管理（增、刪、改、查）、任務(wù)運(yùn)行狀態(tài)監(jiān)控和運(yùn)行日志查看等功能。
• 定時(shí)策略完善：支持CRON表達(dá)式、固定頻率、固定延遲和API四種定時(shí)調(diào)度策略。
• 執(zhí)行模式豐富：支持單機(jī)、廣播、Map、MapReduce四種執(zhí)行模式，其中Map/MapReduce處理器能使開(kāi)發(fā)者寥寥數(shù)行代碼便獲得集群分布式計(jì)算的能力。
• DAG工作流支持：支持在線配置任務(wù)依賴(lài)關(guān)系，可視化得對(duì)任務(wù)進(jìn)行編排，同時(shí)還支持上下游任務(wù)間的數(shù)據(jù)傳遞
• 執(zhí)行器支持廣泛：支持Spring Bean、內(nèi)置/外置Java類(lèi)、Shell、Python等處理器，應(yīng)用范圍廣。
• 運(yùn)維便捷：支持在線日志功能，執(zhí)行器產(chǎn)生的日志可以在前端控制臺(tái)頁(yè)面實(shí)時(shí)顯示，降低debug成本，極大地提高開(kāi)發(fā)效率。
• 依賴(lài)精簡(jiǎn)：最小僅依賴(lài)關(guān)系型數(shù)據(jù)庫(kù)（MySQL/Oracle/MS SQLServer...），擴(kuò)展依賴(lài)為MongoDB（用于存儲(chǔ)龐大的在線日志）。
• 高可用&高性能：調(diào)度服務(wù)器經(jīng)過(guò)精心設(shè)計(jì)，一改其他調(diào)度框架基于數(shù)據(jù)庫(kù)鎖的策略，實(shí)現(xiàn)了無(wú)鎖化調(diào)度。部署多個(gè)調(diào)度服務(wù)器可以同時(shí)實(shí)現(xiàn)高可用和性能的提升（支持無(wú)限的水平擴(kuò)展）。
• 故障轉(zhuǎn)移與恢復(fù)：任務(wù)執(zhí)行失敗后，可根據(jù)配置的重試策略完成重試，只要執(zhí)行器集群有足夠的計(jì)算節(jié)點(diǎn)，任務(wù)就能順利完成。

適用場(chǎng)景

• 有定時(shí)執(zhí)行需求的業(yè)務(wù)場(chǎng)景：如每天凌晨全量同步數(shù)據(jù)、生成業(yè)務(wù)報(bào)表等。
• 有需要全部機(jī)器一同執(zhí)行的業(yè)務(wù)場(chǎng)景：如使用廣播執(zhí)行模式清理集群日志。
• 有需要分布式處理的業(yè)務(wù)場(chǎng)景：比如需要更新一大批數(shù)據(jù)，單機(jī)執(zhí)行耗時(shí)非常長(zhǎng)，可以使用Map/MapReduce處理器完成任務(wù)的分發(fā)，調(diào)動(dòng)整個(gè)集群加速計(jì)算。

同類(lèi)產(chǎn)品對(duì)比

	QuartZ	xxl-job	SchedulerX 2.0	PowerJob
定時(shí)類(lèi)型	CRON	CRON	CRON、固定頻率、固定延遲、OpenAPI	CRON、固定頻率、固定延遲、OpenAPI
任務(wù)類(lèi)型	內(nèi)置Java	內(nèi)置Java、GLUE Java、Shell、Python等腳本	內(nèi)置Java、外置Java（FatJar）、Shell、Python等腳本	內(nèi)置Java、外置Java（容器）、Shell、Python等腳本
分布式任務(wù)	無(wú)	靜態(tài)分片	MapReduce動(dòng)態(tài)分片	MapReduce動(dòng)態(tài)分片
在線任務(wù)治理	不支持	支持	支持	支持
日志白屏化	不支持	支持	不支持	支持
調(diào)度方式及性能	基于數(shù)據(jù)庫(kù)鎖，有性能瓶頸	基于數(shù)據(jù)庫(kù)鎖，有性能瓶頸	不詳	無(wú)鎖化設(shè)計(jì)，性能強(qiáng)勁無(wú)上限
報(bào)警監(jiān)控	無(wú)	郵件	短信	郵件，提供接口允許開(kāi)發(fā)者擴(kuò)展
系統(tǒng)依賴(lài)	JDBC支持的關(guān)系型數(shù)據(jù)庫(kù)（MySQL、Oracle...）	MySQL	人民幣（公測(cè)期間免費(fèi)，哎，幫打個(gè)廣告吧）	任意Spring Data Jpa支持的關(guān)系型數(shù)據(jù)庫(kù)（MySQL、Oracle...）
DAG工作流	不支持	不支持	支持	支持

 

PS：感謝文檔翻譯平臺(tái) breword 對(duì)本項(xiàng)目英文文檔翻譯做出的巨大貢獻(xiàn)！

參考

  
 
 

   
  
  
Alibaba SchedulerX 2.0 
  
 
 

• Akka 框架 ：不得不說(shuō)，akka-remote簡(jiǎn)化了相當(dāng)大一部分的網(wǎng)絡(luò)通訊代碼。
• 執(zhí)行器架構(gòu)設(shè)計(jì) ：這篇文章反而不太認(rèn)同，感覺(jué)我個(gè)人的設(shè)計(jì)更符合Yarn的“架構(gòu)”。
• MapReduce模型 ：想法很Cool，大數(shù)據(jù)處理框架都是處理器向數(shù)據(jù)移動(dòng)，但對(duì)于傳統(tǒng)Java應(yīng)用來(lái)說(shuō)，數(shù)據(jù)向處理器移動(dòng)也未嘗不可，這樣還能使框架的實(shí)現(xiàn)變得簡(jiǎn)單很多。
• 廣播執(zhí)行 ：運(yùn)行清理日志腳本什么的，也太實(shí)用了8～

 

 

文章標(biāo)題：不可錯(cuò)過(guò)的新一代分布式任務(wù)調(diào)度與計(jì)算框架
分享鏈接：http://m.5511xx.com/article/cojdose.html