大數(shù)據(jù)圖形化作業(yè)調(diào)度軟件

1329 2022-04-28 13:52

主要功能

______

       大數(shù)據(jù)圖形化作業(yè)調(diào)度軟件的設(shè)計思想是將多個應(yīng)用系統(tǒng)所涉及的所有作業(yè)，看作一個集合，設(shè)定各個作業(yè)間的依存關(guān)系，優(yōu)先級別等信息。ETL調(diào)度系統(tǒng)將會根據(jù)這些設(shè)定，在設(shè)定的最大線程數(shù)下,分開不同的批處理階段(將類似的作業(yè)歸總一起就形成了批處理階段)并發(fā)輪詢處理各個階段下的所有作業(yè)，實現(xiàn)了充分利用線程資源，從而加快總體ETL處理時間。結(jié)合圖形化技術(shù), 系統(tǒng)還提供了作業(yè)與文件的上下游關(guān)系圖譜,讓作業(yè)與文件的依賴關(guān)系以及日常管理更加人性化。

 

技術(shù)特點

_____

 

  • 適配傳統(tǒng)數(shù)據(jù)倉庫與大數(shù)據(jù)分布式場景
  • 文件入庫服務(wù)與作業(yè)調(diào)度服務(wù)解耦，令文件入庫不再依賴批處理切日,提高源文件管理效能并發(fā)控制下放到作業(yè)組粒度令并發(fā)更加靈活
  • 圖形化界面與上下游關(guān)系圖譜增加作業(yè)依存關(guān)系可讀性
  • 支持多種溝通協(xié)議，適應(yīng)多種場景,使數(shù)據(jù)溝通更安全

 

全部評論

·