I 產(chǎn)品背景 |
| 圖形化作業(yè)調(diào)度管理軟件針對傳統(tǒng)數(shù)據(jù)倉庫與新興分布式平臺兩類場景, 提供了離線作業(yè)批處理與源文件的綜合管控功能; 并且通過模塊化的設(shè)計, 可以針對不同客戶方的具體情況自定義底層接口, 幾乎可以適應(yīng)絕大多數(shù)場景下的作業(yè)與文件統(tǒng)一管理需求。 |
I 產(chǎn)品內(nèi)容 |
圖形化作業(yè)調(diào)度管理軟件的設(shè)計思想是將多個應(yīng)用系統(tǒng)所涉及的所有作業(yè)，看作一個集合，設(shè)定各個作業(yè)間的依存關(guān)系，優(yōu)先級別等信息。調(diào)度系統(tǒng)將會根據(jù)這些設(shè)定，在設(shè)定的最大線程數(shù)下,分開不同的批處理階段(將類似的作業(yè)歸總一起就形成了批處理階段)并發(fā)輪詢處理各個階段下的所有作業(yè)，實現(xiàn)了充分利用線程資源，從而加快總體ETL處理時間。結(jié)合圖形化技術(shù), 系統(tǒng)還提供了作業(yè)與文件的上下游關(guān)系圖譜,讓作業(yè)與文件的依賴關(guān)系以及日常管理更加人性化; 同時, 由于支持多種C/S溝通協(xié)議(SSH/HTTP), 可以適應(yīng)更多的生產(chǎn)環(huán)境.。  作業(yè)調(diào)度設(shè)計界面 |
I 產(chǎn)品功能 |
- 適配傳統(tǒng)數(shù)據(jù)倉庫與大數(shù)據(jù)分布式場景
- 指定范圍內(nèi)的所有作業(yè)均由一個統(tǒng)一的接口處理
- 相關(guān)功能接口如: 文件等待、數(shù)據(jù)裝載、應(yīng)用加工可以分別指定不同接口程序并且支持邏輯自定義
- 調(diào)度相關(guān)日常操作全面圖形化,表格化與參數(shù)化
- 提供文件入庫7x24服務(wù);文件入庫與作業(yè)批處理服務(wù), 兩者是松耦合關(guān)系
- 通過設(shè)定作業(yè)間的依存關(guān)系, 調(diào)度系統(tǒng)能自動識別每個作業(yè)的運行條件并判斷該條件是否符合.這也是調(diào)度系統(tǒng)進(jìn)行作業(yè)調(diào)度最終原則
- 設(shè)定依存關(guān)系, 數(shù)據(jù)文件先到先跑，后到后跑，充分利用時間窗口
- 設(shè)定的作業(yè)間依賴關(guān)系，作業(yè)失敗可以定義是否影響后續(xù)作業(yè)運行
- 每個作業(yè)都?xì)w屬一個作業(yè)階段
- 同一批處理階段內(nèi), 并發(fā)調(diào)度多個作業(yè)以充分利用操作系統(tǒng)的資源
- 針對大數(shù)據(jù)環(huán)境下的批處理作業(yè)優(yōu)化了日志采集與顯示
- 簡明的圖形化關(guān)系說明和人性化參數(shù)填充降低了調(diào)度操作的復(fù)雜性
- 提供作業(yè)/文件上下游關(guān)系圖譜功能; 讓依存關(guān)系的展示更人性化
- 作業(yè)/文件的變更會提醒下游作業(yè)的影響,確認(rèn)操作
- 界面提供多種調(diào)度日常操作入口: 調(diào)度服務(wù)啟停; 作業(yè)暫停與恢復(fù); 作業(yè)重置等等
- 界面同時也提供調(diào)度系統(tǒng)參數(shù)表的維護(hù)功能(僅開放給管理員)
- 客戶端與服務(wù)器的通訊更加安全
- 客戶端與調(diào)度服務(wù)器之間的溝通同時支持SSH/HTTP協(xié)議, 可以適應(yīng)更多的生產(chǎn)場景;譬如: 避免暴露SSH端口造成高風(fēng)險操作
|
I 產(chǎn)品特性 |
- 適配傳統(tǒng)數(shù)據(jù)倉庫與大數(shù)據(jù)分布式場景
- 文件入庫服務(wù)與作業(yè)調(diào)度服務(wù)解耦令文件入庫不再依賴批處理切日,極大提高源文件管理效能
- 并發(fā)控制下放到作業(yè)組粒度令并發(fā)更加靈活
- 圖形化操作界面特別是作業(yè)和文件均提供上下游關(guān)系圖譜,極大簡化上下游依存關(guān)系的復(fù)雜性
- 客戶端與調(diào)度服務(wù)器之間支持多種溝通協(xié)議可適應(yīng)更多的生產(chǎn)場景,同時也讓數(shù)據(jù)溝通更安全
|