數(shù)據(jù)中臺通用查詢管理軟件
I 產(chǎn)品背景 |
● 企業(yè)的數(shù)字化轉(zhuǎn)型過程中如何積累寶貴的企業(yè)數(shù)字資產(chǎn) 各類的營銷活動、風(fēng)控預(yù)警、貸前審批等業(yè)務(wù)涉及很多可重復(fù)應(yīng)用的數(shù)據(jù)查詢需求以及查詢模型；目前業(yè)務(wù)人員或沒有積累，或因?yàn)榉N種原因無法共享和復(fù)用這些平時生成的業(yè)務(wù)查詢邏輯與模型，最終無法沉淀下來形成企業(yè)寶貴的數(shù)字資產(chǎn)。引入通用查詢可以極大程度緩解這種“浪費(fèi)”的行為，在企業(yè)的數(shù)字化轉(zhuǎn)型過程中，沉淀寶貴的數(shù)字資產(chǎn)。 ● 如何提高海量數(shù)據(jù)的查詢性能？ 傳統(tǒng)的查詢工具軟件，面對海量數(shù)據(jù)時，存在性能瓶頸，無法有效地進(jìn)行數(shù)據(jù)查詢分析以及后續(xù)的運(yùn)算。隨著大數(shù)據(jù)技術(shù)以及分布式架構(gòu)應(yīng)用的逐漸普及，計(jì)算平臺性能有了明顯提升，令海量數(shù)據(jù)的即時查詢分析成為現(xiàn)實(shí)。 ● 如何實(shí)現(xiàn)跨數(shù)據(jù)平臺的數(shù)據(jù)查詢？ 通常情況下，不同的數(shù)據(jù)平臺，需要編寫不同的程序代碼進(jìn)行數(shù)據(jù)查詢。這種實(shí)現(xiàn)方式，程序代碼量大，具有核心價值的查詢邏輯都淹沒在大量代碼當(dāng)中，且程序編寫規(guī)范不一，可復(fù)用性和可維護(hù)性差。將通用查詢產(chǎn)品化，通過SQL語句查詢絕大多數(shù)的數(shù)據(jù)源, 包括且不限于傳統(tǒng)數(shù)據(jù)庫、分布式數(shù)據(jù)庫、分布式文件系統(tǒng)等。產(chǎn)品提供可視化、標(biāo)準(zhǔn)化模板和一致的設(shè)計(jì)范例，實(shí)現(xiàn)數(shù)據(jù)查詢的快速定制。 ● 如何簡化開發(fā)流程？ 開發(fā)一個新的查詢應(yīng)用，或者修改一個查詢應(yīng)用的業(yè)務(wù)邏輯，往往需要業(yè)務(wù)人員走一個頗為費(fèi)時的過程：提出需求->科技人員分析需求->科技人員開發(fā)實(shí)施->業(yè)務(wù)人員驗(yàn)收等過程。 通過產(chǎn)品的可視化建模和“查詢應(yīng)用”自定義功能，業(yè)務(wù)人員可自行完成開發(fā)、試運(yùn)行和發(fā)布過程，無需科技人員介入，降低了溝通成本提高了工作效率 |
| 產(chǎn)品簡介 |
| 數(shù)據(jù)中臺通用查詢管理軟件（VQ），是一款針對大數(shù)據(jù)環(huán)境下可視化數(shù)據(jù)查詢與分析的軟件產(chǎn)品。產(chǎn)品（可選）融合了查詢引擎SparkletQ，通過SQL語句查詢絕大多數(shù)的數(shù)據(jù)源，實(shí)現(xiàn)快速查詢數(shù)據(jù)。產(chǎn)品支持傳統(tǒng)的關(guān)系型數(shù)據(jù)庫如Oracle、Mysql，以及主流的分布式數(shù)據(jù)源如MPP數(shù)據(jù)庫Greenplum、GBase、Doris，分布式文件系統(tǒng)HDFS，甚至是本地Excel文檔等多樣數(shù)據(jù)源。 產(chǎn)品可面向科技人員，也可以面向業(yè)務(wù)人員。業(yè)務(wù)人員通過產(chǎn)品的可視化建模和“查詢應(yīng)用”自定義功能，實(shí)現(xiàn)模型自動生成數(shù)據(jù)處理代碼 -> 提交到后臺調(diào)度系統(tǒng) -> 后臺根據(jù)依賴關(guān)系順序執(zhí)行，通過這種形式支持業(yè)務(wù)分析人員直接開發(fā)查詢應(yīng)用支持商業(yè)決策，無需科技人員參與。 |
| 產(chǎn)品功能 |
● 數(shù)據(jù)源定義 通過該功能定義要進(jìn)行數(shù)據(jù)查詢的數(shù)據(jù)源，產(chǎn)品支持傳統(tǒng)的關(guān)系型數(shù)據(jù)庫如Oracle、Mysql，以及主流的分布式數(shù)據(jù)源如MPP數(shù)據(jù)庫Greenplum、HDFS、甚至是本地Excel文檔等多樣數(shù)據(jù)源。 ● 查詢創(chuàng)建 支持可視化建模或以標(biāo)準(zhǔn)的SQL查詢語句為主體實(shí)現(xiàn)各類數(shù)據(jù)查詢和分析。 ● 查詢提交 除了可以隨時保存查詢邏輯為個人專有的草稿版本，還可以把成型的查詢邏輯提交到系統(tǒng)元數(shù)據(jù)庫保存為一個正式版本?？梢钥焖俟蚕怼⒒貪L任一版本。 ● 查詢請求 系統(tǒng)在用戶查詢請求的瞬間會給予性能建議，用戶可選擇進(jìn)行即時查詢還是讓系統(tǒng)進(jìn)行后臺的異步查詢；后臺異步查詢可以有效緩解高峰時段的系統(tǒng)資源瓶頸；并在系統(tǒng)空閑時段運(yùn)行查詢并通知用戶查看查詢結(jié)果，大大提升用戶對海量數(shù)據(jù)的查詢體驗(yàn)。除此以外，針對快速返回查詢結(jié)果，還提供了智能分頁等優(yōu)化體驗(yàn)的特色功能 ● 查詢固化 驗(yàn)證查詢有效性后用戶可以把數(shù)據(jù)查詢的分析結(jié)果以數(shù)據(jù)表的形式保留在目標(biāo)服務(wù)器；結(jié)合調(diào)度系統(tǒng)，后臺批處理將會定時通過查詢邏輯更新數(shù)據(jù)。 ● 查詢分享 支持分享查詢邏輯（可選包含加密的查詢結(jié)果數(shù)據(jù)）。 |
| 產(chǎn)品特性 |
 |
|
| 產(chǎn)品應(yīng)用場景 |
| 應(yīng)用于銀行、證券、保險等金融行業(yè)，為企業(yè)建立大數(shù)據(jù)查詢中心提供支撐，為企業(yè)進(jìn)行數(shù)字化轉(zhuǎn)型提供助力?？梢宰鳛槟硞€應(yīng)用系統(tǒng)的查詢功能組件，解決跨數(shù)據(jù)平臺、查詢性能低下、查詢功能重復(fù)開發(fā)、查詢功能管理分散、查詢程序編寫規(guī)范不一等痛點(diǎn)問題。 |