大數(shù)據(jù)及互聯(lián)網(wǎng)金融解決方案能夠幫助銀行實(shí)現(xiàn)海量數(shù)據(jù)的采集、存儲(chǔ)和加工，通過(guò)算法模型和互聯(lián)網(wǎng)服務(wù)，實(shí)現(xiàn)銀行的數(shù)據(jù)需求和

商業(yè)化應(yīng)用。解決方案能夠助力銀行實(shí)現(xiàn)智能營(yíng)銷、智能運(yùn)營(yíng)、智能風(fēng)控、智能推薦、智能賬單等智能化應(yīng)用，構(gòu)建全方位的銀行數(shù)字化

體系

     1、 提供高性能多樣化的基礎(chǔ)大數(shù)據(jù)平臺(tái)

      基礎(chǔ)大數(shù)據(jù)平臺(tái)由數(shù)據(jù)采集平臺(tái)、ETL平臺(tái)、數(shù)據(jù)存儲(chǔ)平臺(tái)構(gòu)成。

      1）數(shù)據(jù)采集平臺(tái)

       采集廣泛的數(shù)據(jù)源，包括存款、信貸、信用卡、理財(cái)、網(wǎng)銀、營(yíng)銷等銀行內(nèi)部數(shù)據(jù)，和征信、稅務(wù)、公積金、社保、房地產(chǎn)、中

介、擔(dān)保等外部數(shù)據(jù)，還可以進(jìn)一步采集社交媒體、電商等互聯(lián)網(wǎng)/移動(dòng)互聯(lián)網(wǎng)信息。支持文件傳輸、爬蟲、人工錄入、數(shù)據(jù)流處理等

多種數(shù)據(jù)采集技術(shù)。

      2）ETL平臺(tái)

       考慮海量數(shù)據(jù)加工的高性能要求，選擇基于分布式內(nèi)存并行計(jì)算技術(shù)的大數(shù)據(jù)加工軟件Sparklet，和作業(yè)調(diào)度軟件JobControl構(gòu)建

ETL平臺(tái)。大數(shù)據(jù)加工軟件提供可視化圖形化界面完成ETL作業(yè)的定制和開(kāi)發(fā)，零編碼，提高ETL開(kāi)發(fā)效率。作業(yè)調(diào)度軟件進(jìn)行數(shù)據(jù)加

工作業(yè)調(diào)度，可以最大利用系統(tǒng)資源、減少批處理時(shí)間窗。

      3）基礎(chǔ)數(shù)據(jù)存儲(chǔ)平臺(tái)

       數(shù)據(jù)存儲(chǔ)平臺(tái)采用具有高伸縮性的分布式系統(tǒng)構(gòu)建，保存全量明細(xì)數(shù)據(jù)、中間匯總數(shù)據(jù)、寬表數(shù)據(jù)等。每天新增的數(shù)據(jù)來(lái)源于數(shù)

據(jù)采集平臺(tái)每天的數(shù)據(jù)采集，經(jīng)過(guò)一系列數(shù)據(jù)加工處理之后，形成基礎(chǔ)數(shù)據(jù)，供下游平臺(tái)使用。

      2、提供多層次多維度的立體標(biāo)簽庫(kù)，構(gòu)建標(biāo)簽平臺(tái)

       采用標(biāo)簽管理及加工軟件Mavis對(duì)基礎(chǔ)數(shù)據(jù)進(jìn)行統(tǒng)計(jì)、分類、計(jì)算，將定量信息歸納為定性信息，將客戶、產(chǎn)品、廣告、權(quán)益等標(biāo)

簽化，打造多層次多維度的立體標(biāo)簽庫(kù)，構(gòu)建標(biāo)簽平臺(tái)，以支持客戶360度洞察和畫像分析。

     3、提供自動(dòng)化流水線式的機(jī)器學(xué)習(xí)平臺(tái)

       構(gòu)建支持多種機(jī)器學(xué)習(xí)算法的核心算法模型庫(kù)，實(shí)現(xiàn)特征工程、模型構(gòu)建、模型訓(xùn)練、模型評(píng)估、模型優(yōu)化、算法部署等全流程

自動(dòng)化，構(gòu)建自動(dòng)化流水線式的機(jī)器學(xué)習(xí)平臺(tái)。

     4、提供面向多場(chǎng)景的金融智能引擎

       實(shí)現(xiàn)場(chǎng)景智能識(shí)別、客戶智能識(shí)別、金融產(chǎn)品智能推薦、金融資訊智能推薦等功能，構(gòu)建面向多場(chǎng)景的金融智能引擎，實(shí)現(xiàn)對(duì)不

同用戶提供個(gè)性化、定制化的智能服務(wù)。

     5、支持基于微服務(wù)架構(gòu)的智能化服務(wù)

       基于微服務(wù)架構(gòu)進(jìn)行前端應(yīng)用開(kāi)發(fā)和部署，提供面向手機(jī)銀行APP、微信銀行、微信小程序、網(wǎng)上銀行、ATM、排隊(duì)機(jī)等前端的

智能化服務(wù)，包括智能推薦、智能提醒、智能秘書、智能理財(cái)、智能賬單、智能客服、智能運(yùn)營(yíng)、智能風(fēng)控等服務(wù)應(yīng)用。

      方案的特點(diǎn)和優(yōu)勢(shì):

     1、基于高性能分布式內(nèi)存并行計(jì)算框架，性能優(yōu)越。

       大數(shù)據(jù)加工軟件Sparklet和標(biāo)簽管理及加工軟件Mavis均基于Spark分布式內(nèi)存并行計(jì)算技術(shù)，將中間計(jì)算結(jié)果緩存在內(nèi)存并進(jìn)行

多輪迭代計(jì)算，減少磁盤I/O；采用多線程并發(fā)運(yùn)行處理作業(yè)提高ETL的性能和資源利用率；這兩個(gè)產(chǎn)品較傳統(tǒng)架構(gòu)的ETL產(chǎn)品，在運(yùn)

行速度上有數(shù)倍的提升。

      2、基于分布式X86 PC服務(wù)器集群，具有靈活的擴(kuò)展能力。

       解決方案基于HDFS、MPP數(shù)據(jù)庫(kù)構(gòu)建分布式存儲(chǔ)，基于Spark構(gòu)建內(nèi)存計(jì)算框架，都是建立在分布式X86 PC服務(wù)器集群之上。

當(dāng)系統(tǒng)容量或處理能力成為瓶頸時(shí)，可以通過(guò)“搭積木”的方式增加節(jié)點(diǎn)，從而實(shí)現(xiàn)處理能力和存儲(chǔ)容量的提升。

       3、組裝式的敏捷開(kāi)發(fā)模式，通過(guò)工具化、標(biāo)準(zhǔn)化、流程化提高開(kāi)發(fā)效率和項(xiàng)目質(zhì)量。

       大數(shù)據(jù)加工軟件Sparklet、標(biāo)簽管理與加工軟件Mavis是成熟的產(chǎn)品，涵蓋銀行數(shù)據(jù)加工和標(biāo)簽加工需求。使用可視化圖形化的

界面、規(guī)范化的描述語(yǔ)言進(jìn)行作業(yè)的定義和管理；制定一套標(biāo)準(zhǔn)化加工流程，把復(fù)雜的數(shù)據(jù)加工流程和純粹的加工業(yè)務(wù)邏輯進(jìn)行有

效解耦，大大提高提高開(kāi)發(fā)效率和項(xiàng)目質(zhì)量！

       4、自動(dòng)化的數(shù)據(jù)核對(duì)和校驗(yàn)機(jī)制，確保數(shù)據(jù)準(zhǔn)確無(wú)誤。

       為確保數(shù)據(jù)在加工及流轉(zhuǎn)過(guò)程中準(zhǔn)確無(wú)誤，在數(shù)據(jù)加工過(guò)程中加入校驗(yàn)，在數(shù)據(jù)加工完成后加入核對(duì)。內(nèi)置常用的數(shù)據(jù)核對(duì)模

式和規(guī)則，亦支持自定義復(fù)雜的數(shù)據(jù)核對(duì)業(yè)務(wù)規(guī)則。支持生成數(shù)據(jù)核對(duì)異常報(bào)告。