痛點(diǎn)

傳統(tǒng)數(shù)據(jù)庫(kù)Oracle/DB2等

 

痛點(diǎn)：

1、適合處理1TB以內(nèi)數(shù)據(jù)量，性能隨著數(shù)據(jù)量增長(zhǎng)衰減很快；

2、縱向擴(kuò)容（提升單機(jī)性能）成本高，上限低；

3、橫向擴(kuò)容難以設(shè)置和管理，成本高，集群性能不能線性擴(kuò)展，且擴(kuò)容規(guī)模有限；

4、主要為結(jié)構(gòu)化數(shù)據(jù)，半結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)支持度較差。

 

Teradata

 

痛點(diǎn)：  

1、擴(kuò)容成本問題：TD存儲(chǔ)、擴(kuò)容的費(fèi)用成本高；

2、設(shè)備型號(hào)不兼容問題：新舊型號(hào)無法共存，一再演繹生產(chǎn)設(shè)備下線了需要再開發(fā)，測(cè)試，UAT之間流轉(zhuǎn)的故事；

3、支撐場(chǎng)景有限：TD屬于傳統(tǒng)的數(shù)據(jù)倉(cāng)庫(kù)，對(duì)半結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)支持不好；對(duì)實(shí)時(shí)數(shù)據(jù)場(chǎng)景也無法支持；

4、處理性能不足：TD采用MPP架構(gòu)，架構(gòu)存在的木桶效應(yīng)，空間問題、設(shè)計(jì)問題，優(yōu)化問題，造成性能越來越差。

 

CDH開源大數(shù)據(jù)解決方案

 

 

痛點(diǎn)：

1、為滿足不同的業(yè)務(wù)需求，需要不同的組件支撐，搭建與維護(hù)成本較高，需要有更多的節(jié)點(diǎn)支撐不同組件的部署

2、需要開發(fā)人員熟悉多個(gè)組件，且不同組件提供的訪問入口不同，增加了開發(fā)對(duì)接成本

2、Impala

穩(wěn)定性較差，無法支撐復(fù)雜任務(wù)，數(shù)據(jù)量>500GB或者中間結(jié)果比內(nèi)存容量大時(shí)，容易崩潰

業(yè)務(wù)加工能力有限，只支持SQL92，不支持存儲(chǔ)過程；TPCDS 99個(gè)Query只支持其中77個(gè)Query

3、Hive

性能較差

對(duì)分布式事務(wù)性支持度較差，無法處理復(fù)雜的跑批加工作業(yè)，如拉鏈數(shù)據(jù)更新等

4、軟件許可問題：Cloudera從2020年的產(chǎn)品開始，都不再推開源版本，6.x的CDH是最后一代開源產(chǎn)品。

 

MPP（PostgreSQL/Greenplum/GuassDB)

 

痛點(diǎn)：

穩(wěn)定性  

1、故障恢復(fù)會(huì)引起集群性能下降：最小恢復(fù)粒度一般為1/4節(jié)點(diǎn)；在故障恢復(fù)時(shí)，承載故障節(jié)點(diǎn)業(yè)務(wù)的節(jié)點(diǎn)會(huì)負(fù)載加大，由于木桶效應(yīng)的存在，會(huì)導(dǎo)致集群性能下降；

2、 容錯(cuò)機(jī)制不完善，失敗任務(wù)需要從頭執(zhí)行，無法從中斷處重試。

3、 因穩(wěn)定性原因，導(dǎo)致晚上跑批作業(yè)無法在第二天開業(yè)前完成，影響第二天營(yíng)業(yè)。

集群規(guī)模與擴(kuò)展

1、建議停機(jī)擴(kuò)展：集群擴(kuò)縮容時(shí)會(huì)引起數(shù)據(jù)重分布，索引重建，對(duì)集群性能影響很大，基本無法對(duì)外提供服務(wù)，建議停機(jī)擴(kuò)展。

2、單物理集群規(guī)模受限，256節(jié)點(diǎn)（部分MPP數(shù)據(jù)庫(kù)近期已擴(kuò)展至2048節(jié)點(diǎn)，但尚無穩(wěn)定生產(chǎn)落地），針對(duì)大型集群支撐的業(yè)務(wù)場(chǎng)景，會(huì)出現(xiàn)跨集群查詢的情況，嚴(yán)重影響查詢性能。

混合負(fù)載

混合負(fù)載場(chǎng)景支持較弱：大負(fù)載作業(yè)可能占滿整個(gè)集群，導(dǎo)致即席查詢業(yè)務(wù)無法運(yùn)行。

服務(wù)開放能力

由于穩(wěn)定性，集群規(guī)模與擴(kuò)展能力有限，混合負(fù)載能力的缺失，導(dǎo)致MPP集群無法對(duì)大規(guī)模業(yè)務(wù)人員開放其查詢分析服務(wù)能力。

 

ArgoDB 數(shù)倉(cāng)數(shù)集方案優(yōu)勢(shì)

核心優(yōu)勢(shì)：

• 極致性能：星環(huán)自研的行列混合存儲(chǔ)結(jié)構(gòu)和向量化執(zhí)行引擎，提供極致的性能體驗(yàn)；復(fù)雜分析、大表關(guān)聯(lián)等大數(shù)據(jù)量復(fù)雜業(yè)務(wù)場(chǎng)景性能較好
• 完整分布式事務(wù)支持：支持完整4種事務(wù)隔離級(jí)別
• SQL兼容度高：提供多種方言（Oracle/DB2/TD），盡可能減少遷移工程中的腳本改造量
• 支持超大規(guī)模集群：天然分布式架構(gòu)，集群節(jié)點(diǎn)規(guī)模無上限，數(shù)據(jù)存儲(chǔ)容量隨節(jié)點(diǎn)規(guī)模線性擴(kuò)容，可支持2000+節(jié)點(diǎn)集群；
• 在線擴(kuò)縮容：支持在線擴(kuò)縮容，對(duì)業(yè)務(wù)無感知、無性能影響
• 多模數(shù)據(jù)庫(kù)：統(tǒng)一SQL入口，支持結(jié)構(gòu)化、全文索引等多種類型數(shù)據(jù)
• 容錯(cuò)機(jī)制完善：細(xì)粒度任務(wù)級(jí)重試容錯(cuò)機(jī)制
• 數(shù)據(jù)安全：提供完善分布式一致性機(jī)制，保障數(shù)據(jù)安全不遺失；提供配套數(shù)據(jù)備份工具，提供更多數(shù)據(jù)保障；支持多版本備份、恢復(fù)
• 提供多種遷移工具：數(shù)據(jù)遷移工具，模型遷移工具，腳本遷移工具
• 提供專業(yè)的數(shù)倉(cāng)實(shí)施與咨詢服務(wù)