大數(shù)據(jù)平臺支持數(shù)據(jù)倉庫和數(shù)據(jù)湖的建設(shè),提供一個完整的任務(wù)開發(fā)和運維的平臺能力。平臺主要分為Data Studio 以及運維平臺,數(shù)據(jù)開發(fā)方面主要支持 Flink SQL、Flink Jar 以及普通的 SQL 任務(wù)。
核心特性包括:
DataStudio提供專業(yè)的大數(shù)據(jù)開發(fā)功能,支持血緣分析、元數(shù)據(jù)查詢 、自動提示與補全、語法校驗、 MetaStore等。
運維平臺提供從開發(fā)調(diào)試到上線下線的運維監(jiān)控及 SQL 的查詢執(zhí)行能力,使數(shù)倉建設(shè)及數(shù)據(jù)治理一體化。
DolphinScheduler 進行離線工作流編排和調(diào)度。
Flink CDC 和 Flink SQL 實現(xiàn)流處理能力,進行實時任務(wù)的開發(fā)。
選擇 Doris 作為實時數(shù)據(jù)倉庫來寫入數(shù)據(jù)并進行 OLAP 查詢。