飛象網(wǎng)訊（魏德齡/文）從隨手滑動網(wǎng)頁時的廣告，或是突然收到的銀行理財推薦，再到出門在外到處掃一掃的各種“碼”，生活中越發(fā)能夠感受到大數(shù)據(jù)所帶來的變化。企業(yè)正試圖通過大數(shù)據(jù)來拉近與消費(fèi)者間的距離，優(yōu)化自身生產(chǎn)效率。
據(jù)賽迪顧問預(yù)計(jì)，到2023年，大數(shù)據(jù)產(chǎn)業(yè)規(guī)模將達(dá)到1萬億元，到2027年，將會達(dá)到1.8萬億元。隨著產(chǎn)業(yè)規(guī)模的持續(xù)增長，企業(yè)機(jī)構(gòu)對于大數(shù)據(jù)的業(yè)務(wù)需求也更加深化�！皼]有一套完整的系統(tǒng)保證這條鏈路高效運(yùn)轉(zhuǎn)的話，就很難保證從數(shù)據(jù)中提煉出有價值的信息和知識。”青云QingCloud大數(shù)據(jù)產(chǎn)品經(jīng)理劉雄風(fēng)表示“打通大數(shù)據(jù)全鏈路”已經(jīng)成為了客戶的重要訴求，而若想實(shí)現(xiàn)這種“打通”能力，自然需要在大數(shù)據(jù)領(lǐng)域的常年積累。
與大數(shù)據(jù)時代同頻共振
“與大數(shù)據(jù)時代同頻共振，青云大數(shù)據(jù)一直在行動�！眲⑿埏L(fēng)介紹稱，從2014年到2018年，青云先從廣度上實(shí)現(xiàn)了數(shù)據(jù)產(chǎn)品和服務(wù)的全覆蓋。自2018年以來，又持續(xù)從深度入手，對各個產(chǎn)品性能、服務(wù)質(zhì)量、服務(wù)范圍等方面進(jìn)行全方位提升。
截至目前，青云已經(jīng)推出了近30款數(shù)據(jù)產(chǎn)品和服務(wù)，同時集成優(yōu)秀的合作伙伴應(yīng)用，形成了包括數(shù)據(jù)庫與緩存、消息隊(duì)列與中間件、大數(shù)據(jù)服務(wù)、數(shù)據(jù)倉庫與BI、對象存儲在內(nèi)的數(shù)據(jù)產(chǎn)品生態(tài)，從而讓青云具備了構(gòu)建一個完整的、可插拔的、全流程的大數(shù)據(jù)平臺的能力。
與此同時，大數(shù)據(jù)產(chǎn)業(yè)也迎來了快速增長。例如中小型互聯(lián)網(wǎng)或者移動互聯(lián)網(wǎng)企業(yè)開始通過積累大量用戶數(shù)據(jù)，來進(jìn)行用戶畫像分析，從而提供匹配個性化需求的內(nèi)容、資訊、商品信息服務(wù)。智慧工廠通過對物聯(lián)網(wǎng)設(shè)備的實(shí)時數(shù)據(jù)分析來提升生產(chǎn)效率，通過實(shí)時風(fēng)控來提升安全性。科研機(jī)構(gòu)通過分工協(xié)作進(jìn)行多維度計(jì)算，實(shí)現(xiàn)挖掘?qū)崟r科研數(shù)據(jù)、數(shù)據(jù)處理，并輸出科研分析報告。
劉雄風(fēng)觀察到如今客戶的需求也從最初的“底層資源”問題逐步進(jìn)階到“數(shù)據(jù)層”問題，例如云平臺上已有的數(shù)據(jù)庫、數(shù)據(jù)倉庫、消息隊(duì)列等服務(wù)中的數(shù)據(jù)，需要數(shù)據(jù)同步服務(wù)來打通彼此之間孤立關(guān)系。數(shù)據(jù)計(jì)算的實(shí)時性也與企業(yè)的效率越來越呈現(xiàn)正相關(guān)，企業(yè)希望擁有獨(dú)立的實(shí)時計(jì)算平臺來加快數(shù)據(jù)上云后的實(shí)時計(jì)算速度，進(jìn)而發(fā)揮最大的數(shù)據(jù)價值。另外在數(shù)據(jù)開發(fā)和作業(yè)運(yùn)維調(diào)度層面上也呈現(xiàn)出新的需求。這種情況下，過往所提供的組件類產(chǎn)品和服務(wù)就難以充分滿足需求。
打通大數(shù)據(jù)全鏈路
基于客戶的多種真實(shí)需求反饋和實(shí)時數(shù)據(jù)處理的新挑戰(zhàn)，青云大數(shù)據(jù)工作臺應(yīng)運(yùn)而生。其初衷在于打通大數(shù)據(jù)全鏈路，整合青云完整的數(shù)據(jù)產(chǎn)品和服務(wù)，為客戶提供一個一站式智能大數(shù)據(jù)開發(fā)和治理平臺。
打通大數(shù)據(jù)全鏈路的意義在于，大數(shù)據(jù)技術(shù)可以形象的看作對最原始的數(shù)據(jù)進(jìn)行集成、處理、加工、提煉，由數(shù)據(jù)、信息、知識、智慧所構(gòu)成的金字塔，每上一層數(shù)據(jù)量就越小，對業(yè)務(wù)的影響價值卻更大更快。而要從海量“數(shù)據(jù)”中最終提煉出“智慧”，要經(jīng)過一條很長的數(shù)據(jù)流鏈路，這條鏈路的高效與否，將最終決定企業(yè)的數(shù)據(jù)掘金效率。
青云大數(shù)據(jù)工作臺包含了數(shù)據(jù)集成、數(shù)據(jù)加工、統(tǒng)一存儲和服務(wù)這三個環(huán)節(jié)的鏈路流程，接駁了由數(shù)據(jù)到智慧的整個過程，為企業(yè)數(shù)據(jù)價值挖掘提供支持。該工作臺基于云原生架構(gòu)，以 Flink 流批一體的計(jì)算引擎為基礎(chǔ)，同時兼容多種計(jì)算引擎為一體的計(jì)算資源服務(wù)。提供全生命周期的數(shù)據(jù)開發(fā)服務(wù)與高效的數(shù)據(jù)同步服務(wù)，可幫助客戶應(yīng)對豐富的業(yè)務(wù)場景，包括BI商業(yè)智能分析、用戶畫像、增長分析和數(shù)據(jù)大屏等應(yīng)用，能夠支持精細(xì)化運(yùn)營分析場景、實(shí)時計(jì)算場景、可視化開發(fā)運(yùn)維場景、構(gòu)建數(shù)倉場景四大使用場景。
青云大數(shù)據(jù)工作臺所提供的完整功能模塊，可以幫助企業(yè)輕松完成大數(shù)據(jù)開發(fā)與治理全流程的部署、運(yùn)行和管理。數(shù)據(jù)上云模塊可將數(shù)據(jù)安全地同步到云端，支持MySQL、PostgreSQL、Kafka、S3、ClickHouse、HBase、HDFS、FTP共8種數(shù)據(jù)源。數(shù)據(jù)上云完成后便可進(jìn)行數(shù)據(jù)開發(fā)，通過可視化的界面，可以讓客戶用拖拽的方式部署每一個工作節(jié)點(diǎn)，并直觀的了解其中的依賴關(guān)系。處理完的結(jié)果數(shù)據(jù)可以根據(jù)不同特性，存儲在不同的存儲介質(zhì)當(dāng)中，可通過向?qū)酵交蚰_本式同步兩種方式進(jìn)行。接下來的作業(yè)運(yùn)維調(diào)度工作中，通過青云自主研發(fā)的調(diào)度和任務(wù)管理模塊，可以同時根據(jù)任務(wù)維護(hù)和資源分配維度進(jìn)行分別監(jiān)控，實(shí)時跟蹤計(jì)算的飽和度，提醒企業(yè)根據(jù)需求調(diào)整計(jì)算資源。最后通過云端全托管Flink集群，幾分鐘即可完成計(jì)算集群的創(chuàng)建和部署。
在青云大數(shù)據(jù)工作臺未來規(guī)劃中，廣與深的升級理念還將進(jìn)一步延續(xù)，一方面將會加入數(shù)據(jù)治理和數(shù)據(jù)資產(chǎn)兩大功能模塊，完善大數(shù)據(jù)的全鏈路流程。另外還將優(yōu)化體驗(yàn)，針對不同的開發(fā)視角和操作，在客戶體驗(yàn)、數(shù)據(jù)運(yùn)行、穩(wěn)定性、容錯性方面，進(jìn)行整體的優(yōu)化和提升。
提及大數(shù)據(jù)類產(chǎn)品的版本更迭，很多人都容易想到不少大數(shù)據(jù)公司在產(chǎn)品架構(gòu)上越發(fā)復(fù)雜化的升級，以及缺少一定自由度與彈性的問題。青云大數(shù)據(jù)工作臺則在面世之初，就已經(jīng)呈現(xiàn)出了明顯的比較優(yōu)勢。
高效自由的青云大數(shù)據(jù)工作臺
作為一家以“云之基石·自由計(jì)算”為初心的云計(jì)算企業(yè)所打造的大數(shù)據(jù)產(chǎn)品——青云大數(shù)據(jù)工作臺優(yōu)勢也充分體現(xiàn)在此，兼顧了云服務(wù)的輕松部署與彈性，同時又開放自由，具有極高的兼容性。
客戶一方面可以依托青云公有云提供的天然 Demo，實(shí)現(xiàn)開箱即用，幾分鐘即可完成環(huán)境的創(chuàng)建和部署，使用中還能快速進(jìn)行迭代升級，享受到云平臺本身的彈性計(jì)費(fèi)和靈活擴(kuò)縮容。而如果是使用大數(shù)據(jù)公司的產(chǎn)品，往往需要在搭建部署，以及后續(xù)升級上花費(fèi)較長的時間，并缺少在遇到增量波動時的資源靈活性。
另一方面，客戶還能如同使用大數(shù)據(jù)公司的產(chǎn)品一樣，獲得良好的跨平臺兼容性。青云大數(shù)據(jù)工作臺依托 KubeSphere 云原生容器平臺能力，所提供的大數(shù)據(jù)服務(wù)更加自由，可以兼容不同容器平臺進(jìn)行獨(dú)立部署。通過擁抱開源，青云大數(shù)據(jù)工作臺還實(shí)現(xiàn)了百分百兼容Apache Flink，讓客戶輕松實(shí)現(xiàn)遷移。借助生態(tài)整合，又能使云平臺上的數(shù)據(jù)流轉(zhuǎn)更加便捷。
同時，面對目前很多大數(shù)據(jù)產(chǎn)品愈發(fā)功能復(fù)雜化的趨勢，以及一些產(chǎn)品體系中負(fù)載越來越重的歷史包袱，青云在需求方面，基于真實(shí)的客戶場景，抽取最大化的公共需求，聚焦業(yè)務(wù)問題，優(yōu)化產(chǎn)品使用體驗(yàn)，以極簡的操作步驟，解決用戶的核心業(yè)務(wù)問題。
青云大數(shù)據(jù)工作臺+KubeSphere+IoT “三位一體”技術(shù)方案
面向最終的場景落地，青云大數(shù)據(jù)工作臺能夠與青云的KubeSphere容器平臺和IoT平臺形成合力，構(gòu)建“三位一體”的技術(shù)方案。例如，在目前采用該方案的某中國環(huán)保行業(yè)領(lǐng)導(dǎo)者的實(shí)踐中，青云大數(shù)據(jù)工作臺能夠?qū)た財?shù)據(jù)實(shí)時處理、分發(fā)、脫敏，熱數(shù)據(jù)存儲在數(shù)據(jù)倉庫，全量數(shù)據(jù)存儲在對象存儲，最后將數(shù)據(jù)進(jìn)行應(yīng)用和展示。
另一工業(yè)自動化測試設(shè)備與整線系統(tǒng)解決方案廠商也通過與青云合作，建設(shè)統(tǒng)一的“物聯(lián)網(wǎng)+大數(shù)據(jù)”平臺。針對不同數(shù)據(jù)源，由IoT平臺進(jìn)行“云、網(wǎng)、邊、端”的統(tǒng)一控制，客戶可以將數(shù)據(jù)通過消息中間件統(tǒng)一傳輸?shù)酱髷?shù)據(jù)工作臺上，再做原始庫數(shù)據(jù)集成的操作。原始庫可單獨(dú)對外提供數(shù)據(jù)權(quán)限、數(shù)據(jù)存儲和數(shù)據(jù)查詢的服務(wù)，或進(jìn)行二次加工，形成最終結(jié)果庫。
據(jù)悉，通過深耕工業(yè)、交通等細(xì)分領(lǐng)域，目前青云已經(jīng)形成了一整套相對標(biāo)準(zhǔn)的體系和方案，未來將會覆蓋智慧工業(yè)、智慧零售、智慧政務(wù)和智慧校園四個“數(shù)智”化場景。
青云大數(shù)據(jù)工作臺無疑是青云在與行業(yè)“同頻共振”的新節(jié)點(diǎn)，秉承打通大數(shù)據(jù)全鏈路的理念，與行業(yè)場景深入適配，展現(xiàn)出不同于以往大數(shù)據(jù)產(chǎn)品比較優(yōu)勢的全新突破成果。劉雄風(fēng)最后這樣表示：“我們所追求的是幫助企業(yè)激活數(shù)據(jù)資產(chǎn)，釋放數(shù)據(jù)價值，加速更多企業(yè)數(shù)智化進(jìn)程的青云大數(shù)據(jù)正在路上�！�
