肯睿Cloudera亞太區(qū)首席技術(shù)官Daniel Hand
企業(yè)在管理數(shù)據(jù)和從數(shù)據(jù)中獲得洞察的過(guò)程面臨著諸多挑戰(zhàn)。由于越來(lái)越多的數(shù)據(jù)被創(chuàng)建并在多個(gè)位置進(jìn)行存儲(chǔ)，采用靈活的混合數(shù)據(jù)戰(zhàn)略對(duì)于管理和編排各種不同的數(shù)據(jù)集則變得至關(guān)重要。誠(chéng)然，單靠技術(shù)無(wú)法解決以下挑戰(zhàn)，但它是解決方案的關(guān)鍵要素，企業(yè)必須結(jié)合指導(dǎo)原則和政策來(lái)應(yīng)對(duì)這些挑戰(zhàn)。
挑戰(zhàn)1：提高創(chuàng)新力和業(yè)務(wù)敏捷性
第一項(xiàng)挑戰(zhàn)來(lái)自于如何提高創(chuàng)新力和業(yè)務(wù)敏捷性，包括如何實(shí)現(xiàn)數(shù)據(jù)和數(shù)據(jù)資產(chǎn)平權(quán)。這能夠幫助企業(yè)避開數(shù)據(jù)關(guān)守（Data Gatekeeper），以便更好地利用他們所擁有的數(shù)據(jù)。
創(chuàng)新的另一個(gè)要素是幫助企業(yè)快速擴(kuò)展并向新的市場(chǎng)提供數(shù)據(jù)產(chǎn)品和服務(wù)。如果需要在數(shù)據(jù)中心建立一個(gè)新的分析集群，尤其是在一個(gè)新的國(guó)家，則往往需要延長(zhǎng)周期。在公有云中管理數(shù)據(jù)和運(yùn)行分析可以大幅加快價(jià)值變現(xiàn)周期，但需要應(yīng)對(duì)風(fēng)險(xiǎn)和運(yùn)營(yíng)復(fù)雜性。
以近乎實(shí)時(shí)的方式獲取洞察與傳統(tǒng)的批量分析方法存在明顯的區(qū)別。從數(shù)據(jù)中獲得的洞察，其價(jià)值會(huì)隨著時(shí)間的推移而減少，因此企業(yè)越來(lái)越需要通過(guò)近乎實(shí)時(shí)的流處理來(lái)增強(qiáng)批處理分析。
挑戰(zhàn)2：管理運(yùn)營(yíng)風(fēng)險(xiǎn)
第二項(xiàng)挑戰(zhàn)來(lái)自于管理運(yùn)營(yíng)風(fēng)險(xiǎn)，包括企業(yè)如何確保在每個(gè)所支持的環(huán)境中統(tǒng)一、可靠地實(shí)施安全政策和控制。
這方面的另一個(gè)變量因素是需要在整個(gè)數(shù)據(jù)生命周期中捕獲數(shù)據(jù)沿襲和來(lái)源。如果企業(yè)無(wú)法了解數(shù)據(jù)來(lái)源以及誰(shuí)在數(shù)據(jù)生命周期中訪問(wèn)并改造了數(shù)據(jù)，那么從數(shù)據(jù)中獲得的洞察價(jià)值就會(huì)降低。
隨著所采集的數(shù)據(jù)量成倍增加，企業(yè)越來(lái)越需要對(duì)數(shù)據(jù)進(jìn)行自動(dòng)剖析、分類和采取適當(dāng)?shù)目刂剖侄�，比如新的�?shù)據(jù)集是否包含敏感的個(gè)人身份信息（PII）數(shù)據(jù)等；此外，另一個(gè)相關(guān)的挑戰(zhàn)是如何高效地管理和分析高達(dá)PB量級(jí)的海量數(shù)據(jù)。
為了應(yīng)對(duì)監(jiān)管和治理變化，企業(yè)還可能需要在不同環(huán)境之間安全、高效地移動(dòng)數(shù)據(jù)和應(yīng)用。這不僅包括將數(shù)據(jù)從云遣返到本地，還包括當(dāng)平臺(tái)被監(jiān)管機(jī)構(gòu)認(rèn)為缺乏足夠的控制手段來(lái)應(yīng)對(duì)政策變化時(shí)，在公有云供應(yīng)商之間移動(dòng)數(shù)據(jù)。
挑戰(zhàn)3：管理運(yùn)營(yíng)復(fù)雜性
最后一項(xiàng)挑戰(zhàn)是管理各種數(shù)據(jù)集和分析工作負(fù)載所帶來(lái)的運(yùn)營(yíng)復(fù)雜性。若在每個(gè)公有云平臺(tái)和本地均采用不同的解決方案，那么不論是承擔(dān)運(yùn)營(yíng)費(fèi)用或是維系一支具備合適技能的團(tuán)隊(duì)，都會(huì)帶來(lái)沉重負(fù)擔(dān)。這些因素綜合起來(lái)將引發(fā)并增加運(yùn)營(yíng)風(fēng)險(xiǎn)，影響敏捷性。
基于以上三項(xiàng)挑戰(zhàn)，以下是一些指導(dǎo)原則和政策，以幫助企業(yè)在構(gòu)建強(qiáng)大的數(shù)據(jù)戰(zhàn)略時(shí)克服障礙。在考慮采用何種技術(shù)時(shí)，企業(yè)應(yīng)牢記：在支持混合云、多云基礎(chǔ)架構(gòu)和處理引擎開放生態(tài)的同時(shí)也應(yīng)留有余地。這樣，在整個(gè)數(shù)據(jù)生命周期便可以部署集成分析服務(wù)集，也可以規(guī)定安全策略和控制手段，使其在任何受支持的環(huán)境中都能統(tǒng)一一致地執(zhí)行。
理想情況下，該技術(shù)應(yīng)該可以進(jìn)一步擴(kuò)展，不但能夠支持當(dāng)前的數(shù)據(jù)管理和分析需求，還能夠支持未來(lái)幾年可預(yù)測(cè)的需求。并且，該技術(shù)最好是專為云而設(shè)計(jì)，以實(shí)現(xiàn)計(jì)算和存儲(chǔ)能夠獨(dú)立擴(kuò)展。
總結(jié)
支持?jǐn)?shù)據(jù)編織、湖倉(cāng)一體、數(shù)據(jù)網(wǎng)格等現(xiàn)代化數(shù)據(jù)架構(gòu)的功能繼續(xù)影響著當(dāng)前提供給企業(yè)的解決方案。因此，企業(yè)可以采用一個(gè)能夠在多種環(huán)境中統(tǒng)一管理不同數(shù)據(jù)集的平臺(tái)，結(jié)合數(shù)據(jù)湖和數(shù)據(jù)倉(cāng)庫(kù)的統(tǒng)一化，以及支持?jǐn)?shù)據(jù)產(chǎn)品、域所有權(quán)和自助服務(wù)。Cloudera Data Platform（CDP）與其他企業(yè)數(shù)據(jù)平臺(tái)解決方案的不同之處在于，其能夠在整個(gè)數(shù)據(jù)生命周期內(nèi)借助共享安全和治理結(jié)構(gòu)持續(xù)實(shí)現(xiàn)這一點(diǎn)。對(duì)于幫助全球各大企業(yè)制定和實(shí)施靈活的數(shù)據(jù)戰(zhàn)略來(lái)說(shuō)，這項(xiàng)能力是不可或缺的。
