所謂”大數(shù)據(jù) “,其和”小數(shù)據(jù)“的唯一差別在于數(shù)據(jù)量以及數(shù)據(jù)量帶來(lái)的對(duì)于數(shù)據(jù)存儲(chǔ)、查詢及分析吞吐量的要求。本質(zhì)上,”大數(shù)據(jù)“仍然需要通過(guò)數(shù)據(jù)分析來(lái)發(fā)現(xiàn)現(xiàn)狀,找到導(dǎo)致現(xiàn)狀的根源要素,并且通過(guò)模型與預(yù)測(cè)分析技術(shù)來(lái)對(duì)改善進(jìn)行預(yù)測(cè)與優(yōu)化,并且實(shí)現(xiàn)企業(yè)運(yùn)營(yíng)各個(gè)領(lǐng)域的持續(xù)改善與創(chuàng)新。要談”大數(shù)據(jù)運(yùn)營(yíng)”在中國(guó)的情況,首先必須深入了解”大數(shù)據(jù)核心技術(shù)“的質(zhì)量現(xiàn)狀。
當(dāng)前大數(shù)據(jù)主要核心技術(shù)
海量信息存儲(chǔ)
大數(shù)據(jù),顧名思義數(shù)據(jù)量一定很大,其次是數(shù)據(jù)具有高增長(zhǎng)率和多樣化的特點(diǎn)。那么在量大、種類繁多的情況下,數(shù)據(jù)的存放將會(huì)是一個(gè)問(wèn)題。為了解決這個(gè)問(wèn)題,在這期間出現(xiàn)了hadoop,分布式文件系統(tǒng)及存儲(chǔ)。
Hadoop是一個(gè)能夠讓用戶輕松架構(gòu)和使用的分布式計(jì)算平臺(tái)。用戶可以輕松地在Hadoop上開(kāi)發(fā)和運(yùn)行處理海量數(shù)據(jù)的應(yīng)用程序。它主要有以下幾個(gè)優(yōu)點(diǎn):
1、高可靠性。Hadoop按位存儲(chǔ)和處理數(shù)據(jù)的能力值得人們信賴。
2、高擴(kuò)展性。Hadoop是在可用的計(jì)算機(jī)集簇間分配數(shù)據(jù)并完成計(jì)算任務(wù)的,這些集簇可以方便地?cái)U(kuò)展到數(shù)以千計(jì)的節(jié)點(diǎn)中。
3、高效性。Hadoop能夠在節(jié)點(diǎn)之間動(dòng)態(tài)地移動(dòng)數(shù)據(jù),并保證各個(gè)節(jié)點(diǎn)的動(dòng)態(tài)平衡,因此處理速度非常快。
4、高容錯(cuò)性。Hadoop能夠自動(dòng)保存數(shù)據(jù)的多個(gè)副本,并且能夠自動(dòng)將失敗的任務(wù)重新分配。
5、低成本。與一體機(jī)、商用數(shù)據(jù)倉(cāng)庫(kù)以及QlikView、Yonghong Z-Suite等數(shù)據(jù)集市相比,hadoop是開(kāi)源的,項(xiàng)目的軟件成本因此會(huì)大大降低。
分布式計(jì)算
分布式計(jì)算是一種計(jì)算方法,和集中式計(jì)算是相對(duì)的。隨著計(jì)算技術(shù)的發(fā)展,有些應(yīng)用需要非常巨大的計(jì)算能力才能完成,如果采用集中式計(jì)算,需要耗費(fèi)相當(dāng)長(zhǎng)的時(shí)間來(lái)完成。分布式計(jì)算將該應(yīng)用分解成許多小的部分,分配給多臺(tái)計(jì)算機(jī)進(jìn)行處理。這樣可以節(jié)約整體計(jì)算時(shí)間,大大提高計(jì)算效率。
那么分布式計(jì)算在大數(shù)據(jù)中運(yùn)用最廣泛的組件就是MapReduce以及Spark等等,都是通過(guò)Yarn來(lái)進(jìn)行資源協(xié)調(diào),實(shí)現(xiàn)了原本一臺(tái)機(jī)器無(wú)法完成的多臺(tái)并行計(jì)算能力。
上圖為spark在分布式集群中的計(jì)算方式和高容錯(cuò)性機(jī)制。
實(shí)時(shí)計(jì)算
實(shí)時(shí)計(jì)算一般都是針對(duì)海量數(shù)據(jù)進(jìn)行的,一般要求為秒級(jí)。實(shí)時(shí)計(jì)算主要分為兩塊:數(shù)據(jù)的實(shí)時(shí)入庫(kù)、數(shù)據(jù)的實(shí)時(shí)計(jì)算。
1) 數(shù)據(jù)源是實(shí)時(shí)的不間斷的,要求用戶的響應(yīng)時(shí)間也是實(shí)時(shí)的(比如對(duì)于大型網(wǎng)站的流式數(shù)據(jù):網(wǎng)站的訪問(wèn)PV/UV、用戶訪問(wèn)了什么內(nèi)容、搜索了什么內(nèi)容等,實(shí) 時(shí)的數(shù)據(jù)計(jì)算和分析可以動(dòng)態(tài)實(shí)時(shí)地刷新用戶訪問(wèn)數(shù)據(jù),展示網(wǎng)站實(shí)時(shí)流量的變化情況,分析每天各小時(shí)的流量和用戶分布情況)
2) 數(shù)據(jù)量大且無(wú)法或沒(méi)必要預(yù)算,但要求對(duì)用戶的響應(yīng)時(shí)間是實(shí)時(shí)的。典型的實(shí)時(shí)計(jì)算運(yùn)用商主要有民航、券商,民航的實(shí)時(shí)航班信息、券商的實(shí)時(shí)股價(jià)以及交易信息等等,均需要提供實(shí)時(shí)計(jì)算來(lái)實(shí)現(xiàn)數(shù)據(jù)呈現(xiàn)。
大數(shù)據(jù)周邊主要核心技術(shù)主要有Kafka、storm、SparkStreaming等相關(guān)技術(shù)。
Storm為分布式實(shí)時(shí)計(jì)算提供了一組通用原語(yǔ),可被用于“流處理”之中,實(shí)時(shí)處理消息并更新數(shù)據(jù)庫(kù)。這是管理隊(duì)列及工作者集群的另一種方式。 Storm也可被用于“連續(xù)計(jì)算”(continuous computation),對(duì)數(shù)據(jù)流做連續(xù)查詢,在計(jì)算時(shí)就將結(jié)果以流的形式輸出給用戶。
Kafka是一種高吞吐量的分布式發(fā)布訂閱消息系統(tǒng),它可以處理消費(fèi)者規(guī)模的網(wǎng)站中的所有動(dòng)作流數(shù)據(jù)。這種動(dòng)作(網(wǎng)頁(yè)瀏覽,搜索和其他用戶的行動(dòng))是在現(xiàn)代網(wǎng)絡(luò)上的許多社會(huì)功能的一個(gè)關(guān)鍵因素。 這些數(shù)據(jù)通常是由于吞吐量的要求而通過(guò)處理日志和日志聚合來(lái)解決。 對(duì)于像Hadoop的一樣的日志數(shù)據(jù)和離線分析系統(tǒng),但又要求實(shí)時(shí)處理的限制,這是一個(gè)可行的解決方案。Kafka的目的是通過(guò)Hadoop的并行加載機(jī)制來(lái)統(tǒng)一線上和離線的消息處理,也是為了通過(guò)集群機(jī)來(lái)提供實(shí)時(shí)的消費(fèi)。
Spark Streaming是一種構(gòu)建在Spark上的實(shí)時(shí)計(jì)算框架,它擴(kuò)展了Spark處理大規(guī)模流式數(shù)據(jù)的能力。Spark Streaming的優(yōu)勢(shì)在于:能運(yùn)行在100+的結(jié)點(diǎn)上,并達(dá)到秒級(jí)延遲。使用基于內(nèi)存的Spark作為執(zhí)行引擎,具有高效和容錯(cuò)的特性。能集成Spark的批處理和交互查詢。為實(shí)現(xiàn)復(fù)雜的算法提供和批處理類似的簡(jiǎn)單接口。
數(shù)據(jù)爬取與挖掘
隨著網(wǎng)絡(luò)的迅速發(fā)展,萬(wàn)維網(wǎng)成為大量信息的載體,如何有效地提取并利用這些信息成為一個(gè)巨大的挑戰(zhàn)。搜索引擎(Search Engine),例如傳統(tǒng)的通用搜索引擎AltaVista,Yahoo!和Google等,作為一個(gè)輔助人們檢索信息的工具成為用戶訪問(wèn)萬(wàn)維網(wǎng)的入口和指南。但是,這些通用性搜索引擎也存在著一定的局限性。
由此,衍生出了我們現(xiàn)在使用的各式各樣的網(wǎng)絡(luò)爬蟲。不論這些爬蟲有什么樣的算法和特征,他們的目的只有一個(gè),就是獲取到豐富的、有價(jià)值的網(wǎng)絡(luò)數(shù)據(jù)。那么這些網(wǎng)絡(luò)數(shù)據(jù)又有什么價(jià)值呢?挖掘。
沒(méi)有挖掘就看不到黃金,那么數(shù)據(jù)挖掘就是從大量的、不完全的、有噪聲的、模糊的、隨機(jī)的實(shí)際應(yīng)用數(shù)據(jù)中,提取隱含在其中的、人們事先不知道的、但又是潛在有用的信息和知識(shí)的過(guò)程,是一種深層次的數(shù)據(jù)分析方法。隨著科技的發(fā)展,數(shù)據(jù)挖掘不再只依賴在線分析等傳統(tǒng)的分析方法。它結(jié)合了人工智能和統(tǒng)計(jì)分析的長(zhǎng)處,利用人工智能技術(shù)和統(tǒng)計(jì)的應(yīng)用程序,并把這些高深復(fù)雜的技術(shù)封裝起來(lái),使人們不用自己掌握這些技術(shù)也能完成同樣的功能,并且更專注于自己所要解決的問(wèn)題。
大數(shù)據(jù)質(zhì)量的現(xiàn)狀
由于大數(shù)據(jù)具有復(fù)雜、多樣、多變等特點(diǎn),在大數(shù)據(jù)時(shí)代下,數(shù)據(jù)質(zhì)量很難保證。
以制造企業(yè)為例,企業(yè)可以從大量的客戶、產(chǎn)品和銷售信息中獲得更多有價(jià)值的信息,進(jìn)而制定滿足消費(fèi)者需求的銷售策略。然而這些信息的獲取和提煉都必須以高質(zhì)量的數(shù)據(jù)為前提,如果數(shù)據(jù)質(zhì)量低下,必然會(huì)影響提取出的信息的質(zhì)量,甚至是錯(cuò)誤的、無(wú)效的信息。
因此我們重點(diǎn)從流程、技術(shù)和管理三方面來(lái)分析大數(shù)據(jù)環(huán)境下保證大數(shù)據(jù)質(zhì)量的挑戰(zhàn)及重要性。針對(duì)這一塊,我們的賈西貝同志(中國(guó)大數(shù)據(jù)專家委員會(huì)委員、深圳市華傲數(shù)據(jù)技術(shù)有限公司CEO兼CTO)將會(huì)在文章最后所在分享大會(huì)上詳細(xì)講解。
大數(shù)據(jù)核心技術(shù)帶來(lái)的挑戰(zhàn)和機(jī)遇
挑戰(zhàn)一、大數(shù)據(jù)數(shù)據(jù)處理技術(shù)更新緩慢
大數(shù)據(jù)雖然可以通過(guò)擴(kuò)大數(shù)據(jù)樣本規(guī)模和提升數(shù)據(jù)處理能力來(lái)管理日常經(jīng)營(yíng)性的風(fēng)險(xiǎn),但是代表金融創(chuàng)新風(fēng)險(xiǎn)等未來(lái)事件是無(wú)法用歷史數(shù)據(jù)進(jìn)行預(yù)測(cè)和分析的。
首先,大數(shù)據(jù)處理技術(shù)面臨數(shù)據(jù)生成者學(xué)習(xí)行為的挑戰(zhàn)。大數(shù)據(jù)處理技術(shù)和評(píng)估標(biāo)準(zhǔn)影響數(shù)據(jù)生成者行為,同樣數(shù)據(jù)生成者行為也會(huì)影響大數(shù)據(jù)處理技術(shù)和評(píng)估標(biāo)準(zhǔn)。以我國(guó)大數(shù)據(jù)重要來(lái)源之一的社交媒體為例,這種大數(shù)據(jù)來(lái)源的有效性是有前提條件的,即人們?cè)谏缃幻襟w分享的信息都是真實(shí)的、自發(fā)的、不受大數(shù)據(jù)處理技術(shù)和各種評(píng)估標(biāo)準(zhǔn)的影響。但是,人們?cè)诨ヂ?lián)網(wǎng)時(shí)代運(yùn)用網(wǎng)絡(luò)學(xué)習(xí)的能力是不斷提高的。如果人們通過(guò)學(xué)習(xí)大數(shù)據(jù)處理技術(shù)和各種評(píng)估標(biāo)準(zhǔn)而相應(yīng)改變社交媒體的信息,就會(huì)導(dǎo)致大數(shù)據(jù)生成機(jī)制發(fā)生質(zhì)變。因此,在對(duì)大數(shù)據(jù)進(jìn)行技術(shù)處理時(shí),簡(jiǎn)單地認(rèn)為數(shù)據(jù)生成者都是無(wú)意識(shí)地生產(chǎn)大數(shù)據(jù),忽略了數(shù)據(jù)生產(chǎn)者行為背后趨利避害的動(dòng)機(jī),可能就會(huì)得出錯(cuò)誤的判斷和結(jié)論。
其次,大數(shù)據(jù)處理技術(shù)面臨去冗降噪挑戰(zhàn)。在現(xiàn)實(shí)中,大數(shù)據(jù)一般來(lái)自于不同的社會(huì)主體,以動(dòng)態(tài)數(shù)據(jù)流的形式產(chǎn)生,人們?cè)诜奖惬@取數(shù)據(jù)的同時(shí),也會(huì)使得虛假數(shù)據(jù)、無(wú)效數(shù)據(jù)等噪聲數(shù)據(jù)的生產(chǎn)成本降低。面對(duì)大數(shù)據(jù)中包含眾多不同形態(tài)的噪聲數(shù)據(jù),如何通過(guò)數(shù)據(jù)處理技術(shù)的革新來(lái)挖掘有價(jià)值的信息是我們自始至終都要面臨的一項(xiàng)技術(shù)挑戰(zhàn)。這如同人類社會(huì)醫(yī)學(xué)技術(shù)創(chuàng)新與病毒變異之間的“競(jìng)賽”一樣是長(zhǎng)期存在的
挑戰(zhàn)二、大數(shù)據(jù)安全與隱私
我國(guó)在大數(shù)據(jù)發(fā)展和應(yīng)用方面已具備一定基礎(chǔ),擁有市場(chǎng)優(yōu)勢(shì)和發(fā)展?jié)摿Γ泊嬖跀?shù)據(jù)開(kāi)放共享不足、產(chǎn)業(yè)基礎(chǔ)薄弱、法律法規(guī)建設(shè)滯后等問(wèn)題亟待解決。他呼吁,應(yīng)盡快完善大數(shù)據(jù)相關(guān)的法律法規(guī),營(yíng)造互聯(lián)網(wǎng)數(shù)據(jù)產(chǎn)業(yè)發(fā)展的法治環(huán)境;互聯(lián)網(wǎng)企業(yè)要 切實(shí)履行社會(huì)責(zé)任,共同促進(jìn)大數(shù)據(jù)產(chǎn)業(yè)持續(xù)健康發(fā)展;網(wǎng)民要加強(qiáng)個(gè)人隱私保護(hù)意識(shí),培養(yǎng)健康安全的網(wǎng)絡(luò)使用習(xí)慣。
中國(guó)互聯(lián)網(wǎng)協(xié)會(huì)理事長(zhǎng)鄔賀銓院士發(fā)表題為《大數(shù)據(jù)安全---技術(shù)與產(chǎn)業(yè)及管理》的主旨報(bào)告,從大數(shù)據(jù)安全的技術(shù)挑戰(zhàn)、產(chǎn)業(yè)短 板、管理風(fēng)險(xiǎn)以及安全防護(hù)四個(gè)方面闡述了大數(shù)據(jù)時(shí)代的安全形勢(shì)。他指出,大數(shù)據(jù)已經(jīng)成為信息社會(huì)的熱點(diǎn),其應(yīng)用本身既是安全防御的重點(diǎn),也是保障網(wǎng)絡(luò)與信息安全的有力手段。大數(shù)據(jù)的安全既需要從技術(shù)、產(chǎn)業(yè)、管理多維度來(lái)保障,也需要人才、法規(guī)來(lái)支撐。
目前不光是各家企業(yè)單位重視大數(shù)據(jù)下的安全,國(guó)家也開(kāi)始對(duì)這一塊開(kāi)始著手管控,因此當(dāng)下不得不把信息安全放在重要的位置。
大數(shù)據(jù)帶來(lái)的機(jī)遇
大數(shù)據(jù)在各個(gè)行業(yè)的垂直特色化應(yīng)用其實(shí)會(huì)更體現(xiàn)出新的機(jī)遇,包括金融、電信、健康、媒體廣告、零售、交通、政府、智慧城市、房地產(chǎn)和家居家電等行業(yè)都會(huì)有很多應(yīng)用機(jī)會(huì):
1、金融——大數(shù)據(jù)公司專門聚焦在通過(guò)大數(shù)據(jù)進(jìn)行客戶信用評(píng)級(jí),并為銀行、保險(xiǎn)公司或者P2P平臺(tái)服務(wù);或者基于大數(shù)據(jù)挖掘幫助銀行進(jìn)行客戶細(xì)分、精準(zhǔn)營(yíng)銷服務(wù)。
2、電信——這個(gè)方向已經(jīng)有專門為電信企業(yè)提供客戶生命周期管理解決方案、客戶關(guān)系管理、精細(xì)化運(yùn)營(yíng)分析和營(yíng)銷的數(shù)據(jù)公司;或者基于大數(shù)據(jù)提供網(wǎng)絡(luò)層的運(yùn)維管理和網(wǎng)絡(luò)優(yōu)化服務(wù)的大數(shù)據(jù)公司。
3、健康——未來(lái)兩三年將會(huì)出現(xiàn)一批基于各種可穿戴設(shè)備形成的健康云數(shù)據(jù),進(jìn)行深度的數(shù)據(jù)數(shù)據(jù)分析和挖掘的企業(yè),幫助人們進(jìn)行健康預(yù)測(cè)和預(yù)警;未來(lái)還可以服務(wù)公共衛(wèi)生部門,打通全國(guó)的患者電子病歷數(shù)據(jù)庫(kù),快速檢測(cè)傳染病,進(jìn)行全面的疫情監(jiān)測(cè),并通過(guò)集成疾病監(jiān)測(cè)和響應(yīng)程序,快速進(jìn)行響應(yīng)等。
4、媒體廣告——可以通過(guò)大數(shù)據(jù)實(shí)現(xiàn)更科學(xué)的媒介選擇;或者基于大數(shù)據(jù)的精準(zhǔn)廣告投放系統(tǒng)、基于大數(shù)據(jù)的廣告效果監(jiān)測(cè)評(píng)估服務(wù)、基于大數(shù)據(jù)的網(wǎng)站分析優(yōu)化服務(wù)以及基于大數(shù)據(jù)DMP數(shù)據(jù)平臺(tái)并為DSP平臺(tái)提供精準(zhǔn)營(yíng)銷服務(wù)等。
5、零售——大數(shù)據(jù)公司可以幫助零售企業(yè)進(jìn)行店面選址服務(wù);利用關(guān)聯(lián)規(guī)則進(jìn)行客戶購(gòu)物籃分析,從而給客戶推薦相應(yīng)的促銷活動(dòng);基于天氣的分析和預(yù)期來(lái)判斷暢銷產(chǎn)品以及相應(yīng)的進(jìn)貨和運(yùn)營(yíng)策略,或者把天氣數(shù)據(jù)加入物流預(yù)測(cè)模型,確保在天氣模式?jīng)]有改變之前,商品能夠順利運(yùn)送到各商店。
6、房地產(chǎn)——通過(guò)互聯(lián)網(wǎng)平臺(tái)的大數(shù)據(jù)進(jìn)行購(gòu)房潛在客戶挖掘;或者通過(guò)互聯(lián)網(wǎng)大數(shù)據(jù)進(jìn)行潛在裝修客戶挖掘;通過(guò)大數(shù)據(jù)提供精準(zhǔn)的社區(qū)O2O服務(wù);商業(yè)地產(chǎn)通過(guò)大數(shù)據(jù)對(duì)商場(chǎng)消費(fèi)人群進(jìn)行分析,掌握顧客活動(dòng)軌跡、消費(fèi)習(xí)慣等,提供定制服務(wù)、精準(zhǔn)營(yíng)銷服務(wù)。
7、民航——來(lái)自航班、爬蟲外部等重要數(shù)據(jù),通過(guò)大數(shù)據(jù)處理及可視化分析平臺(tái)幫主航空企業(yè)運(yùn)營(yíng)處理每天全球個(gè)個(gè)機(jī)場(chǎng)N條氣象報(bào)文, ACARS信息, ADS-B實(shí)時(shí)報(bào)文,以及航班動(dòng)態(tài)、飛機(jī)軌跡、旅客信息、社交媒體等。通過(guò)這些實(shí)時(shí)數(shù)據(jù),完整的反映出整個(gè)航空公司每架飛機(jī)、每個(gè)航班的運(yùn)行狀態(tài),經(jīng)過(guò)服務(wù)器端的實(shí)時(shí)計(jì)算,對(duì)氣象、燃油、航路、旅客等關(guān)鍵安全因素進(jìn)行預(yù)警,保障航班安全運(yùn)行。
成功案例
華為助力工商銀行實(shí)現(xiàn)精準(zhǔn)營(yíng)銷
面臨的挑戰(zhàn):應(yīng)對(duì)互聯(lián)網(wǎng)金融的競(jìng)爭(zhēng),需要掌握網(wǎng)銀用戶的行為軌跡,精準(zhǔn)營(yíng)銷,擴(kuò)大銷售;優(yōu)化網(wǎng)銀服務(wù)模塊的質(zhì)量,提升客戶體驗(yàn)。安全、運(yùn)維操作日志的關(guān)聯(lián)分析,提高故障發(fā)生時(shí)故障點(diǎn)定位的準(zhǔn)確率,提升故障響應(yīng)速度。
解決方案:企業(yè)級(jí)大數(shù)據(jù)平臺(tái):高可靠、高安全、易管理、易開(kāi)發(fā);分布式日志收集系統(tǒng)自動(dòng)將各分行的日志收集到總部大數(shù)據(jù)平臺(tái);統(tǒng)一管理:分布式日志收集系統(tǒng)+大數(shù)據(jù)分析平臺(tái);基于訪問(wèn)日志的用戶行為統(tǒng)計(jì)和分析模型;擁有內(nèi)核級(jí)開(kāi)發(fā)的工程團(tuán)隊(duì)和咨詢、定制化的服務(wù)能力;
帶來(lái)的價(jià)值:統(tǒng)一的分布式日志收集+分析大數(shù)據(jù)平臺(tái);通過(guò)網(wǎng)銀用戶行為統(tǒng)計(jì)和分析,實(shí)時(shí)+離線的精準(zhǔn)營(yíng)銷;安全+運(yùn)維操作日志關(guān)聯(lián)分析,精準(zhǔn)定位故障點(diǎn)。
華為大數(shù)據(jù)方案在福建移動(dòng)的應(yīng)用
為進(jìn)一步提升外呼成功率,從2014年初開(kāi)始,福建移動(dòng)聯(lián)合華為公司開(kāi)展基于大數(shù)據(jù)的精準(zhǔn)營(yíng)銷工作,采用大數(shù)據(jù)分析的方法選擇外呼目標(biāo)價(jià)值用戶;诖髷(shù)據(jù)分析方法和傳統(tǒng)外呼方法分別提供20萬(wàn)目標(biāo)客戶清單,在前臺(tái)無(wú)感知下進(jìn)行對(duì)比驗(yàn)證,確保對(duì)比效果不受人為因素影響,經(jīng)過(guò)外呼驗(yàn)證,基于大數(shù)據(jù)分析方法較傳統(tǒng)方法外呼成功率提升50%以上,有效支撐了福建移動(dòng)4G用戶發(fā)展戰(zhàn)略。
失敗案例
某城商銀行自主研發(fā)的理財(cái)產(chǎn)品推薦系統(tǒng)
問(wèn)題描述:某城商銀行獨(dú)立搭建了大數(shù)據(jù)平臺(tái),且組織了一些號(hào)稱“大數(shù)據(jù)”高手在信息科技中心進(jìn)行產(chǎn)品推薦系統(tǒng)研發(fā),因?yàn)榭萍疾恐皇菍?duì)大數(shù)據(jù)技術(shù)感興趣,所以根據(jù)自己的想法和理解,對(duì)存貸款以及理財(cái)購(gòu)買信息做了協(xié)同過(guò)濾算法,最后得出了客戶產(chǎn)品推薦清單。但是到最后,營(yíng)銷部門看也沒(méi)有看一眼這個(gè)推薦系統(tǒng)和推薦清單。
問(wèn)題原因:不論是大數(shù)據(jù)應(yīng)用還是其它應(yīng)用,沒(méi)有實(shí)際業(yè)務(wù)價(jià)值的驅(qū)動(dòng)和深入理解,等于做無(wú)用功。
大數(shù)據(jù)成功運(yùn)營(yíng)的關(guān)鍵要素業(yè)務(wù)
主導(dǎo)業(yè)務(wù)、
市場(chǎng)、用戶對(duì)互聯(lián)網(wǎng)產(chǎn)品需求越來(lái)越廣泛,需要你越來(lái)越個(gè)性化,越來(lái)越實(shí)時(shí)化。比如說(shuō)廣告,現(xiàn)在我們廣告客戶想要看剛剛前一分鐘的投放效果,如果效果沒(méi)有達(dá)到預(yù)期,我們就可以根據(jù)實(shí)時(shí)計(jì)算,對(duì)后面的營(yíng)銷策略做出及時(shí)地調(diào)整。比如說(shuō)“雙十一”的促銷活動(dòng),它就一天。如果當(dāng)天的營(yíng)銷策略錯(cuò)了,那么前期所有的準(zhǔn)備就白費(fèi)了,一年就玩進(jìn)去了。
因此要有“業(yè)務(wù)”才有大數(shù)據(jù)運(yùn)營(yíng),所有應(yīng)用都必須基于業(yè)務(wù)需求來(lái)建立。
技術(shù)、人才儲(chǔ)備
2016年Hays亞洲薪酬指南指出,中國(guó)市場(chǎng)對(duì)“大數(shù)據(jù)”工程師和數(shù)據(jù)分析師的需求很高。全球著名管理咨詢公司麥肯錫發(fā)布的“中國(guó)數(shù)字轉(zhuǎn)型”報(bào)告也支持了這一說(shuō)法,報(bào)告指出:“企業(yè)即將面臨人才短缺的局面,特別是大數(shù)據(jù)及高級(jí)分析相關(guān)的一些高度專業(yè)化的職位。”
保持行業(yè)交流、與時(shí)俱進(jìn)
有溝通才有成長(zhǎng)和進(jìn)步,誰(shuí)都不想做井底之蛙。最好的學(xué)習(xí)方式就是聆聽(tīng)加實(shí)踐,不論是個(gè)人還是企業(yè),更多的需要分享和不斷學(xué)習(xí)。
本次線下交流主要內(nèi)容
主題:技術(shù)實(shí)踐釋放大數(shù)據(jù)價(jià)值
時(shí)間:2016年7月14日下午
地點(diǎn):成都世紀(jì)城國(guó)際會(huì)議中心6層金桂廳
一、 組織機(jī)構(gòu):
指導(dǎo)單位(擬):工業(yè)和信息化部
四川省人民政府
主辦單位:中國(guó)大數(shù)據(jù)專家委員會(huì)
中國(guó)電子信息產(chǎn)業(yè)集團(tuán)有限公司
中國(guó)電子學(xué)會(huì)
四川省經(jīng)濟(jì)和信息化委員會(huì)
成都市人民政府
承辦單位:中國(guó)電子學(xué)會(huì)科技交流與國(guó)際合作中心
大數(shù)據(jù)核心技術(shù)論壇
主要議題:
• 大數(shù)據(jù)開(kāi)放的技術(shù)
• 大數(shù)據(jù)質(zhì)量提升
• 大數(shù)據(jù)價(jià)值重塑
三、 會(huì)議日程:
時(shí)間 7月14日下午 演講題目 嘉賓姓名和職務(wù)
*會(huì)議日程以現(xiàn)場(chǎng)為準(zhǔn),組委會(huì)保留最終解釋權(quán)