(本文全文轉(zhuǎn)自雷鋒網(wǎng)，原標(biāo)題：AI是重要賣(mài)點(diǎn) 京東技術(shù)團(tuán)隊(duì)講解雙十一攻堅(jiān)戰(zhàn))
在臨近今年雙十一還有兩個(gè)周的時(shí)間點(diǎn)，京東團(tuán)隊(duì)從技術(shù)角度，詳解了如何打好618、準(zhǔn)備雙十一的攻堅(jiān)戰(zhàn)。
技術(shù)加持大促
京東商城首席架構(gòu)師劉海峰表示，每年的“大促”，都是研發(fā)的一場(chǎng)重要的考試，確保系統(tǒng)安全性。他主要從四個(gè)方面來(lái)介紹了大促備戰(zhàn)，可以分4個(gè)項(xiàng)目來(lái)介紹ForceBot軍演壓測(cè)、Chaos Monkey 故障演練、廣域分部架構(gòu)、阿基米德，通過(guò)這些項(xiàng)目展示了對(duì)故障、流量、擴(kuò)展、成本的應(yīng)對(duì)。
第一，讓京東技術(shù)系統(tǒng)能夠確保0故障。
劉海峰表示，為了檢驗(yàn)技術(shù)系統(tǒng)的穩(wěn)定性，確保系統(tǒng)在硬件與服務(wù)出問(wèn)題時(shí)不影響用戶(hù)體驗(yàn)，京東研發(fā)團(tuán)隊(duì)開(kāi)發(fā)出一套名叫ChaosMonkey的系統(tǒng)，專(zhuān)門(mén)應(yīng)用于京東做大規(guī)模的故障演練�？梢哉f(shuō)，故障演練是京東過(guò)去幾年大促中的例行工作。
根據(jù)故障類(lèi)型從網(wǎng)絡(luò)層面、系統(tǒng)層面、數(shù)據(jù)庫(kù)和中間件，甚至到應(yīng)用服務(wù)的層面，去做各種各樣的故障模擬和驗(yàn)證。來(lái)考察各級(jí)力度發(fā)生的時(shí)候，我們整個(gè)基礎(chǔ)團(tuán)隊(duì)的檢測(cè)、響應(yīng)、處理還有恢復(fù)的時(shí)間。我們要求小的故障不需要人介入，大故障人工介入可以快速完成。通過(guò)整個(gè)這樣的工作，在大促之前的兩個(gè)月期間密集的來(lái)開(kāi)展，提高我們對(duì)大規(guī)模故障的容錯(cuò)能力。
第二，所謂流量，即是通過(guò)ForceBot軍演壓測(cè)，確保有較強(qiáng)的技術(shù)能力能夠扛住大促峰值來(lái)臨時(shí)的巨量流量沖擊。
每年雙11與618當(dāng)夜零點(diǎn)，瞬間流量是很大的，為了應(yīng)對(duì)此間流量高潮，京東技術(shù)團(tuán)隊(duì)需要提前做大量壓測(cè)工作。早期，所有壓測(cè)都局限某一個(gè)系統(tǒng)或者某一個(gè)鏈條里面。但是，劉海峰表示，這樣做會(huì)有缺陷，它不能很好地檢驗(yàn)全鏈條系統(tǒng)，這些對(duì)大促來(lái)講都是最關(guān)鍵的。
2016年10月左右，京東集團(tuán)團(tuán)隊(duì)開(kāi)始設(shè)計(jì)一個(gè)新一套的軍演機(jī)器人，F(xiàn)orceBot，如模擬一千萬(wàn)個(gè)用戶(hù)在全國(guó)各地同時(shí)部署于京東節(jié)點(diǎn)，在真實(shí)流量的情況下，機(jī)器人通過(guò)程序發(fā)起大的流量進(jìn)行全鏈的壓測(cè)，發(fā)起上億的瀏覽、搜索、加購(gòu)物車(chē)、下單等等并發(fā)任務(wù)。通過(guò)寫(xiě)程序模擬人的行為——發(fā)起上億的瀏覽、選商品、加購(gòu)物車(chē)、下單等，實(shí)現(xiàn)，整個(gè)全鏈路聯(lián)動(dòng)的壓測(cè)。
于是，從2016年雙11開(kāi)始，單機(jī)房的軍演壓測(cè)成為大促之前最關(guān)鍵的工作。劉海峰表示，今年618備戰(zhàn)期間，團(tuán)隊(duì)進(jìn)行了四次全鏈路的軍演壓測(cè)，通過(guò)單機(jī)房的軍演壓測(cè)成為系統(tǒng)優(yōu)化以及資源評(píng)估、分配的重要依據(jù)。
第三，所謂擴(kuò)展，也是今年在做的廣域分部架構(gòu)，即在公司規(guī)模不斷擴(kuò)展、消費(fèi)者流量不斷增加的情況下，增加機(jī)器、新建機(jī)房，同時(shí)保證公司業(yè)務(wù)實(shí)現(xiàn)沒(méi)有上限地增長(zhǎng)下去。
京東的技術(shù)架構(gòu)經(jīng)歷了從JAVA到同城單機(jī)房到同城雙機(jī)房、最后到廣域分布式的過(guò)程。國(guó)內(nèi)的各個(gè)地域，包括華北、華南、華東均有不同的IDC，整體形成大數(shù)據(jù)中心，同時(shí)讓用戶(hù)流量就近接入，解決整體可擴(kuò)展性問(wèn)題，無(wú)論哪個(gè)區(qū)域出現(xiàn)問(wèn)題，都能實(shí)現(xiàn)靈活流量調(diào)度。劉海峰表示，這套過(guò)程名叫“異地多活”，不同公司、團(tuán)隊(duì)對(duì)它均有不同理解，京東的特殊性在于經(jīng)歷了完整的歷程。
第四，有效控制成本，在合理閾值內(nèi)搞大促。
隨著每年618與雙11業(yè)務(wù)增加、訪問(wèn)流量增大、投入資源增加，購(gòu)入的機(jī)器越來(lái)越多，機(jī)器成本已然非常高，怎樣既做好大促、同時(shí)合理控制成本，京東技術(shù)團(tuán)隊(duì)提出名為“阿基米德”的技術(shù)方法，具體來(lái)講是——
第一，做海量資源池的統(tǒng)一調(diào)度，特別是在線(xiàn)業(yè)務(wù)是京東主要大促的備戰(zhàn)服務(wù)，此外還有離線(xiàn)處理。技術(shù)團(tuán)隊(duì)將兩個(gè)資源池打通，做搶占式調(diào)度，然后做大規(guī)模超賣(mài)，進(jìn)一步提升資源利用率。
第二，做混合云，京東技術(shù)團(tuán)隊(duì)在大促期間租用一部分機(jī)器，比如京東云，也有可能是其他云服務(wù)合作伙伴，扛住大促流量。
AI的融入
在京東商城中臺(tái)研發(fā)高級(jí)總監(jiān)王曉鐘印象中，AI技術(shù)融入到京東每年618與雙11，并不是發(fā)生在某個(gè)具體節(jié)點(diǎn)，而是一種自發(fā)性的、百花齊放狀的。包括客服機(jī)器人、智能補(bǔ)貨、銷(xiāo)量預(yù)測(cè)、供應(yīng)鏈體系的優(yōu)化這些都是通過(guò)人工智能的技術(shù)來(lái)實(shí)現(xiàn)的。
具體來(lái)講，AI技術(shù)對(duì)大促的技術(shù)保障有哪些方面呢，王曉忠從兩點(diǎn)向雷鋒網(wǎng)介紹：
第一個(gè)，京東技術(shù)團(tuán)隊(duì)研發(fā)經(jīng)驗(yàn)機(jī)器人，進(jìn)行全鏈路故障演練，某種程度上來(lái)說(shuō)也是程序模擬人的行為，去模擬一個(gè)大的流量場(chǎng)景。
第二，大促期間，京東技術(shù)團(tuán)隊(duì)利用AI技術(shù)去更智能地服務(wù)一些客服任務(wù)。
今年京東雙十一較以往最大的不同，可以說(shuō)就是AI技術(shù)的運(yùn)用了。王曉鐘對(duì)雷鋒網(wǎng)解釋稱(chēng)，以線(xiàn)上流量監(jiān)控為例，做方案、降級(jí)、分流等任務(wù)，均是人工完成，今年已實(shí)現(xiàn)在監(jiān)控?cái)?shù)據(jù)詳實(shí)基礎(chǔ)上的半人工智能化，王曉鐘稱(chēng)，預(yù)計(jì)明年618與雙十一可以實(shí)現(xiàn)在很大程度上的全人工智能化。
容器系統(tǒng)上，京東做了四年之久：2014年8月第一代名為JDOS的容器平臺(tái)，最初定位不僅僅做容器，還做整個(gè)數(shù)據(jù)中心的OS，系一套大的集群管理系統(tǒng)。從2014年至2016年初，京東容器一直都是OPenStack的1.0系統(tǒng);從2016年初開(kāi)始，啟動(dòng)OPenStack 2.0系統(tǒng)，將線(xiàn)上幾十萬(wàn)核實(shí)現(xiàn)異地遷移，以實(shí)現(xiàn)更簡(jiǎn)單的運(yùn)維。
其次，劉海峰表示，團(tuán)隊(duì)在做更統(tǒng)一、更動(dòng)態(tài)的資源調(diào)度，不再是固定多少核，而是根據(jù)負(fù)載做大規(guī)模的統(tǒng)一調(diào)整。這個(gè)資源池不不僅限于在心業(yè)務(wù)的資源池，還有離線(xiàn)業(yè)務(wù)的資源池，讓它更有彈性。
具體而言，從經(jīng)濟(jì)效應(yīng)來(lái)說(shuō)，如果想讓集群管理更有經(jīng)濟(jì)價(jià)值，無(wú)非是兩方面的工作——超賣(mài)與強(qiáng)行調(diào)度。劉海峰表示，從2011年到現(xiàn)在，通過(guò)超賣(mài)技術(shù)節(jié)省了很多機(jī)器。今年大促京東也會(huì)廣泛地使用在線(xiàn)和離線(xiàn)的混合調(diào)度的方式，緩解大促時(shí)候的峰值的流量。
對(duì)于今年備戰(zhàn)雙十一，包括阿里、京東、蘇寧等電商平臺(tái)紛紛加碼人工智能、無(wú)人機(jī)、無(wú)人店等宣傳曝光，王曉鐘對(duì)雷鋒網(wǎng)(公眾號(hào)：雷鋒網(wǎng))表示，人工智能是在備戰(zhàn)中很重要的賣(mài)點(diǎn)，同時(shí)更是看得見(jiàn)、摸得著的很實(shí)在的東西。
