首頁|必讀|視頻|專訪|運營|制造|監(jiān)管|大數(shù)據(jù)|物聯(lián)網(wǎng)|量子|元宇宙|博客|特約記者
手機|互聯(lián)網(wǎng)|IT|5G|光通信|人工智能|云計算|芯片報告|智慧城市|移動互聯(lián)網(wǎng)|會展
首頁 >> 大數(shù)據(jù) >> 正文

EMR重磅發(fā)布智能運維診斷系統(tǒng)(EMR Doctor)——開源大數(shù)據(jù)平臺運維利器

2022年9月20日 12:02  CCTIME飛象網(wǎng)  

簡介:E-MapReduce 推出面向開源大數(shù)據(jù)集群的智能運維診斷系統(tǒng) E-MapReduce Doctor,有效提升大數(shù)據(jù)集群運維效率,輔助 EMR 用戶完善集群監(jiān)控體系。

大數(shù)據(jù)運維的挑戰(zhàn)—如何保證集群穩(wěn)定與運行效率

企業(yè)級大數(shù)據(jù)集群通常擁有海量的數(shù)據(jù)存儲、日常運算成干上萬的計算任務,需要滿足各類上層業(yè)務的計算需求。對于這類集群的運維往往充滿著挑戰(zhàn):海量的數(shù)據(jù)、龐雜的組件以及組件之間復雜的依賴關系、對于時效要求的的運算任務,都會提升運維難度。作為支撐平臺,大數(shù)據(jù)集群的穩(wěn)定性和運行效率,會直接影響到公司業(yè)務的正常運作和發(fā)展。

集群管理員往往對整體集群做好了監(jiān)控運維體系,對于大數(shù)據(jù)集群,簡單的監(jiān)控運維體系能夠幫助管理員在遇到故障的時候定位問題。但對于整體集群的運行效率,集群的狀態(tài),通過單純的監(jiān)控指標很難給出一個全面的解答。

對于大數(shù)據(jù)集群,管理員以及 CIO 等更關注以下的內容:

● 集群內的節(jié)點的運行狀態(tài)和資源使用狀況;

● 運行在集群上的服務組件的狀態(tài)監(jiān)控和異常處理,包括 YARN、HDFS、Hive 和 Spark 等;

● 計算任務運行情況和執(zhí)行效率;

● 整體集群的健康程度和如何改進。

面對運維挑戰(zhàn),EMR重磅推出:智能運維診斷系統(tǒng)(EMR Doctor)

為了提升大數(shù)據(jù)集群運維效率,輔助 EMR 用戶完善集群監(jiān)控體系。E-MapReduce 推出面向開源大數(shù)據(jù)集群的智能運維診斷系統(tǒng) E-MapReduce Doctor(簡稱EMR Doctor)。 EMR Doctor 作為開源大數(shù)據(jù)集群的管家,會自動每日巡檢集群。集群管理員只需要定期查看健康檢查報告,并且根據(jù)報告中的建議對集群做相應的優(yōu)化調整,即可全局了解集群的健康狀況和動態(tài)走勢,并保持集群的健康度。

如何使用 EMR Doctor

進入 EMR 控制臺健康檢查頁面。

 登錄 EMR on ECS 控制臺。

 在頂部菜單欄處,根據(jù)實際情況選擇地域和資源組。

 在集群管理頁面,單擊目標集群的集群ID。

 單擊上方的健康檢查頁簽。

在健康檢查頁面,您可以看到當前集群的健康檢查報告(T+1)。健康狀態(tài)列顯示了該集群的健康度,您可以點擊查看報告進入檢查報告頁面。

健康檢查報告中包含集群計算資源的總體分析

健康檢查報告中包含計算任務從各個維度的排名并給出任務調優(yōu)建議

健康檢查報告中包含對集群存儲的總體分析,以及大小文件和冷熱數(shù)據(jù)的詳細分析

健康檢查報告主要分析內容如下,更詳細說明請參見查看健康檢查狀態(tài)和報告

計算資源分析

概述

狀態(tài)概述

需要關注的問題

計算基礎信息

集群計算評分

集群算力內存時

集群算力CPU時

計算引擎內存算力時

計算任務信息

計算任務算力內存時分析

計算任務評分排行榜

Spark

Spark任務算力分析及調優(yōu)建議

Tez

Tez任務算力分析及調優(yōu)建議

MapReduce

MapReduce任務算力分析及調優(yōu)建議

HDFS存儲資源分析

(需開啟存儲資源信息采集開關)

概述

狀態(tài)概述

需要關注的問題

HDFS基礎信息

HDFS存儲資源使用趨勢

文件總數(shù)隨時間變化趨勢

評分趨勢

HDFS文件大小分布

HDFS文件大小比例

一級目錄空文件個數(shù)Top10

一級目錄極小文件個數(shù)Top10

一級目錄小文件個數(shù)Top10

一級目錄中等文件個數(shù)Top10

一級目錄大文件個數(shù)Top10

HDFS冷熱數(shù)據(jù)分布

HDFS冷熱數(shù)據(jù)

一級目錄極冷數(shù)據(jù)大小Top10

一級目錄冷數(shù)據(jù)大小Top10

一級目錄溫數(shù)據(jù)大小Top10

一級目錄熱數(shù)據(jù)大小Top10

HIVE存儲資源分析

(需開啟存儲資源信息采集開關)

概述

狀態(tài)概述

需要關注的問題

Hive基礎信息

存儲趨勢

文件數(shù)量趨勢

評分趨勢

Hive庫信息

庫存儲排名

庫文件總數(shù)排名

庫評分

Hive表文件大小分布

Hive表文件大小分布比例

Hive表空文件個數(shù)Top10

Hive表極小文件個數(shù)Top10

Hive表小文件個數(shù)Top10

Hive中等文件個數(shù)Top10

Hive大文件個數(shù)Top10

Hive冷熱數(shù)據(jù)分布

Hive冷熱數(shù)據(jù)分布

Hive表極冷數(shù)據(jù)大小Top10

Hive表冷數(shù)據(jù)大小Top10

Hive表溫數(shù)據(jù)大小Top10

Hive表熱數(shù)據(jù)大小Top10

Hive表存儲格式分布

Hive表存儲格式分布

Hive表TextFile/Parquet/ORC格式文件分析

編 輯:T01
聲明:刊載本文目的在于傳播更多行業(yè)信息,本站只提供參考并不構成任何投資及應用建議。如網(wǎng)站內容涉及作品版權和其它問題,請在30日內與本網(wǎng)聯(lián)系,我們將在第一時間刪除內容。本站聯(lián)系電話為86-010-87765777,郵件后綴為#cctime.com,冒充本站員工以任何其他聯(lián)系方式,進行的“內容核實”、“商務聯(lián)系”等行為,均不能代表本站。本站擁有對此聲明的最終解釋權。
相關新聞              
 
人物
工信部張云明:大部分國家新劃分了中頻段6G頻譜資源
精彩專題
專題丨“汛”速出動 共筑信息保障堤壩
2023MWC上海世界移動通信大會
中國5G商用四周年
2023年中國國際信息通信展覽會
CCTIME推薦
關于我們 | 廣告報價 | 聯(lián)系我們 | 隱私聲明 | 本站地圖
CCTIME飛象網(wǎng) CopyRight © 2007-2024 By CCTIME.COM
京ICP備08004280號-1  電信與信息服務業(yè)務經(jīng)營許可證080234號 京公網(wǎng)安備110105000771號
公司名稱: 北京飛象互動文化傳媒有限公司
未經(jīng)書面許可,禁止轉載、摘編、復制、鏡像