首頁-基礎設施支撐- 大數據日志收集及智能分析

背景描述
 
隨著企業信息化的長期發展和建設,在每個成熟領域均出現了大量的應用系統,信息化系統已經成為企業的命脈,是企業生成和發展密不可分的一部分,要求的業務聯系性要求越來越高、故障回復時間越來越短,尤其伴隨互聯網業務的發展,對系統異常的容忍度越來越低,這就要求IT部門從上層的業務應用到底層的基礎設施都要做到全面的掌控,并能夠及時的發現和解決問題。系統運行狀態和告警信息都是通過系統的運行日志承載的,眾多系統每天會生成海量的日志數據。
 
由于日志本身的海量和重復特性,導致傳統方式管理的日志可用性極低,各企業將大量的日志信息遺棄或進行回檔入庫,并不能在實際的應用系統管理過程中充分發揮其價值,反而成為了一種負擔。究其原因主要包含以下幾點:
 

  • ?日志記錄中存在大量重復數據,真正直接使用的有效數據很少;
  • ?海量的日志記錄導致數據提煉異常困難;
  • ?日志記錄方式不規范、日志格式不統一,整合困難;
  • ?缺乏行之有效的分析方法和手段,不能真正的發掘日志數據價值;
  • ?日志記錄分析維度單一,無法建議日志間的關聯關系,無法構建成一個有機的整體;
  • ?日志數據的存儲和日常維護成本過高。

 
大數據技術的發展日漸成熟,無論在計算能力和存儲能力上都有了長足的進步,也給日志收集及分析發掘帶來了新的契機,基于大數據平臺的日志統一收集和分析管理平臺應運而生,真正的將日志數據的價值充分的發掘出來,在智能化運維、容量規劃、趨勢預警、客戶體驗、應用系統優化等方面均發揮出巨大價值。
 
解決方案
 
基于大數據平臺技術構建統一的應用系統日志數據集市,充分利用大數據平臺特性將企業內眾多格式多樣和不統一的日志數據源全部進行采集,并集中存儲于大數據平臺,包括:系統日志、網絡日志、安全日志、應用系統運行日志、操作行為日志等等。
 
數據處理按照日志數據本身的特性和管理需要進行實時和非實時的數據處理方式,實現對海量歷史數據的和實時數據的分析,協助系統管理人員實現對應用系統運行過程中出現的各種問題的敏捷洞察,快速定位及排障,并能夠通過對歷史數據的演變過程及時發現未來可能出現的異常狀況。
 
通過聚類、回歸分析、關聯規則、神經網絡等算法實現對海量日志數據的分析可視化和深度挖掘,、完成對應用系統全面監控、預警、故障溯源、統計分析等功能。充分利用機器學習和人工智能分析方法,實現對應用系統運行的趨勢分析,在容量規劃、性能優化、客戶滿意度等方面全面發力,提升IT部門的運維管理能力,提升企業信息化管理水平。
 
系統架構
 

基礎數據平臺基于大數據平臺框架,在深度學習、人工智能算法、分布式日子服務等方面提供基礎功能模塊支撐。
 
在日志采集模塊針對各類應用系統通過可延展的日志采集服務、從日志源采集日志。用戶只需配置源地址、目的地址、收集規則等簡單配置即可實現日志的高可靠、高可用采集。
 
采集到的日志通過日志處理模塊,通過日志接入消息服務Kafka作為消息隊列傳遞給Spark Cluster對日志數據進行計算處理,按照日志數據的采集時間分為熱數據(7~30天)、溫數據(30~90天)和冷數據(90天以上),分別、將處理后的數據寫入到ElasticSearch Cluster、Hive、HDFS中進行保存。
 
日志分析模塊首先通過日志數據治理模塊對數據進行清洗、規則校驗在通過高速分析引擎對日志數據進行各類分析模型進行關聯分析、故障分析、容量分析、業務支撐分析等。
 
在應用與展示模塊,通過數據可視化展示模塊將告警信息、趨勢信息等各種KPI指標進行集中呈現。
 
方案價值
 

  • 充分發掘數據價值

全面收集企業日志數據,通過關聯、聚類等算法對海量日志數據進行分析挖掘,全面提升數據的可用性、易用性。
 

  • 提高工作效率

對系統層、網絡層、應用層等各層級的日志數據進行采集,實現了全方位日志統一管理,支持對各種精確和模糊查詢;根據運維規范和業務管理規范形成了多維度的數據分析,對已知關注的KPI指標進行直接的呈現。
 

  • 全面的數據可視化

提供故障分析、業務鏈路分析、安全評估分析、容量規劃分析、趨勢預警分析等各類直觀的可視化圖表,各種情況直觀呈現,極大提升管理效率。
 

  • 提升運營管理能力

通過對日志數據的管理和挖掘,發揮其最大價值,并可以根據實際使用情況不斷演進,合理制定企業IT發展戰略。

新疆喜乐彩怎么玩 重庆快乐10分app 幸运农场玩法说明 _真人百家乐 送9元棋牌? 炒股融资平台 太仓1号股票配资网 天津地方快乐十分走势图 捕鱼来了cdkey在哪领取 武昌鱼股票 贵州快3开结果今天