目前保險(xiǎn)行業(yè)伴隨著社會(huì)意識(shí)形態(tài)、客觀經(jīng)濟(jì)發(fā)展在逐步壯大。隨著保險(xiǎn)業(yè)務(wù)規(guī)模的不斷擴(kuò)大、業(yè)務(wù)信息系統(tǒng)的不斷增加、提供服務(wù)的硬件設(shè)備的不斷增加，每家保險(xiǎn)公司系統(tǒng)運(yùn)維面臨的壓力也越來越大。
作為系統(tǒng)運(yùn)維的主要參考源數(shù)據(jù)──日志信息，無論從類型、還是數(shù)據(jù)量來看，都呈現(xiàn)出了爆炸式增長(zhǎng)的趨勢(shì)。傳統(tǒng)的日志管理平臺(tái)已經(jīng)難以處理海量的日志數(shù)據(jù)，更難以基于這些日志數(shù)據(jù)做相關(guān)的統(tǒng)計(jì)分析，日志數(shù)據(jù)的價(jià)值無法被挖掘變現(xiàn)。鑒于上述原因，我們推出了基于大數(shù)據(jù)技術(shù)的日志管理解決方案。
基于大數(shù)據(jù)技術(shù)的日志管理平臺(tái)，包括日志數(shù)據(jù)的采集、日志索引數(shù)據(jù)的建立、海量日志數(shù)據(jù)的存儲(chǔ)、統(tǒng)計(jì)、分析、挖掘，實(shí)時(shí)日志數(shù)據(jù)的計(jì)算及展示，支持系統(tǒng)運(yùn)維過程中產(chǎn)生的幾乎所有主要日志信息，包括服務(wù)器、安全設(shè)備、網(wǎng)絡(luò)設(shè)備、中間件、數(shù)據(jù)庫(kù)、應(yīng)用系統(tǒng)的日志，全面覆蓋了運(yùn)維過程中對(duì)日志的查詢、實(shí)時(shí)監(jiān)控預(yù)警、報(bào)表統(tǒng)計(jì)分析、數(shù)據(jù)聚合挖掘等主要操作。平臺(tái)綜合采用了多種大數(shù)據(jù)技術(shù)組件，數(shù)據(jù)采集端使用Flume及Kafka，日志檢索使用的ElasticSearch組件，實(shí)時(shí)流處理主要采用Storm，存儲(chǔ)、分析主要采用HDFS、Hive、Spark等組件，整個(gè)平臺(tái)具有分布式、高可靠、高可用性特點(diǎn)。
基于大數(shù)據(jù)技術(shù)的保險(xiǎn)行業(yè)日志管理平臺(tái)，無論從支持的數(shù)據(jù)量、數(shù)據(jù)類型、采集能力、處理能力、分析能力等方面，都全面超越了傳統(tǒng)的日志管理平臺(tái)，極大提升了系統(tǒng)運(yùn)維的能力，減輕了運(yùn)維壓力，實(shí)現(xiàn)日志數(shù)據(jù)增值：
打破日志信息孤島
通過實(shí)時(shí)、批量的采集不同類型的日志信息，進(jìn)而存儲(chǔ)到統(tǒng)一的大數(shù)據(jù)平臺(tái)中，完成各類型日志數(shù)據(jù)的統(tǒng)一管理；
提升實(shí)時(shí)預(yù)警預(yù)測(cè)能力
運(yùn)用實(shí)時(shí)流式數(shù)據(jù)處理技術(shù)，在日志數(shù)據(jù)實(shí)時(shí)產(chǎn)生的過程中，通過特定算法規(guī)則，實(shí)時(shí)計(jì)算出重點(diǎn)關(guān)注的日志項(xiàng)結(jié)果，實(shí)現(xiàn)系統(tǒng)的實(shí)時(shí)預(yù)警預(yù)測(cè)能力；
挖掘日志信息潛在價(jià)值
通過對(duì)海量的日志數(shù)據(jù)進(jìn)行關(guān)聯(lián)、聚合、分析，挖掘出日志數(shù)據(jù)中有價(jià)值的信息點(diǎn)，用來指導(dǎo)運(yùn)維及業(yè)務(wù)系統(tǒng)，實(shí)現(xiàn)日志數(shù)據(jù)的增值。
為了更好的體驗(yàn)，請(qǐng)使用豎屏瀏覽
合作伙伴
