【精彩回顾】第二十期CXO直播:企业级日志分析新视角

2019-08-08 10:38:38

来源:CIO时代网

      2019年8月6日下午,第二十期CXO直播间如期开播。本次直播主题为“企业级日志分析新视角”,由日志易技术总监王刚为大家分享一些关于日志分析方面的心得。
 
\
直播合影
 
      2017年6月1日,《中华人民共和国网络安全法》正式实施,对业务系统安全审计提出了新的要求。按照新法规的要求,传统的运维做法及日志分析方式,难以满足合规要求且在运维、安全、存储日志性能等方面存在诸多弊端。网络安全无小事,为什么通过法律的途径制作这种规定,针对新规王总指出日志的几种价值,一、回溯取证;二、实时监控;三、可制作出可视化分析报表。所以无论IT还是业务部门,日志数据对其都具备不可或缺的作用。
     
      近几年,云计算、大数据及AI等趋势及关键技术的不断升级,日志在其领域的技术从过往到现在经历了4个阶段,第一个阶段是最原始的阶段即1.0,数据存储在MySQL里,适合数百台网络设备、主机的syslog收集,每台每秒10条左右的频率;2.0阶段数据存储在Hadoop里,适合数百TB以上,MapReduce任务运行按小时计的长期计算任务;3.0阶段存储在实时搜索引擎里,适合无固定规则的毫秒至秒级别的查询统计任务;现在我们比较火的,智能运维、智能机器学习是4.0阶段。
 
      针对日志数据处理及发展的过程中遇到的共性特点,王总总结出六点:
1.单: 很多企业的业务系统之间是相互独立的,流水号、订单号没办法相互关联;跨业务系统的日志记录分散孤立,难以做出关联分析;
2.散:百GB甚至TB级别的日志量分布在数百台服务器上,包含数据分布不均的情况;
3.繁:日志种类多,排查一个问题也要针对多种不同格式的日志,一次次重定向文件,这种情况对运维人员而言是个“大灾难”;
4.慢:日志系统没有实现实时的日志监控告警,一旦出现问题,不能及时发现问题,同时日志排障时间消耗很长的时间;
5.难:业务系统多,日志量大,每年都在增加,同时系统间的复杂性强,难以实现联动分析,日志价值无法及时得到挖掘;
6.险:日志体系建设不健全,企业日志管理方面面临主机操作风险、敏感信息泄露等安全隐患。这些隐患犹如地雷一般,一招不慎就会引爆。
 
      基于这六个共性特点,王总通过案例演示指出看日志可以从两方面着手,即内在属性和外在属性。内在属性可从时间戳、字段、字段命名等日志内容本身所具备的信息内容的角度,对日志进行分析。外在属性可从来源、归属分类、资产信息等维度来分析。

      伴随新的支付方式出现,近年来移动支付蓬勃发展,如何分析、利用海量交易数据,已成为当前支付企业面对的巨大难题。日志作为数据的载体,蕴含着丰富的信息,传统的日志分析方式低效而固化,无法应对数据体量大、格式不统一、增长速度快的现状,在交易出现异常及失败时,更难以满足实时处理、快速响应的需求。

      王总引用“知己知彼百战百胜”这古一句回应要解决目前面临的问题,可先从以下视角来对日志进行多维度梳理:
1、日志来源维度:将我们手中的日志依次分为操作系统日志、网络安全设备日志、业务系统日志、数据库日志等种类。
2、日志需求维度:明确我们对于日志最为迫切的需求,可以参考日志审计、监控告警、业务统计、关联模型、报表分析、智能运维、安全分析等方面。
3、多样性维度:掌握自己日志是存在编码多样性、多行合并、交叉打印、目录嵌套、日志冗长、快速切分、格式繁多等情况。

从上述维度加以梳理,借助日志工具将会大大降低日志分析系统建设的难度。

本期活动的精彩视频回放已经同步到CIO时代公众号与CIO时代APP,错过直播的朋友们,也欢迎大家观看回放。
 

CIO时代培训产品手册