2019年8月6日下午，第二十期CXO直播间如期开播。本次直播主题为"企业级日志分析新视角"，由日志易技术总监王刚为大家分享一些关于日志分析方面的心得。

直播合影

 

　　2017年6月1日，《中华人民共和国网络安全法》正式实施，对业务系统安全审计提出了新的要求。按照新法规的要求，传统的运维做法及日志分析方式，难以满足合规要求且在运维、安全、存储日志性能等方面存在诸多弊端。网络安全无小事，为什么通过法律的途径作出这种规定，针对新规，王总指出日志的几种价值，一、回溯取证；二、实时监控；三、制作可视化分析报表。所以无论IT还是业务部门，日志数据对其都有特殊的价值。

 

　　近几年，随着云计算、大数据及AI等趋势及关键技术的不断升级，日志分析技术从过往到现在经历了4个阶段，第一个阶段是最原始的阶段即1.0，数据存储在数据库（如MySQL）里，适合数百台网络设备、主机的Syslog收集，每台每秒10条左右的频率；2.0阶段数据存储在Hadoop里，适合数百TB以上，MapReduce任务运行按小时计的长期计算任务；3.0阶段数据存储在实时搜索引擎里，适合无固定规则的，毫秒至秒级别的查询统计任务；现在比较火的智能运维、智能机器学习是4.0阶段。

 

　　针对日志数据处理及发展过程中遇到的共性特点，王总总结出六点：

 

　　1.单： 很多企业的业务系统之间是相互独立的，流水号、订单号没办法相互关联；跨业务系统的日志记录分散孤立，难以做出关联分析；

 

　　2.散：数百GB甚至TB级别的日志量分布在数百台服务器上，包含数据分布不均的情况；

 

　　3.繁：日志种类多，排查一个问题也要针对多种不同格式的日志，一次次重定向文件，这种情况对运维人员而言是个"大灾难"；

 

　　4.慢：日志系统没有实现实时的日志监控告警，一旦出现问题，不能及时发现问题，同时日志排障消耗很长的时间；

 

　　5.难：业务系统多，日志量大，每年都在增加，同时系统间的关联复杂性强，难以实现联动分析，日志价值无法及时得到挖掘；

 

　　6.险：日志体系建设不健全，企业日志管理方面面临主机操作风险、敏感信息泄露等安全隐患。这些隐患犹如地雷一般，一招不慎就会引爆。

 

　　基于这六个共性特点，王总通过案例演示指出看日志可以从两方面着手，即内在属性和外在属性。内在属性可从时间戳、字段、字段命名等日志内容本身所具备的信息内容的角度，对日志进行分析。外在属性可从来源、归属分类、资产信息等维度来分析。

 

　　伴随新的支付方式出现，近年来移动支付蓬勃发展，如何分析、利用海量交易数据，已成为当前支付企业面对的巨大难题。日志作为数据的载体，蕴含着丰富的信息，传统的日志分析方式低效而固化，无法应对数据体量大、格式不统一、增长速度快的现状，在交易出现异常及失败时，更难以满足实时处理、快速响应的需求。

 

　　王总引用"知己知彼百战百胜"这一古句回应要解决目前面临的问题，可先从如下视角来对日志进行多维度梳理：

 

　　1、日志来源维度：将我们手中的日志依次分为操作系统日志、网络安全设备日志、业务系统日志、数据库日志等种类。

 

　　2、日志需求维度：明确我们对于日志最为迫切的需求，可以参考日志审计、监控告警、业务统计、关联模型、报表分析、智能运维、安全分析等方面。

 

　　3、多样性维度：掌握自己日志是存在编码多样性、多行合并、交叉打印、目录嵌套、日志冗长、快速切分、格式繁多等情况。

 

　　从上述维度加以梳理，借助日志工具将会大大降低日志分析系统建设的难度。

 

　　本期活动的精彩视频回放已经同步到CIO时代公众号与CIO时代APP，错过直播的朋友们，也欢迎大家观看回放。