数据分析方法分享
数据分析方法分享
2016-05-16 17:22:51 来源：36大数据
抢沙发
2016-05-16 17:22:51 来源：36大数据
摘要：像一场战役的总指挥影响着整个战役的胜败一样，数据分析师的思想对于整体分析思路，甚至分析结果都有着关键性的作用。
关键词：
大数据
7 变量分析方法选取
8 数据挖掘分析
按挖掘方法分类：包括统计方法、机器学习方法、神经网络方法和数据库方法。
其中：
1)统计方法可分为：判别分析(贝叶斯判别、费谢尔判别、非参数判别等)，聚类分析(系统聚类、动态聚类等)，探索性分析(主成分分析等)等。
2)机器学习方法可分为：归纳学习方法(决策树、规则归纳等)，基于范例学习，遗传算法等。
3)神经网络方法可分为：前向神经网络(BP算法等)，自组织神经网络(自组织特征映射、竞争学习等)。
4)数据库方法分为：多维数据分析和OLAP技术，此外还有面向属性的归纳方法。
关联规则：关联规则反映一个事物与其他事物之间的相互依存性和关联性，如果两个事物或者多个事物之间存在一定的关联关系，那么其中一个事物就能够通过其他事物预测到。
9 选取分析所需的相关数据
10 数据质量的评估
在现实社会中，存在着大量的“脏数据”：
不完整性(数据结构的设计人员、数据采集设备和数据录入人员)：
1)缺少感兴趣的属性
2)感兴趣的属性缺少部分属性值
3)仅仅包含聚合数据，没有详细数据
噪音数据(采集数据的设备、数据录入人员、数据传输)：
1)数据中包含错误的信息
2)存在着部分偏离期望值的孤立点
不一致性(数据结构的设计人员、数据录入人员)：
1)数据结构的不一致性
2)Label的不一致性
3)数据值的不一致性
数据类型冲突：
1)性别：string(Male、Female)、Char(M、F)、Integer(0、1)
2)日期：Date、DateTime、Sting
数据标签冲突：解决同名异义、异名同义：
学生成绩、分数
度量单位冲突：
1)学生成绩
a.百分制：100~0
b.五分制：A、B、C、D、E
c.字符表示：优、良、及格、不及格
概念不清：
最近交易额：前一个小时、昨天、本周、本月
聚焦冲突：根源在于表结构的设计
11 数据的清洗处理
主要任务：
补充缺失数据
识别孤立点
处理不一致的数据
处理方法：
分箱(Binning)的方法：
聚类方法：检测并消除异常点
线性回归：对不符合回归的数据进行平滑处理
人机结合共同检测：由计算机检测可疑的点，然后由用户确认
12 怎样将分析的结果呈现出来
指标分析与政策分析并重
反映重点问题、实事求是
材料、数据要真实，论据要有说服力
切记：
分析角度：缺乏分析中心思想或主干线
文字表达：“一图二表三文字”
逻辑结构：论点、论据、论证
13 分析结果呈现基本原则
数据分析结果呈现准备工作：
确定表达的主题：
使用图形的目的：
将思想和观点形象化地表达，加深读者或听众的印象
使用图标时，必须明确通过图表要表达的信息是什么
确定对比关系：
同一类别不同项目间的对比
不同类别不同项目间的对比
时间对比：把时间作为项目分类的标准
频率对比：以部分占整体的百分比为项目分类的标准
相关性对比：按照项目之间的函数关系作为项目分类的标准
其他对比：逻辑关系的对比(因果、时间序列……)
选择图形：
饼图;柱状图;线形图;雷达图;面积图;点图;气泡图;矩阵图;逻辑图……
14 如何用图来表示数据
选择图表的方法可以参照我们往期的文章：
信息可视化图表设计
15常见的分析模式
内容决定形式、形式服务于内容，当形式经过时间考验被普遍接受后就固化成一种模式。
分析报告的模式主要包括：
金字塔式
综合式
三步曲
专题式
通报
简报式
工作汇报式
16 分析总结及建议措施
建议措施分类：业务层面;数据挖掘
17 实施效果评估及报告整理
1)营销活动效果反馈数据，分析对于问题的解决程度
活动历史响应数据的积累;
活动流程固化;
2)业务模型优化提升
对比组，显示模型本身的优越性;
营销活动数据对于模型的提升情况。
第四十一届CIO班招生
国际CIO认证培训
首席数据官（CDO）认证培训
责编：pingxiaoli
免责声明：本网站（http://www.ciotimes.com/）内容主要来自原创、合作媒体供稿和第三方投稿，凡在本网站出现的信息，均仅供参考。本网站将尽力确保所提供信息的准确性及可靠性，但不保证有关资料的准确性及可靠性，读者在使用前请进一步核实，并对任何自主决定的行为负责。本网站对有关资料所引致的错误、不确或遗漏，概不负任何法律责任。
本网站刊载的所有内容（包括但不仅限文字、图片、LOGO、音频、视频、软件、程序等）版权归原作者所有。任何单位或个人认为本网站中的内容可能涉嫌侵犯其知识产权或存在不实内容时，请及时通知本站，予以删除。
