简介
本书强调了大数据的宝贵价值,介绍了常用的数据分析技术与方法,论述了大数据分析的思维特征,紧扣大数据的特点演示了可视化分析与可视化挖掘的方法,详细讨论了数据清洗与元数据管理,对大数据的风险予以充分揭示,同时提出了大数据风险管理的对策,对大数据治理作了简介。本书具有很强的实用性、可操作性和指导性,对于企业管理人员、企业数据分析人员、业务分析人员和市场营销人员,政府监管机构如证监会、银监局、保监会的监管人员,审计师、注册会计师,纪检监察和司法机关执纪执法人员有参考价值,同时可供高等院校相关专业的师生阅。
目录
第1章大数据是信息社会的宝贵资源1
1.1大数据产生的背景和概念1
1.2大数据的特征3
1.3大数据与传统数据的区别4
1.4大数据的价值和开发应用5
1.5大数据时代的新机遇和新挑战8
1.5.1依据大数据进行决策成为一种新的决策方式8
1.5.2大数据与各行业深度融合带来层出不穷的新应用8
1.5.3大数据推动新技术的不断涌现9
1.6本书的特定视野10
参考文献11第2章大数据应用分析12
2.1大数据的处理流程12
2.2大数据分析的概念14
2.3大数据分析的关键技术15
2.3.1云计算15
2.3.2数据分析方法16
2.3.3数据可视化17
2.4大数据分析工具介绍17
2.4.1Hadoop18
2.4.2R19
2.4.3Python19
2.4.4RapidMiner20
2.4.5Tableau20
2.5大数据分析示例——查处虚假出口贸易22
2.5.1案例概述22
2.5.2查询分析23
2.5.3可视化分析25
2.5.4分析小结27
参考文献30第3章常用数据分析与预测方法31
3.1方差分析31
3.1.1分析方法31
3.1.2示例介绍31
3.1.3示例分析33
3.1.4结果分析与总结35
3.2相关分析35
3.2.1分析方法35
3.2.2示例介绍36
3.2.3示例分析37
3.2.4结果分析与总结40
3.3回归分析40
3.3.1分析方法40
3.3.2示例介绍41
3.3.3示例分析41
3.3.4结果分析与总结42
3.4时间序列分析44
3.4.1平稳性检验44
3.4.2纯*性检验44
3.4.3适用性检测44
3.5聚类分析45
3.6可视化数据分析46
3.6.1常用的可视化数据展示方法47
3.6.2可视化分析示例51
3.7环境准备61
参考文献62第4章大数据分析的思维特征63
4.1大数据应用分析的实务框架63
4.1.1大数据应用分析的四个层面63
4.1.2四个层面的关系65
4.2大数据分析的特征发现65
4.2.1特征发现的案例66
4.2.2特征发现的概念73
4.3对数据的分类73
4.4特征发现的一般过程79
参考文献81第5章大数据的可视化分析82
5.1不良贷款分析82
5.1.1数据准备82
5.1.2各银行的不良贷款情况分析86
5.1.3各经济类型的企业的不良贷款情况分析95
5.1.4各类贷款的不良贷款情况分析99
5.2保险公司客户索赔分析103
5.2.1数据准备103
5.2.2数据分析104
参考文献119第6章可视化挖掘分析120
6.1挖掘分析在审计线索特征发现中的应用120
6.1.1案例背景120
6.1.2数据准备120
6.1.3聚类分析122
6.2挖掘分析在推荐系统中的应用131
6.2.1案例背景131
6.2.2数据准备131
6.2.3构建推荐系统132第7章大数据资源的元数据管理140
7.1元数据简介140
7.1.1元数据和对象数据140
7.1.2应用元数据管理技术的意义140
7.2著录对象分析142
7.2.1审计中间表142
7.2.2审计分析模型142
7.2.3审计专家经验143
7.2.4审计情景案例144
7.2.5被审计单位资料144
7.3元数据结构设计145
7.3.1审计中间表的元数据结构145
7.3.2审计分析模型的元数据结构146
7.3.3审计专家经验的元数据结构147
7.3.4审计情景案例的元数据结构149
7.3.5被审计单位资料的元数据结构150
7.4应用大数据审计分析数字信息元数据规范的扩展规则151
参考文献152第8章大数据分析的数据清洗153
8.1大数据清洗的基本概念153
8.1.1大数据清洗的基本架构153
8.1.2数据清洗的基本步骤154
8.2数据清洗157
8.2.1数据清洗的一些注意事项157
8.2.2常见的数据清洗158
参考文献163第9章大数据分析的风险与对策164
9.1大数据分析的风险及产生原因164
9.2大数据采集的风险165
9.3大数据处理与集成的风险167
9.4大数据分析的风险168
9.5大数据解释的风险168
9.6大数据的隐私和安全风险及其对策169
9.6.1大数据处理流程的隐私风险170
9.6.2大数据处理平台带来的安全和隐私风险172
9.6.3保护大数据隐私和安全的对策173
参考文献175第10章大数据治理简介177
10.1大数据治理的必要性177
10.2大数据治理的概念178
10.3大数据治理的核心内容180
10.4案例181
10.4.1工作思路182
10.4.2数据真实性的验证方法182
10.4.3数据完整性的验证186
参考文献187附录ATableau 10.0简介188
A.1Tableau工作区188
A.1.1工作表工作区189
A.1.2仪表板工作区190
A.1.3故事工作区191
A.2Tableau的文件管理192附录BRapidMiner使用方法简介194
B.1RapidMiner的主界面194
B.2使用RapidMiner分析数据的方法195
【免费在线读】
第3章常用数据分析与预测方法〖*4/5〗3.1方差分析〖*4/5〗3.1.1分析方法方差分析(Analysis of Variance,ANOVA),又称变异数分析或F检验,是英国统计学家罗纳德·艾尔默·费希尔(R. A. Fisher)于1923年发明的统计方法。方差分析研究诸多因素中哪些因素对观测变量有显著影响,在科学试验和现代化工业质量控制中得到了广泛的应用。一个复杂的事物,其中往往有许多因素互相制约又互相依存。方差分析的目的是通过数据分析找出对该事物有显著影响的因素、各因素之间的交互作用以及显著影响因素的*水平等。常用的方差分析方法包括单因素方差分析、多因素方差分析、多元方差分析、协方差分析、重复设计方差分析。单因素方差分析是研究一个因素的变化是否对事物产生了显著的影响。在实际的应用中,一个事物往往受多个因素的影响。多因素方差分析是对一个独立因素是否受一个或多个其他因素影响而进行的方差分析。多因素方差分析不仅能分析每个因素对事物的影响,还能分析各个因素间的交互作用对事物是否有显著的影响。例如,应用多因素方差对大棚作物产量进行分析时,光照、湿度、温度对作物的产量都会有很大的影响,而光照、湿度、温度的交互作用对作物*终的产量的影响更显著。本节介绍的示例是应用方差分析法分析职业和性别对薪资的影响,这属于多因素方差分析中的双因素方差分析。根据双因素方差分析中两个因素是否相互影响,将其分为可重复和无重复的双因素分析。无重复的双因素分析表示两个因素对结果的影响是相互独立的;可重复的双因素分析表示两个因素除了对结果单独影响外,二者的搭配还会对结果产生新的影响。本示例按照可重复的双因素方差分析进行处理。本示例采用Excel 2013进行分析,分析时需要考虑两个参数: 相伴概率p与显著性水平α。对于某个因数A,若p<α则因数A对变量有显著性影响,反之则影响不显著。对于因数A与B的交互作用,若p<α则因数A与B的交互作用对变量有显著性影响,反之则没有显著性影响。
光盘服务联系方式: 020-38250260 客服QQ:4006604884
云图客服:
用户发送的提问,这种方式就需要有位在线客服来回答用户的问题,这种 就属于对话式的,问题是这种提问是否需要用户登录才能提问