大数据处理技术应用与实践

本书介绍了大数据发展 历程、基本概念、主要影响 、应用领域、关键技术、计 算模式和产业发展，云计算 、物联网的概念及其与大数 据之间的紧密关系；介绍了 Hadoop的发展历史、重要 特性和应用现状，Hadoop 项目结构及其各个组件，并 熟练掌握Hadoop平台的安 装和使用方法；介绍了分布 式文件系统的基本概念、结 构和设计需求，掌握 Hadoop分布式文件系统 HDFS的重要概念、体系结 构、存储原理和读写过程， 并熟练掌握分布式文件系统 HDFS的使用方法；介绍了 MapReduce模型，掌握具 体工作流程，以及 MapReduce的具体应用； 介绍了大数据处理架构 Spark的基本原理和编程方 法；介绍了数据可视化的基 本概念，分类学习数据可视 化工具。 本书为大数据课程的教 学提供了一定的理论支持， 学生通过教材中的内容可以 对学习的大致方向有一个基 本的了解，本书的实践性教 学环节有助于学生巩固所学 知识，提高综合实践能力和 独立分析解决问题的能力。 本书适合作为应用型本科院 校大数据课程的教材。

第1章 大数据概述
1.1 大数据发展历程
1.2 大数据简介
1.2.1 大数据概念
1.2.2 大数据关键技术
1.3 大数据的应用
1.4 大数据与云计算、物联网
1.4.1 云计算
1.4.2 物联网
1.4.3 大数据与云计算、物联网的关系
1.4.4 大数据与云计算、物联网的区别
1.5 大数据未来发展趋势
小结
习题
第2章 大数据处理框架Hadoop
2.1 Hadoop概述
2.1.1 Hadoop简介
2.1.2 Hadoop发展历程
2.1.3 Hadoop的特性
2.1.4 Hadoop的版本
2.2 Hadoop生态系统
2.2.1 HDFS
2.2.2 MapReduce
2.2.3 HBase
2.2.4 ZooKeeper
2.2.5 Hive
2.2.6 Mahout
2.2.7 Pig
2.2.8 Sqoop
2.2.9 F1ume
2.2.10 Ambari
2.3 Hadoop的应用
2.4 Hadoop集群环境的安装与配置
2.4.1 设置SSH免密登录
2.4.2 下载安装Hadoop
2.4.3 设置Had00p环境变量
2.4.4 修改Hadoop配置文件had00p—env.sh
2.4.5 修改Hadoop配置文件core—site.xml
2.4.6 设置yarn—site.xml文件
2.4.7 设置mapred—site.xml文件
2.4.8 设置hdfs—site.xmI文件
2.4.9 创建并格式化HDFS目录
2.4.10 启动Hadoop
小结
习题
第3章 分布式文件系统HDFS
3.1 HDFS基础
3.1.1 HDFS概述
3.1.2 HDFS块
3.1.3 名称节点