hadoop入门文档,比较使用。
1 概述
1.1 什么是Hadoop?
1.2 为什么要选择Hadoop?
1.2.1 系统特点
1.2.2 使用场景
2 术语
3 Hadoop的单机部署
3.1 目的
3.2 先决条件
3.2.1 支持平台
3.2.2 所需软件
3.2.3 安装软件
3.3 下载
3.4 运行Hadoop集群的准备工作
3.5 单机模式的操作方法
3.6 伪分布式模式的操作方法
3.6.1 配置
3.6.2 免密码SSH设置
3.6.3 执行
4 Hadoop集群搭建过程手记
4.1 免密码SSH设置
4.2 Hadoop软件安装
4.3 Master(85)配置
4.4 Slave(60,245上)配置
4.5 初始化和启动hadoop集群
4.5.1 初始化文件系统
4.5.2 启动Hadoop
4.5.3 停止Hadoop
4.6 测试
4.7 管理界面与命令
4.7.1 HDFS运行状态界面
4.7.2 Map-reduce的运行状态界面
4.7.3 直接的命令行查看
4.7.1 运行的进程查看
5 架构分析
5.1 HDFS
5.1.1 HDFS的三个重要角色
5.1.2 HDFS设计特点
5.2 MapReduce
5.2.1 算法介绍
5.2.2 Hadoop框架下的mapreduce
5.3 综合架构分析
6 Hadoop的应用
7 系统维护
7.1 Hadoop的系统监控
7.2 Hadoop中的命令(Command)总结
7.3 NameNode与JobTracker单点故障说明
7.4 经验总结
7.5 如何在一个hadoop集群新增或删除一些机器而不重启
7.5.1 新增节点
7.5.2 删除节点
7.6 其它日常问题说明
7.6.1 datanode启动失败,各slave节点的namespaceIDs与masters不同
7.6.2 taskTracker和jobTracker 启动失败
7.6.3 Shuffle Error: Exceeded MAX_FAILED_UNIQUE_FETCHES; bailing-out
7.6.4 Too many fetch-failures
7.6.5 能够启动datanode,但无法访问,也无法结束的错误
7.6.6 java.io.IOException: Could not obtain block:
7.6.7 java.lang.OutOfMemoryError: Java heap space
7.6.8 解决hadoop OutOfMemoryError问题:
7.6.9 Hadoop java.io.IOException:
7.7 防火墙的端口开放要求
7.7.1 与HDFS有关的地址及端口属性
7.7.2 与MapReduce 有关的地址及端口属性
8 附录
8.1 hadoop历史
8.2 Hadoop大记事
8.3 Hadoop的几个主要子项目
8.4 官方集群搭建参考
8.4.1 配置文件
8.4.2 集群配置说明
|