Apache Hadoop 软件库是一个框架，它允许使用简单的编程模型在计算机集群上对大型数据集进行分布式处理。Apache™ Hadoop® 是可靠、可扩展、分布式计算的开源软件。

该项目包括以下模块：

• Hadoop Common：支持其他 Hadoop 模块的常用工具。
• Hadoop 分布式文件系统 (HDFS™)：分布式文件系统，可提供对应用程序数据的高吞吐量访问支持。
• Hadoop YARN：作业调度和集群资源管理框架。
• Hadoop MapReduce：一个基于 YARN 的大型数据集并行处理系统。

本文将帮助你逐步在 CentOS 上安装 Hadoop 并配置单节点 hadoop 集群。

安装 Java

在安装 hadoop 之前，请确保你的系统上安装了 Java。使用此命令检查已安装 Java 的版本。

java-version
javaversion"1.7.0_75"
Java(TM)SERuntimeEnvironment(build1.7.0_75-b13)
JavaHotSpot(TM)64-BitServerVM(build24.75-b04,mixedmode)

要安装或更新 Java，请参考下面逐步的说明。

***步是从 Oracle 官方网站下载***版本的 java。

cd/opt/
wget--no-cookies--no-check-certificate--header"Cookie:gpw_e24=http%3A%2F%2Fwww.oracle.com%2F;oraclelicense=accept-securebackup-cookie""http://download.oracle.com/otn-pub/java/jdk/7u79-b15/jdk-7u79-linux-x64.tar.gz"
tarxzfjdk-7u79-linux-x64.tar.gz

需要设置使用更新版本的 Java 作为替代。使用以下命令来执行此操作。

cd/opt/jdk1.7.0_79/
alternatives--install/usr/bin/javajava/opt/jdk1.7.0_79/bin/java2
alternatives--configjava

Thereare3programswhichprovide'java'.
SelectionCommand
-----------------------------------------------
*1/opt/jdk1.7.0_60/bin/java
+2/opt/jdk1.7.0_72/bin/java
3/opt/jdk1.7.0_79/bin/java
Entertokeepthecurrentselection[+],ortypeselectionnumber:3[PressEnter]

现在你可能还需要使用 alternatives 命令设置 javac 和 jar 命令路径。

alternatives--install/usr/bin/jarjar/opt/jdk1.7.0_79/bin/jar2
alternatives--install/usr/bin/javacjavac/opt/jdk1.7.0_79/bin/javac2
alternatives--setjar/opt/jdk1.7.0_79/bin/jar
alternatives--setjavac/opt/jdk1.7.0_79/bin/javac

下一步是配置环境变量。使用以下命令正确设置这些变量。

设置 JAVA_HOME 变量：

exportJAVA_HOME=/opt/jdk1.7.0_79

设置 JRE_HOME 变量：

exportJRE_HOME=/opt/jdk1.7.0_79/jre

设置 PATH 变量：

exportPATH=$PATH:/opt/jdk1.7.0_79/bin:/opt/jdk1.7.0_79/jre/bin

安装 Apache Hadoop

设置好 java 环境后。开始安装 Apache Hadoop。

***步是创建用于 hadoop 安装的系统用户帐户。

useraddhadoop
passwdhadoop

现在你需要配置用户 hadoop 的 ssh 密钥。使用以下命令启用无需密码的 ssh 登录。

su-hadoop
ssh-keygen-trsa
cat~/.ssh/id_rsa.pub>>~/.ssh/authorized_keys
chmod0600~/.ssh/authorized_keys
exit

现在从官方网站 hadoop.Apache.org 下载 hadoop ***的可用版本。

cd/opt/
wget--no-cookies--no-check-certificate--header"Cookie:gpw_e24=http%3A%2F%2Fwww.oracle.com%2F;oraclelicense=accept-securebackup-cookie""http://download.oracle.com/otn-pub/java/jdk/7u79-b15/jdk-7u79-linux-x64.tar.gz"
tarxzfjdk-7u79-linux-x64.tar.gz
0

下一步是设置 hadoop 使用的环境变量。

编辑 ~/.bashrc，并在文件末尾添加以下这些值。

cd/opt/
wget--no-cookies--no-check-certificate--header"Cookie:gpw_e24=http%3A%2F%2Fwww.oracle.com%2F;oraclelicense=accept-securebackup-cookie""http://download.oracle.com/otn-pub/java/jdk/7u79-b15/jdk-7u79-linux-x64.tar.gz"
tarxzfjdk-7u79-linux-x64.tar.gz
1

在当前运行环境中应用更改。

cd/opt/
wget--no-cookies--no-check-certificate--header"Cookie:gpw_e24=http%3A%2F%2Fwww.oracle.com%2F;oraclelicense=accept-securebackup-cookie""http://download.oracle.com/otn-pub/java/jdk/7u79-b15/jdk-7u79-linux-x64.tar.gz"
tarxzfjdk-7u79-linux-x64.tar.gz
2

编辑 $HADOOP_HOME/etc/hadoop/hadoop-env.sh 并设置 JAVA_HOME 环境变量。

cd/opt/
wget--no-cookies--no-check-certificate--header"Cookie:gpw_e24=http%3A%2F%2Fwww.oracle.com%2F;oraclelicense=accept-securebackup-cookie""http://download.oracle.com/otn-pub/java/jdk/7u79-b15/jdk-7u79-linux-x64.tar.gz"
tarxzfjdk-7u79-linux-x64.tar.gz
3

现在，先从配置基本的 hadoop 单节点集群开始。

首先编辑 hadoop 配置文件并进行以下更改。

cd/opt/
wget--no-cookies--no-check-certificate--header"Cookie:gpw_e24=http%3A%2F%2Fwww.oracle.com%2F;oraclelicense=accept-securebackup-cookie""http://download.oracle.com/otn-pub/java/jdk/7u79-b15/jdk-7u79-linux-x64.tar.gz"
tarxzfjdk-7u79-linux-x64.tar.gz
4

让我们编辑 core-site.xml。

cd/opt/
wget--no-cookies--no-check-certificate--header"Cookie:gpw_e24=http%3A%2F%2Fwww.oracle.com%2F;oraclelicense=accept-securebackup-cookie""http://download.oracle.com/otn-pub/java/jdk/7u79-b15/jdk-7u79-linux-x64.tar.gz"
tarxzfjdk-7u79-linux-x64.tar.gz
5

接着编辑 hdfs-site.xml：

cd/opt/
wget--no-cookies--no-check-certificate--header"Cookie:gpw_e24=http%3A%2F%2Fwww.oracle.com%2F;oraclelicense=accept-securebackup-cookie""http://download.oracle.com/otn-pub/java/jdk/7u79-b15/jdk-7u79-linux-x64.tar.gz"
tarxzfjdk-7u79-linux-x64.tar.gz
6

并编辑 mapred-site.xml：

cd/opt/
wget--no-cookies--no-check-certificate--header"Cookie:gpw_e24=http%3A%2F%2Fwww.oracle.com%2F;oraclelicense=accept-securebackup-cookie""http://download.oracle.com/otn-pub/java/jdk/7u79-b15/jdk-7u79-linux-x64.tar.gz"
tarxzfjdk-7u79-linux-x64.tar.gz
7

***编辑 yarn-site.xml：

cd/opt/
wget--no-cookies--no-check-certificate--header"Cookie:gpw_e24=http%3A%2F%2Fwww.oracle.com%2F;oraclelicense=accept-securebackup-cookie""http://download.oracle.com/otn-pub/java/jdk/7u79-b15/jdk-7u79-linux-x64.tar.gz"
tarxzfjdk-7u79-linux-x64.tar.gz
8

现在使用以下命令格式化 namenode：

cd/opt/
wget--no-cookies--no-check-certificate--header"Cookie:gpw_e24=http%3A%2F%2Fwww.oracle.com%2F;oraclelicense=accept-securebackup-cookie""http://download.oracle.com/otn-pub/java/jdk/7u79-b15/jdk-7u79-linux-x64.tar.gz"
tarxzfjdk-7u79-linux-x64.tar.gz
9

要启动所有 hadoop 服务，请使用以下命令：

cd/opt/jdk1.7.0_79/
alternatives--install/usr/bin/javajava/opt/jdk1.7.0_79/bin/java2
alternatives--configjava
0

要检查所有服务是否正常启动，请使用 jps 命令：

cd/opt/jdk1.7.0_79/
alternatives--install/usr/bin/javajava/opt/jdk1.7.0_79/bin/java2
alternatives--configjava
1

你应该看到这样的输出。

cd/opt/jdk1.7.0_79/
alternatives--install/usr/bin/javajava/opt/jdk1.7.0_79/bin/java2
alternatives--configjava
2

现在，你可以在浏览器中访问 Hadoop 服务：http://your-ip-address:8088/ 。

hadoop

谢谢阅读!!!