yum install hadoop-摩杜云开发者社区

安装Hadoop的步骤和代码

1. 确认环境准备

在开始安装Hadoop之前，我们需要确保以下环境已准备就绪：

安装好Linux操作系统，建议使用CentOS或Ubuntu。
确保系统已经安装了Java开发环境，Hadoop是基于Java开发的，需要Java的支持。可以通过运行以下命令来检查Java是否已安装：

java -version

如果Java已安装，将显示已安装的Java版本信息。

2. 下载和解压Hadoop安装包

Hadoop可从其官方网站下载。下载地址：

选择合适的版本下载，推荐选择最新的稳定版本。

下载完成后，解压安装包到你希望安装Hadoop的目录。假设我们将Hadoop安装到/opt/hadoop目录下：

tar -xzvf hadoop-<version>.tar.gz -C /opt

这将解压缩安装包到/opt/hadoop-<version>目录。

3. 配置环境变量

为了能够在任何地方使用Hadoop命令，我们需要将Hadoop的bin目录添加到系统的环境变量中。

编辑~/.bashrc文件，并在最后添加以下行：

export HADOOP_HOME=/opt/hadoop-<version>
export PATH=$PATH:$HADOOP_HOME/bin

保存文件后，运行以下命令以使环境变量生效：

source ~/.bashrc

4. 配置Hadoop

Hadoop的配置文件位于$HADOOP_HOME/etc/hadoop目录下。我们需要对其中的一些配置进行修改以适应我们的环境。

4.1 配置hadoop-env.sh

编辑hadoop-env.sh文件，并找到以下行：

# export JAVA_HOME=/usr/lib/j2sdk1.5-sun

将其修改为指向你系统中Java安装的路径。例如：

export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64

4.2 配置core-site.xml

在core-site.xml中，我们需要设置Hadoop的核心配置。创建或编辑core-site.xml，并添加以下内容：

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

这将设置Hadoop的文件系统为本地，并使用默认的9000端口。

4.3 配置hdfs-site.xml

在hdfs-site.xml中，我们需要配置Hadoop分布式文件系统的相关属性。创建或编辑hdfs-site.xml，并添加以下内容：

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
</configuration>

这将设置文件的副本数为1，这在单节点模式下足够了。

5. 格式化Hadoop文件系统

在启动Hadoop之前，我们需要先格式化Hadoop文件系统。运行以下命令：

hdfs namenode -format

这将格式化Hadoop文件系统，并创建必要的目录和文件。

6. 启动Hadoop

现在我们可以启动Hadoop并开始使用了。运行以下命令以启动Hadoop：

start-all.sh

这将启动Hadoop的各个组件，包括NameNode、DataNode和ResourceManager等。

7. 验证安装

在启动Hadoop之后，我们可以通过Web界面来验证Hadoop是否成功安装。

打开浏览器，访问http://localhost:50070，这将打开Hadoop的Web界面。

在Web界面中，可以查看Hadoop的各个组件的运行状态，包括NameNode、DataNode和ResourceManager等。

类图

classDiagram
    class Hadoop {
        +startAll() : void
        +formatFileSystem() : void
    }
    class NameNode {
        +start() : void
    }
    class DataNode {
        +start() : void
    }
    class ResourceManager {
        +start() : void
    }

    Hadoop --> NameNode