hadoop 提交任务一直卡-摩杜云开发者社区

Hadoop 提交任务一直卡解决流程

1. 确认Hadoop集群状态

在提交任务之前，首先需要确认Hadoop集群的状态是否正常。可以使用以下命令检查集群中的节点是否都处于正常运行状态：

$ hdfs dfsadmin -report

2. 检查Hadoop任务配置

确保Hadoop任务的配置文件正确设置，主要包括以下几个方面：

core-site.xml：主要配置Hadoop的核心参数，如Hadoop集群的名称、HDFS的URL等。
hdfs-site.xml：主要配置Hadoop分布式文件系统（HDFS）的参数，如副本数量、数据块大小等。
mapred-site.xml：主要配置MapReduce的参数，如任务跟踪器的URL、任务最大尝试次数等。

可以使用以下命令查看当前Hadoop任务的配置：

$ hdfs getconf -confKey fs.defaultFS
$ hdfs getconf -confKey dfs.replication
$ yarn getconf -confKey yarn.resourcemanager.address

3. 准备任务输入数据

确保任务需要的输入数据已经上传到HDFS上的指定目录中。可以使用以下命令将本地文件上传到HDFS：

$ hdfs dfs -put <local-file> <hdfs-directory>

4. 准备任务代码和依赖库

确保任务代码和所需的依赖库已经上传到HDFS上的指定目录中。可以使用以下命令将本地文件上传到HDFS：

$ hdfs dfs -put <local-file> <hdfs-directory>

5. 提交Hadoop任务

使用以下命令提交Hadoop任务：

$ hadoop jar <jar-file> <main-class> <input-path> <output-path>

其中，<jar-file>为任务代码和依赖库所在的JAR文件，<main-class>为任务入口类，<input-path>为任务的输入路径，<output-path>为任务的输出路径。

6. 监控任务执行状态

可以使用以下命令监控任务的执行状态：

$ yarn application -list
$ yarn application -status <application-id>

7. 查看任务输出结果

任务执行完成后，可以使用以下命令查看任务的输出结果：

$ hdfs dfs -cat <output-path>

示例场景

假设我们要提交一个统计单词频次的Hadoop任务。首先，我们需要准备一个输入文件并上传到HDFS：

$ echo "hello world" > input.txt
$ hdfs dfs -put input.txt /input

接下来，我们需要编写一个MapReduce的代码，并将代码打包成JAR文件：

// WordCountMapper.java
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Mapper;
import java.io.IOException;
import java.util.StringTokenizer;

public class WordCountMapper extends Mapper<Object, Text, Text, IntWritable> {
    private final static IntWritable one = new IntWritable(1);
    private Text word = new Text();

    public void map(Object key, Text value, Context context) throws IOException, InterruptedException {
        StringTokenizer itr = new StringTokenizer(value.toString());
        while (itr.hasMoreTokens()) {
            word.set(itr.nextToken());
            context.write(word, one);
        }
    }
}

// WordCountReducer.java
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Reducer;
import java.io.IOException;

public class WordCountReducer extends Reducer<Text, IntWritable, Text, IntWritable> {
    private IntWritable result = new IntWritable();

    public void reduce(Text key, Iterable<IntWritable> values, Context context) throws IOException, InterruptedException {
        int sum = 0;
        for (IntWritable val : values) {
            sum += val.get();
        }
        result.set(sum);
        context.write(key, result);
    }
}

$ javac -classpath $(hadoop classpath) WordCountMapper.java WordCountReducer.java
$ jar cf wordcount.jar WordCountMapper.class WordCountReducer.class

然后，我们可以使用以下命令提交任务：

$ hadoop jar wordcount.jar WordCount /input /output

最后，可以使用以下命令查看任务的输出结果：

$ hdfs dfs -cat /output/part-r-00000

总结

通过以上步骤，我们可以实现Hadoop