Hadoop第一天学习记录-摩杜云开发者社区

今天，我开始接触并学习Hadoop，一个分布式存储和计算框架，广泛应用于大数据处理和分析领域。为了方便记录和回顾，我将在这里详细记录下我第一天的学习内容和心得。

首先，我了解了Hadoop的背景和基本概念。Hadoop起源于Apache Nutch项目，旨在构建一个分布式搜索引擎。然而，随着项目的演进，Hadoop逐渐发展成为一个能够处理大规模数据的分布式计算框架。它使用了一种称为MapReduce的编程模型，可以将任务分解成许多小任务，并在集群中并行执行。

接着，我学习了Hadoop的核心组件和架构。Hadoop主要由HDFS（分布式文件系统）和MapReduce引擎组成。HDFS为数据提供了一个分布式、可扩展的存储系统，可以存储和处理大规模的数据。MapReduce则提供了一种编程模型，允许用户编写Map和Reduce函数来处理数据。

在理解了Hadoop的基本概念和架构后，我开始了实战演练。首先，我配置了一个本地的Hadoop环境，并上传了一个样本数据集到HDFS。然后，我编写了一个简单的MapReduce程序来对数据进行处理。

下面是一个简单的MapReduce程序的示例代码：

java复制代码
 import java.io.IOException;  
 
 import org.apache.hadoop.io.IntWritable;  
 
 import org.apache.hadoop.io.LongWritable;  
 
 import org.apache.hadoop.io.Text;  
 
 import org.apache.hadoop.mapreduce.Mapper;  
 
 import org.apache.hadoop.mapreduce.Reducer;  
 
 import org.apache.hadoop.mapreduce.Job;  
 
 import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;  
 
 import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;  
 
 import org.apache.hadoop.fs.Path;  
 
   
 
 public class WordCount {  
 
     public static class Map extends Mapper<LongWritable, Text, Text, IntWritable> {  
 
         private final static IntWritable one = new IntWritable(1);  
 
         private Text word = new Text();  
 
         public void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {  
 
             String[] words = value.toString().split("\\s+");  
 
             for (String str : words) {  
 
                 word.set(str);  
 
                 context.write(word, one);  
 
             }  
 
         }  
 
     }  
 
     public static class Reduce extends Reducer<Text, IntWritable, Text, IntWritable> {  
 
         public void reduce(Text key, Iterable<IntWritable> values, Context context) throws IOException, InterruptedException {  
 
             int sum = 0;  
 
             for (IntWritable val : values) {  
 
                 sum += val.get();  
 
             }  
 
             context.write(key, new IntWritable(sum));  
 
         }  
 
     }  
 
     public static void main(String[] args) throws Exception {  
 
         Job job = Job.getInstance(new Configuration(), "word count");  
 
         job.setJarByClass(WordCount.class);  
 
         job.setMapperClass(Map.class);  
 
         job.setCombinerClass(Reduce.class);  
 
         job.setReducerClass(Reduce.class);  
 
         job.setOutputKeyClass(Text.class);  
 
         job.setOutputValueClass(IntWritable.class);  
 
         FileInputFormat.addInputPath(job, new Path(args[0]));  
 
         FileOutputFormat.setOutputPath(job, new Path(args[1]));  
 
         System.exit(job.waitForCompletion(true) ? 0 : 1);  
 
     }  
 
 }

这个程序实现了单词计数功能。在Map阶段，程序将输入文本拆分成单词，并为每个单词生成一个键值对（单词，1）。在Reduce阶段，程序将相同单词的计数相加，得到每个单词的总数。