一、概念 1、Hadoop是什么 Hadoop是一个提供分布式存储和计算的开源软件框架，它具有无共享、高可用（HA）、弹性可扩展的特点，非常适合海量数据的存储和海量数据的分析计算。 Hadoop是一个开源软件框架 Hadoop适合处理大规模数据 Hadoop被部署在一个可扩展的集群服务器上 广义上，Hadoop通常是指一个更广泛的概念-Hadoop生态圈。 2、Hadoop的优势 1.扩容能力强 Hadoop是一个高度可扩展的存储平台，它可以存储和分发跨越数百个并行操作的廉价的服务器数据集群。不同于传统的关系型数据库不能扩展到处理大量的数据，Hadoop是能给企业提供涉及成百上千TB的数据...

一、概述 背景和定义 1）HDFS产生背景 随着数据量越来越大，在一个操作系统存不下所有的数据，那么就分配到更多的操作系统管理的磁盘中，但是不方便管理和维护，迫切需要一种系统来管理多台机器上的文件，这就是分布式文件管理系统。HDFS只是分布式文件管理系统中的一种。 2）HDFS定义 HDFS（HadoopDistributedFileSystem），它是一个文件系统，用于存储文件，通过目录树来定位文件；其次，它是分布式的，由很多服务器联合起来实现其功能，集群中的服务器有各自的角色。 HDFS的使用场景：适合一次写入，多次读出的场景。一个文件经过创建、写入和关闭之后就不需要改变。 优缺点 HDF...

一、概述 定义 MapReduce是一个分布式运算程序的编程框架，是用户开发“基于Hadoop的数据分析应用”的核心框架。 MapReduce核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序，并发运行在一个Hadoop集群上。 优点 易于编程。实现框架接口，用户只关心业务即可。 良好扩展性。可以动态增加服务器，解决计算资源不够问题。 高容错性。 缺点 不擅长实时计算。 不擅长流式计算。 不擅长DAG有向无环图计算。 核心思想 （1）分布式的运算程序往往需要分成至少2个阶段。 （2）第一个阶段的MapTask并发实例，完全并行运行，互不相干。 （3）第二个...

CentOS操作系统修改hosts文件 vi/etc/hosts 修改主机名hostname vim/etc/hostname 配置免密登录 node50配置访问node51 192.168.30.50minio1 192.168.30.51minio2 192.168.30.52minio3 node50服务器 ssh-keygen-trsa [root@node50]ssh-keygen-trsa Generatingpublic/privatersakeypair. Enterfileinwhichtosavethekey(/root/.ssh/id_rsa): Create...

Yarn是一个资源调度平台，负责为运算程序提供服务器运算资源，相当于一个分布式的操作系统平台，而MapReduce等运算程序则相当于运行于操作系统之上的应用程序。 1、Yarn基础框架 YARN主要由ResourceManager、NodeManager、ApplicationMaster和Container等组件构成。 2、Yarn工作机制 （1）MapReducer程序提交到客户端所在的节点。 （2）YarnRunner向ResourceManager申请一个Application。 （3）RM将该应用程序的资源路径返回给YarnRunner。 （4）该程序将运行所需资源提交到HDFS...