1.文档编写目的 本文档Fayson主要描述如何在CentOS7.9安装CDPBase7.1.7。CDPBase7与CDH5/6的安装步骤一致，主要包括以下四部分： 1.安全前置准备，包括安装操作系统、关闭防火墙、同步服务器时钟等； 2.外部数据库如MySQL安装 3.安装ClouderaManager； 4.安装CDH集群； 测试环境 1.CM7.4.4+CDH7.1.7 2.CentOS7.9 3.OpenJDK1.8 4.MariaDB-5.5.64 5.root用户安装 前置准备 2.1hostname及hosts配置 集群中各个节点之间能互相通信使用静态IP地址。I...

1 概述   本文档描述CENTOS7.2操作系统部署CDH企业版的过程。Cloudera企业级数据中心的安装主要分为4个步骤：  1.集群服务器配置，包括安装操作系统、关闭防火墙、同步服务器时钟等；  2.外部数据库安装  3.安装Cloudera管理器；  4.安装CDH集群；  5. 集群完整性检查，包括HDFS文件系统、MapReduce、Hive等是否可以正常运行。  这篇文档将着重介绍Cloudera管理器与CDH的安装，并基于以下假设：  1. 操作系统版本：C...

温馨提示：要看高清无码套图，请使用手机打开并单击图片放大查看。 5.快速组件服务验证 5.1HDFS验证(mkdir+put+cat+get) mkdir操作： [root@ip-172-31-6-148]hadoopfs-mkdir-p/fayson/test[root@ip-172-31-6-148 ]hadoopfs-ls/Found 3 itemsdrwxr-xr-x   rootsupergroup          ...

温馨提示：要看高清无码套图，请使用手机打开并单击图片放大查看。 Fayson的github：https://github.com/fayson/cdhproject 提示：代码块部分可以左右滑动查看噢 1.文档编写目的 众所周知Hadoop安全模块不存储用户和用户组信息，而是依赖Linux系统的用户和用户组。同时在集群开启安全认证模式之后，需要映射KerberosPrinciple到Linux的用户以及映射用户到用户组。那么随之而来的问题是如何统一管理用户信息。这里统一管理用户信息的方式有多种（如OpenLDAP、AD等等），本篇文章主要讲述如何在CentOS6.5中安...

温馨提示：要看高清无码套图，请使用手机打开并单击图片放大查看。 1.概述 本文档主要描述离线环境下，CentOS6.5操作系统部署CDH5.12.1企业版的过程。本安装文档主要分为4个步骤： 1.前期准备（包括hostname、关闭防火墙、关闭SELinux、时钟同步等） 2.安装ClouderaManagerServer 3.安装CDH集群 4.集群完整性检查（包括HDFS文件系统、MapReduce、Hive等服务是否可以正常运行） 这篇文档将着重介绍Cloudera管理器与CDH的安装，并基于以下假设： 1.操作系统版本：CentOS6.5 2.MySQL版本：5.1.73 3...

温馨提示：要看高清无码套图，请使用手机打开并单击图片放大查看。 Fayson的github：https://github.com/fayson/cdhproject 提示：代码块部分可以左右滑动查看噢 1.文档编写目的 本文档主要描述在CENTOS7.2操作系统部署HDP的过程。 内容概述 1.集群服务器配置，包括安装操作系统、关闭防火墙、同步服务器时钟等；  2.外部数据库安装  3.安装Ambari管理器；  4.安装HDP集群；  5.集群完整性检查，包括HDFS文件系统、MapReduce、Hive等是否可以正常运行...

温馨提示：要看高清无码套图，请使用手机打开并单击图片放大查看。 1.文档编写目的 Cloudera前一段时间发布了CDH5.13版本，5.13的新功能可以参考前一篇文章​​CDH5.13和CM5.13的新功能​​​，本文章主要讲述如何在CentOS6.5安装CDH5.13，集群安装的准备工作大家可以参考之前的文章​​CDH安装前置准备​​，请务必保证安装前已经仔细阅读了​​CDH安装前置准备​​，并按照文档所述做好了前置准备，包括基础环境准备相关如yum源，ntp配置等。 内容概述 1.前置条件准备 2.ClouderaManager安装 3.CDH安装 4.Kudu安装 5...

5Kudu​安装 CDH从5.10开始，打包集成Kudu1.2，并且Cloudera正式提供支持。这个版本开始Kudu的安装较之前要简单很多，省去了Impala_Kudu，安装完Kudu，Impala即可直接操作Kudu。 以下安装步骤基于用户使用ClouderaManager来安装和部署Kudu1.2 5.1 安装csd文件 1.下载csd文件 [root@ip-172-31-2-159]wget http://archive.cloudera.com/kudu/csd/KUDU-5.10.0.jar 2.将下载的jar包文件移动到/opt/cloude...

温馨提示：要看高清无码套图，请使用手机打开并单击图片放大查看。 Fayson的github：https://github.com/fayson/cdhproject 提示：代码块部分可以左右滑动查看噢 1.文档编写目的 在前面的文章Fayson介绍了《​​如何使用HAProxy实现Impala的负载均衡​​​》、《​​如何使用HAProxy实现Kerberos环境下的Impala负载均衡​​​》和《​​如何使用Nginx实现Impala负载均衡​​》。本篇文章主要基于Haproxy方式实现的Impala负载均衡在Hue中配置Impala服务的负载均衡。 内容概述 ...

温馨提示：要看高清无码套图，请使用手机打开并单击图片放大查看。 Fayson的github：https://github.com/fayson/cdhproject 提示：代码块部分可以左右滑动查看噢 1.文档编写目的 前面Fayson介绍过《​​如何使用HAProxy实现Impala的负载均衡​​》，在Kerberos环境HAProxy的配置与非Kerberos环境下是一样的，只是在Impala的配置上需要做一些修改，接下来本篇文件主要讲述如何在Kerberos环境下使用HAProxy实现Impala的负载均衡。 内容概述 1.修改Impala配置 2.Impa...

温馨提示：要看高清无码套图，请使用手机打开并单击图片放大查看。 1.文档编写目的 前面Fayson介绍过《​​如何使用Nginx实现Impala负载均衡​​》，正如之前所说Cloudera官网推荐并支持的负载均衡为HAProxy。所以Fayson就介绍一下如何使用HAProxy实现Impala服务的负载均衡。 内容概述 1.HAProxy安装及启停 2.HAProxy配置Impala负载均衡 3.Impalashell及JDBC测试 测试环境 1.CM和CDH版本为5.13.0 2.采用root用户操作 3.集群未启用Kerberos 4.HAProxy1.5.18 ...

温馨提示：要看高清无码套图，请使用手机打开并单击图片放大查看。 1.文档编写目的 每次安装CDH集群时都需要做很多前置条件准备，以确保安装成功以及运行主机检查时能顺利通过。本篇文章主要讲述安装ClouderaManager和CDH前的准备工作。Fayson将这一部分独立出来，主要是为了方面后面再讲安装相关的文章时不用重复这部分内容。 内容概述 1.环境前置确认 2.CDH安装前配置 测试环境 1.CentOS6.5 2.使用root用户操作 测试环境 1.操作系统CentOS6.5 2.环境前置确认 2.1节点数量 最小规模，建议最少4台服务器，一台用作管...