基于docker容器,搭建hadoop+spark+hive+hbase+Zookeeper Scala集群
  say4Z9g800rV 2023年11月24日 33 0

1.安装Docker和Docker Compose

2.下载镜像

docker pull bde2020/hadoop-base:2.0.0-hadoop3.2.1-java8
docker pull bde2020/hadoop-namenode:2.0.0-hadoop3.2.1-java8
docker pull bde2020/hadoop-datanode:2.0.0-hadoop3.2.1-java8
docker pull bde2020/hadoop-resourcemanager:2.0.0-hadoop3.2.1-java8
docker pull bde2020/hadoop-nodemanager:2.0.0-hadoop3.2.1-java8
docker pull bde2020/hadoop-historyserver:2.0.0-hadoop3.2.1-java8
docker pull bde2020/hive:2.3.7-postgresql-metastore
docker pull bde2020/spark-base:2.4.5-hadoop2.7
docker pull bde2020/spark-master:2.4.5-hadoop2.7
docker pull bde2020/spark-worker:2.4.5-hadoop2.7
docker pull bde2020/hbase:2.2.4-hadoop3.2.1-java8

(1)本机系统设置

电脑设置虚拟缓存(设置为自动管理)

基于docker容器,搭建hadoop+spark+hive+hbase+Zookeeper Scala集群_docker

虚拟机设置内存和CPU

内存设置为8G(或以上)

基于docker容器,搭建hadoop+spark+hive+hbase+Zookeeper Scala集群_java_02

CPU稍微设置高一点(三个虚拟化能开就开)

基于docker容器,搭建hadoop+spark+hive+hbase+Zookeeper Scala集群_docker_03

虚拟机系统配置阿里源

wget -O /etc/yum.repos.d/CentOS-Base.repo https://mirrors.aliyun.com/repo/Centos-7.repo

虚拟机更新包

yum update

(2)安装Docker

移除以前docker相关包

sudo yum remove docker \
                  docker-client \
                  docker-client-latest \
                  docker-common \
                  docker-latest \
                  docker-latest-logrotate \
                  docker-logrotate \
                  docker-engine

 

安装步骤参考我站内的帖子:在centos 7.9 上构建docker - 红酒人生 

(3)安装Hadoop

 拉取hadoop镜像

docker pull registry.cn-shenzhen.aliyuncs.com/jonil/hadoop:base

基于docker容器,搭建hadoop+spark+hive+hbase+Zookeeper Scala集群_java_04

 

(4)运行容器

 



【版权声明】本文内容来自摩杜云社区用户原创、第三方投稿、转载,内容版权归原作者所有。本网站的目的在于传递更多信息,不拥有版权,亦不承担相应法律责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@moduyun.com

  1. 分享:
最后一次编辑于 2023年11月24日 0

暂无评论

推荐阅读
say4Z9g800rV