HDFS文件系统基本信息 HDFS作为分布式存储的文件系统，有其对数据的路径表达方式。HDFS同Linux系统一样，均是以/作为根目录的组织形式 Linux：/usr/local/hello.txt HDFS：/usr/local/hello.txt 命令行 老版本用法 hadoopfs[genericoptions] 新版本用法 hdfsdfs[genericoptions] 创建文件夹 hadoopfs-mkdir[-p]<path> hdfsdfs-mkdir[-p]<path> path为待创建的目录 -p选项的行为与Linuxmkdir-p一致，...

上传hadoop-3.3.4.tar.gz到/export/server 解压 tar-zxvfhadoop-3.3.4.tar.gz-C/export/server/ 快捷方式 ln-s/export/server/hadoop-3.3.4hadoop Hadoop安装包目录结构 目录 说明 bin 存放Hadoop的各类程序（命令） etc 存放Hadoop的配置文件 sbin 管理员程序（superbin） include C语言的一些头文件 lib 存放Linux系统的动态链接库（.so文件） libexec 存放配置Hadoop系统的脚本文件（.s...

下载VM与Centos镜像 用的VM17版本:该版本解决了老版本的一些蓝屏问题和兼容性问题https://download3.vmware.com/software/WKST-1700-WIN/VMware-workstation-full-17.0.0-20800274.exe 密钥 JU090-6039P-08409-8J0QH-2YR7F Centos7.6.1810(阿里云镜像)https://mirrors.aliyun.com/centos-vault/centos/7.6.1810/isos/x86_64/CentOS-7-x86_64-DVD-1810.iso VM基本设置 ...

使用Base克隆集群节点 先把Base关机,然后右键管理克隆 选择完整克隆克隆名字这里叫node1 重复步骤,克隆node2/node3为了分类,创建了一个大数据集群文件夹 以下命令全是root权限执行 配置固定IP 修改主机名 hostnamectlset-hostnamenode1 修改IP vim/etc/sysconfig/network-scripts/ifcfg-ens33 重启network systemctlrestartnetwork 修改后的ifcfg-ens33如下 修改BOOTPROTO="static"为静态地址新增IPADDRNETMARKGATEWAYDNS1 ...

下载jdk-8u361-linux-x64.tar.gz https://www.oracle.com/java/technologies/downloads 上传jdk-8u361-linux-x64.tar.gz到node1 以下命令都是在node1上执行 解压 tar-zxvfjdk-8u361-linux-x64.tar.gz-C/export/server/ 配置软连接(快捷方式) ln-s/export/server/jdk1.8.0_361/jdk 配置JAVA_HOME环境变量 vim/etc/profile 新增两行 exportJAVA_HOME=/export/se...