hive2.1.1的安装与配置
  TEZNKK3IfmPf 2023年11月14日 28 0
  • 1.1 hive的简介
  • 1.2 hive 的特点
  • 1.3 hive 的架构
  • 1.4 hive-2.1.1 安装

一: hive 的简介

1.1 hive的简介

1. 在hadoop处理结构化数据的数据仓库
不是: 关系型数据库
       不是OLTP 
       实时查询和行级别的更新
      

1.2 hive 的特点

hive 存储数据结构(schema)在数据库中,处理的数据进入hdfs 
olap
HQL / HiveQL 

1.3 hive 的架构

image_1c9lqf1qvdgs1qtu157j1udipf39.png-225.4kB

1.4 hive-2.1.1 安装

tar -zxvf apache-hive-2.1.1-bin.tar.gz -C /soft 

cd /soft

ln -s apache-hive-2.1.1-bin/ hive

vim /etc/profile 
----
## hive 

export HIVE_HOME=/soft/hive
PATH=$PATH:$HOME/bin:$HIVE_HOME/bin
jdbc驱动程序:
tar -zxvf mysql-connector-java-5.1.43.tar.gz

cd mysql-connector-java-5.1.43/
cp -p mysql-connector-java-5.1.43-bin.jar /soft/hive/lib/
cd /soft/hive/conf

cp hive-default.xml.template hive-site.xml 
cp hive-env.sh.template  hive-env.sh
配置hive-env.sh 

修改hive-env.sh

因为 Hive 使用了 Hadoop, 需要在 hive-env.sh 文件中指定 Hadoop 安装路径:

vim hive-env.sh 
HADOOP_HOME=/soft/hadoop   ##Hadoop安装路径
export HIVE_CONF_DIR=/soft/hive/conf    ##Hive配置文件路径
export HIve_AUX_JARS_PATH=/soft/hive/lib

image_1c9lun1551094127qmni1b0o1oe213.png-127.3kB


创建HDFS目录

在 Hive 中创建表之前需要创建以下 HDFS 目录并给它们赋相应的权限。

hdfs dfs -mkdir -p /user/hive/warehouse  
hdfs dfs -mkdir -p /tmp/hive/  
hdfs dfs -chmod 777 /user/hive/warehouse  
hdfs dfs -chmod 777 /tmp/hive  
编辑hive-site.xml 
vim hive-site.xml 

------

<property>
    <name>javax.jdo.option.ConnectionURL</name>
    <value>jdbc:mysql://localhost:3306/hive?useSSL=false</value>
  </property>
  <property>
    <name>javax.jdo.option.ConnectionDriverName</name>
    <value>com.mysql.jdbc.Driver</value>
  </property>
  <property>
    <name>javax.jdo.option.ConnectionUserName</name>
    <value>root</value>
  </property>
  <property>
    <name>javax.jdo.option.ConnectionPassword</name>
    <value>Bigdata_1234</value>
  </property>
  
  
修改 io.tmpdir 路径

同时,要修改 hive-site.xml 中所有包含  字段的 value 即路径(vim下 / 表示搜索,后面跟你的关键词,比如搜索 hello,则为 /hello , 再回车即可),你可以自己新建一个目录来替换它,例如 /soft/hive/iotmp


mkdir /soft/hive/iotmp

chmod 777 /soft/hive/iotmp

把hive-site.xml 中所有包含 替换成/soft/hive/iotmp

%s##/soft/hive/iotmp#g

将改为

%s###g
在mysql 当中建库并授权

mysql> create database hive;
mysql> GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY 'Bigdata_1234' WITH GRANT OPTION;

退出mysql数据

运行Hive

在命令行运行 hive 命令时必须保证以下两点:

HDFS 已经启动。可以使用 start-dfs.sh 脚本来启动 HDFS。
MySQL Java 连接器添加到 $HIVE_HOME/lib 目录下。我安装时使用的是 mysql-connector-java-5.1.43.jar。
从 Hive 2.1 版本开始, 我们需要先运行 schematool 命令来执行初始化操作。

schematool -dbType mysql -initSchema

image_1c9lvvf2j1jlq2fokbg186t1qea30.png-468.5kB

hive 

image_1c9m00v6jp61e6a1fk312n1mub3d.png-498.4kB

【版权声明】本文内容来自摩杜云社区用户原创、第三方投稿、转载,内容版权归原作者所有。本网站的目的在于传递更多信息,不拥有版权,亦不承担相应法律责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@moduyun.com

  1. 分享:
最后一次编辑于 2023年11月14日 0

暂无评论

推荐阅读
  TEZNKK3IfmPf   2023年11月15日   52   0   0 apachehadoopjava
  TEZNKK3IfmPf   2023年11月15日   27   0   0 apachehadoop
  TEZNKK3IfmPf   2024年04月26日   63   0   0 hadoopHive
TEZNKK3IfmPf