Hive命令使用记录
  JaZCk9zdr7LG 2023年11月02日 36 0

Hive命令使用记录


操作一些常用的Bash Shell 命令:

hive>紧跟一个"!" 号+Bash Shell 命令, 结尾加";"。

hive>!pwd;
hive>!ls /home/user

操作HDFS 平台相关的命令:

去掉HDFS 平台命令前的Hadoop 关键字,其他保留,以";"号结尾。

hive>dfs -ls /

注释:相当于

[zhangsan@node01-]$ hadoop dfs -ls/

命令查询的结果,但不同的是Hadoop dfs 每次运行的时候都会单独启用一个JVM, 而

hive>dfs -ls /

命令是在单线程下运行的, 感觉上比前者快很多。

查看当前使用的数据库

通过current_database()查看当前使用的数据库。

hive> SELECT current_database();
OK
Default
hive>

也可以通过 hive.ch.print.current.db 参数设定来显示当前数据是哪一个,如果值为true, 则显示当前数据信息, 为false 则不显示当前数据信息。

hive> set hive.cli.print.current.db=true;
hive (default)> set hive.cli.print.current.db=false;
hive>

其中default 说明当前使用的是默认的数据库default。

创建表的时候通过location 指定数据存储位置, 加载数据

load data inpath '/test/employees.txt' into table employee;

注意: 在通过location 指定数据存储位置时,要注意HDFS 已经存在的数据的存储格式。Hive 属于典型的读时模式设计, 如果原有HDFS 文件目录构成中, 指定表名所在文件夹下既有 文件夹又有文件, 数据读时会出现NULL值现象。

在进行数据加载时,每次加载一回,系统都会在指定表的位置增加一个文件,由于HDFS 不适合小文件的存储, 故用户在进行数据加载时, 应注意一批加栽数据不要过小, 以免出 现小文件过多的情况。

隐式类型转换的规则如下

  • 任何整数类型可以隐式地转换为一个范围更广的类型。
  • 所有整数类型、FLOAT 和STRING 类型都能隐式转换为DOUBLE 。
  • TINYINT 、SM凡LINT 和INT 都可以转换为FLOAT 。
  • BOOLEAN 类型不能转换为其他任何类型。
  • TIMESTAMP 可以被隐式转换为STRING。

使用cast操作显式进行数据类型转换, 如cast('l'AS INT) 是把字符串 '1' 转换成整数值1 。

例如:对于员工表employee, salary 列是使用FLOAT 数据类型的。现在,假设这个字段使用的数据类型是STRING, 那么如何才能将其作为FLOAT 值进行计算呢?

SELECT name, salary FROM employee
WHERE cast (salary AS FLOAT) < 100000.0;

如果例子中的salary 字段的值不是合法的浮点数字符串, Hive 会返回NULL 。

类型转换函数的语法是cast(value AS Type), 如果强制类型转换失败, 例如执行cast('x'AS INT),表达式就会返回空值NULL。

注意:将浮点数转换成整数的推荐方式是round()或者floor()函数,而不是使用类型转换操作符cast。

下例在求所有"Income Taxes" 大于0.1 的值, 本应只查询出"ManagerWang" 一条数据, 却查出了3 条数据。

hive> SELECT uname, salary, deduc七ions FROM user info where deductions ["Income Taxes"] >0. 1;
OK
ManagerWang 12000.0 {"Income Taxes":0.2,"Provident Fund":0.1,"Insurance":0.13)
ManagerLi 8000.0 {"Income Taxes":0.1,"Provident Fund":0.08,"Insurance":0.13}
ManagerZhao 7000.0 {"·Income Taxes":0.1,"Provident Fund":0.08,"Insurance":0.13)
Time taken: 0.794 seconds, Fetched: 3 row(s)
hive>
hive> DESC userinfo;
OK
uname
salary
subordinates
deductions
string
float
array<string>
map<string,float>
address struct<province:string,city:string,zip:int>

为什么会发生这样的情况?

原来用户写一个浮点数(如0.1) 时, Hive会将该值保存为double型, 而之前定义deductions这个Map的值的类型是float型的, 这意味着Hive将隐式地将税收减免值(deductions)转换为double类型后再进行比较。

但此例中, 0.1 的最近似的精确值应略大于0.1, 0.1 对于float类型是0.1000001, 而对于double类型是0.100000000001。这是因为8个字节的double值具有更多的小数位。当表中的float值通过Hive转换为double值时, 其产生的double值是0.1000000100000, 这个值实际要比0.100000000001 大。

结束!

【版权声明】本文内容来自摩杜云社区用户原创、第三方投稿、转载,内容版权归原作者所有。本网站的目的在于传递更多信息,不拥有版权,亦不承担相应法律责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@moduyun.com

  1. 分享:
最后一次编辑于 2023年11月08日 0

暂无评论

JaZCk9zdr7LG
最新推荐 更多

2024-05-31