大数据Spark “蘑菇云”行动第93课:Hive中的内置函数、UDF、UDAF实战
  TEZNKK3IfmPf 2023年11月14日 16 0

大数据Spark “蘑菇云”行动第93课:Hive中的内置函数、UDF、UDAF实战
select sum_all(age) from ...
hive> use default;
show tables;
select * from employeeforhaving;
一:udf 编码
import org.apache.hadoop.hive.ql.exec.UDF;
import org.apache.hadoop.io.Text;
public final class LowerCase extends UDF {
  public Text evaluate(final Text s) {
    if (s == null) { return null; }
    return new Text(s.toString().toLowerCase());
  }
}
二:导出jar包  hadoopapps.jar
三,加载jar包
hive> add jar /root/..../hadoopapps.jar
四,hive> CREATE TEMPORARY FUNCTION tolower AS com.dt.spark.hive.HIVEUDF 
五,使用
hive> SELECT tolower(name) from employeeforhaving;
一:UDAF 聚合 编码
import org.apache.hadoop.hive.ql.exec.UDAF;
import org.apache.hadoop.hive.ql.exec.UDAFEvaluator;
public class concat extends UDAF {
 public static class ConcatUDAFEvaluator implements UDAFEvaluator{
  public static class PartialResult{
   String result;
   String delimiter;
  }
private PartialResult partial;
  public void init() {
   partial = null;
  }
  
  public boolean iterate(String value,String deli){
   
   if (value == null){
    return true;
   }
   if (partial == null){
    partial = new PartialResult();
    partial.result = new String("");
    if(  deli == null || deli.equals("") )
    {
     partial.delimiter = new String(",");
    }
    else
    {
     partial.delimiter = new String(deli);
    }
        
   }
   if ( partial.result.length() > 0 )
   {
    partial.result = partial.result.concat(partial.delimiter);
   }
   
   partial.result = partial.result.concat(value);
   
   return true;
  }
  
  public PartialResult terminatePartial(){
   return partial;
  }
  
  public boolean merge(PartialResult other){
   if (other == null){
    return true;
   }
   if (partial == null){
    partial = new PartialResult();
    partial.result = new String(other.result);
    partial.delimiter = new String(other.delimiter);
   }
   else
   {   
    if ( partial.result.length() > 0 )
    {
     partial.result = partial.result.concat(partial.delimiter);
    }
    partial.result = partial.result.concat(other.result);
   }
   return true;
  }
  
  public String terminate(){
   return new String(partial.result);
  }
 }
}

【版权声明】本文内容来自摩杜云社区用户原创、第三方投稿、转载,内容版权归原作者所有。本网站的目的在于传递更多信息,不拥有版权,亦不承担相应法律责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@moduyun.com

  1. 分享:
最后一次编辑于 2023年11月14日 0

暂无评论

推荐阅读
  TEZNKK3IfmPf   2023年11月14日   11   0   0 大数据
  TEZNKK3IfmPf   2023年11月14日   12   0   0 System大数据
  TEZNKK3IfmPf   2023年11月14日   28   0   0 System大数据
  TEZNKK3IfmPf   24天前   24   0   0 hadoopHive
  TEZNKK3IfmPf   2023年11月15日   14   0   0 System大数据
  TEZNKK3IfmPf   2023年11月14日   17   0   0 Systemjava大数据
TEZNKK3IfmPf