Hive中如何配置与编写自定义UDF函数

小编给大家分享一下Hive中如何配置与编写自定义UDF函数，相信大部分人都还不怎么了解，因此分享这篇文章给大家参考一下，希望大家阅读完这篇文章后大有收获，下面让我们一起去了解一下吧！

环境介绍：CentOS7+hive-1.1.0-cdh6.7.0+IntelliJ IDEA+Maven3.3.9
1、创建工程
   打开IntelliJ IDEA
     File-->New-->Project...-->Maven选择Create from archetye-->org.apache.maven.archety:maven-archetype-quitkstart

2、配置
  2.1、增加内容如下：
   在工程中找到pom.xml文件中hadoop-common 、hive-exec 、hive-jdbc

点击(此处)折叠或打开

1. <properties>
   

2.     <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
   

3. 
   

4. 
   

5.     <!-- hadoop、hive版本信息 -->
   

6.     <hadoop.version>2.6.0-cdh6.7.0</hadoop.version>
   

7.     <hive.version>1.1.0-cdh6.7.0</hive.version>
   

8.   </properties>
   

9. 
   

10. 
    

11.     <!-- hadoop依赖 -->
    

12.     <dependency>
    

13.       <groupId>org.apache.hadoop</groupId>
    

14.       <artifactId>hadoop-common</artifactId>
    

15.       <version>${hadoop.version}</version>
    

16.     </dependency>
    

17. 
    

18. 
    

19.     <!-- hive依赖 -->
    

20.     <dependency>
    

21.       <groupId>org.apache.hive</groupId>
    

22.       <artifactId>hive-exec</artifactId>
    

23.       <version>${hive.version}</version>
    

24.     </dependency>
    

25.   </dependencies>
    

26.   
    

27.   <!-- cdn资源仓库 -->
    

28.   <repositories>
    

29.     <repository>
    

30.       <id>cloudera</id>
    

31.       <url>https://repository.cloudera.com/artifactory/cloudera-repos/</url>
    

32.     </repository>
    

33.   </repositories>

  2.2、在<repository></repository>中修改内容如下：

点击(此处)折叠或打开

1. <dependency>
   

2.       <groupId>junit</groupId>
   

3.       <artifactId>junit</artifactId>
   

4.       <version>4.10</version>
   

5.       <scope>test</scope>
   

6.     </dependency>

3、创建类，并编写一个UDF HelloUDF.java，代码如下：

点击(此处)折叠或打开

1. package org.apache.hadoop.hive.ql.udf;
   

2. 
   

3. 
   

4. import org.apache.hadoop.hive.ql.exec.UDF;
   

5. import org.apache.hadoop.io.Text;
   

6. 
   

7. 
   

8. public class HelloUDF extends UDF {
   

9.     public Text evaluate(Text input) {
   

10.         return new Text("Hello：" + input);
    

11.     }
    

12. 
    

13. 
    

14.     public static void main(String args[]){
    

15.         HelloUDF helloUDF = new HelloUDF();
    

16.         Text rs = helloUDF.evaluate(new Text("zhangsan"));
    

17.         System.out.println(rs.toString());
    

18.     }
    

19. }

4、测试UDF类，在上又键选择Run 'HelloUDF.main()'

5、打包：
   在IDEA菜单中选择view-->Tool Windows-->Maven Projects，然后在Maven Projects窗口中选择【工程名】-->Lifecycle-->package，在package中右键选择Run Maven Build开始打包
   执行成功后在日志中找：
     [INFO] Building jar: D:\software\ruozedata_workspace\basic02-hive\target\hive-1.0.jar

以上是“Hive中如何配置与编写自定义UDF函数”这篇文章的所有内容，感谢各位的阅读！相信大家都有了一定的了解，希望分享的内容对大家有所帮助，如果还想学习更多知识，欢迎关注亿速云行业资讯频道！