设为首页 加入收藏

TOP

SparkSQL使用之如何使用UDF
2014-11-23 21:26:33 来源: 作者: 【 】 浏览:13
Tags:SparkSQL 使用 如何 UDF

Hive中使用UDF


SparkSQL中使用UDF


方式一:在启动spark-sql时通过--jars指定


方式二:先启动spark-sql后add jar


在测试过程中发现并不支持该种方式,会报java.lang.ClassNotFoundException: com.luogankun.udf.HelloUDF


如何解决?


1)需要先将udf.jar的路径配置到spark-env.sh的SPARK_CLASSPATH中,形如:


2)再启动spark-sql,直接CREATE TEMPORARY FUNCTION即可;


方式三:Thrift JDBC Server中使用UDF


在beeline命令行中执行:


】【打印繁体】【投稿】【收藏】 【推荐】【举报】【评论】 【关闭】 【返回顶部
分享到: 
上一篇Android UI Layout总结之5大布局 下一篇SparkSQL使用之JDBC代码访问Thrif..

评论

帐  号: 密码: (新用户注册)
验 证 码:
表  情:
内  容: