设为首页 加入收藏

TOP

SparkSQL初步应用(HiveContext使用)(二)
2015-07-24 11:04:28 来源: 作者: 【 】 浏览:5
Tags:SparkSQL 初步 应用 HiveContext 使用

大功告成!整个过程,spark的debug功能一直是打开的,但是在日志中没有发现有价值的信息。

?

对了,要想使用IDE调试Spark的HiveContext程序,需要在main目录下添加resource目录(类型为Resources),并且将hive-site.xml、hdfs-site.xml添加到该目录中。

并且将三个驱动包引入:

datanucleus-api-jdo-3.2.6.jar,datanucleus-core-3.2.10.jar,datanucleus-rdbms-3.2.9.jar

?

差点忘了,我是为了解决上节中的result3问题,哈哈,这个问题其实是由于SparkSQL对SQL语法支持的问题。可以考虑使用其他方式(不在IN里面嵌套子查询),比如设置多个RDD或者左右连接等(有待测试)。

首页 上一页 1 2 下一页 尾页 2/2/2
】【打印繁体】【投稿】【收藏】 【推荐】【举报】【评论】 【关闭】 【返回顶部
分享到: 
上一篇SqlHelper重构 下一篇sql server相关

评论

帐  号: 密码: (新用户注册)
验 证 码:
表  情:
内  容:

·C++模板 (template) (2025-12-26 15:49:49)
·C 语言中模板的几种 (2025-12-26 15:49:47)
·模板(泛型) - C语 (2025-12-26 15:49:44)
·C语言中,“指针”用 (2025-12-26 15:20:18)
·在c语言的指针运算中 (2025-12-26 15:20:15)