设为首页 加入收藏

TOP

C++ Hadoop实战备忘
2014-11-24 08:10:24 来源: 作者: 【 】 浏览:0
Tags:Hadoop 实战 备忘

前言:Hadoop用于解决大数据处理问题。看到这么火,咱也来凑把热闹,瞧瞧到底是什么神奇的技术。


所幸,天不负有心人,终于跑通了第一个示例。


对我而言,这个的意义,不亚于输出了开天辟地的“hello world”。


配置过程中出错时,不要泄气,一般是由于路径配置不对引起,可与本文档对比查错。


JDK:jdk-6u18-linux-i586.bin


Hadoop:hadoop-0.21.0


说明:hadoop版本一定要与本文档匹配,新版本目录格式已做修改。


步骤一:配置环境


1、安装jdk1.6.0_18


1)在usr下面新建一个文件夹Java,然后将jdk复制过来.


sudo mkdir /usr/Java


sudo cp jdk的路径 /usr/Java


2)进入到Java目录下,改变文件权限为可执行


cd /usr/Java


sudo chmod u+x jdk-6u18-linux-i586.bin


3)执行安装


(现象为Unpacking....加一连串解压信息)


sudo ./jdk-6u18-linux-i586.bin


2、安装hadoop0.21.0


1)将hadoop0.21.0.tar.gz复制到usr下面的local文件夹内


sudo cp hadoop的路径 /usr/local


2)进入到local目录下,解压hadoop-0.21.0.tar.gz


cd /usr/local


sudo tar -xzf hadoop-0.21.0.tar.gz


3)为了方便管理,将解压后的文件夹名改为hadoop


sudo mv hadoop-0.21.0 hadoop


3、创建一个名为hadoop的用户和用户组


1)创建一个名为hadoop的用户组


sudo addgroup hadoop


2)创建一个名为hadoop的用户,归到hadoop用户组下


sudo adduser --ingroup hadoop hadoop


3)用gedit打开etc下的sudoers文件


sudo gedit /etc/sudoers


4)在 root ALL=(ALL) ALL 下面添加如下一行,然后保存关闭gedit


hadoop ALL=(ALL) ALL


4、配置环境变量


1)用gedit打开etc下的profile文件


sudo gedit /etc/profile


2)在文件最后加入如下几行


export CLASSPATH=.:/usr/Java/jdk1.6.0_23/lib:/usr/Java/jdk1.6.0_18/jre/lib:$CLASSPATH


export PATH=.:/usr/Java/jdk1.6.0_23/bin:/usr/Java/jdk1.6.0_18/jre/bin:/usr/local/hadoop/bin:$PATH


3)保存后关闭gedit,并重启机器


sudo reboot


4)重启后用hadoop用户登录,验证配置是否成功


java -version(验证java配置是否成功)


5、创建ssh-key


1)确保网络通畅,然后装载ssh服务


sudo apt-get install openssh-server


2)创建ssh-key,为rsa


ssh-keygen -t rsa --P


3)将此ssh-key添加到信任列表中,并启用此ssh-key


cat /home/hadoop/.ssh/id_rsa.pub >> /home/hadoop/.ssh/authorized_keys


sudo /etc/init.d/ssh reload


4)重启系统


】【打印繁体】【投稿】【收藏】 【推荐】【举报】【评论】 【关闭】 【返回顶部
分享到: 
上一篇在Ubuntu上用GDB调试printf源码 下一篇C++智能指针循环引用解决

评论

帐  号: 密码: (新用户注册)
验 证 码:
表  情:
内  容:

·“我用Java 8”已成 (2025-12-26 11:19:54)
·下载 IntelliJ IDEA (2025-12-26 11:19:52)
·Java是什么?(通俗 (2025-12-26 11:19:49)
·雾里看花:真正意义 (2025-12-26 10:54:36)
·C++——模板(超详细 (2025-12-26 10:54:34)