Hadoop, IT

Hadoop2.7.5集群搭建

前两篇文章针对Hadoop的伪分布式计算搭建以及Python程序运行进行了讲解。本文将针对如何实现Hadoop的真实集群搭建进行介绍。文章参考网上资源,如有不对之处请指出(图文运行时间有些不是同一次)。

主要步骤:

1、虚拟机建立。本文用VM建立3台虚拟机(master+slave01/slave02);

2、配置虚拟机之间通讯,设置/etc/hosts实现各个机器之间能够ping成功,同时安装openssh实现无密码登陆,具体ssh无密码登录命令设置:

$: ssh-keygen -t rsa

$: cat  id_rsa.pub >> authorized_keys

之后利用scp命令并将上述配置分发到节点机器上,并设置权限:chmod 644 authorized_keys

3、安装jdk和hadoop2.7.5。

由于作者电脑安装虚拟机之后出现联网故障。故均采用tar解压安装,具体同前面单机和伪分布式配置一样操作,采用这种方法进行安装需要注意编译设置问题。

4、将安装配置及环境变量设置分发至其它节点机器(除了用scp,当做修改变更可用rsync -auvx xxx1 xxxx2 在不同机器之间同步)。

5、配置完成之后,其他操作和设置均与单机版和伪分布式操作一致。

hdfs namenode -format

start-all.sh

hadoop fs -mkdir /input

hadoop fs -input xxx(上传内容) /input

hadoop jar xxx/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.5.jar wordcount /input /output

hadoop fs -ls /output

hadoop fs -cat /output/part-r-00000 

完成上述操作,成功运行实例。

参考:

hadoop学习之hadoop完全分布式集群安装

Hadoop集群配置(最全面总结)

小民同学

Author: 小民同学

互联网+“数值模拟工程师”!

发表评论

电子邮件地址不会被公开。 必填项已用*标注