Hadoop版本问题

问题总结:进行更新时需要把整个环境停掉,否则会报数据文件被block的异常,因为hadoop,hbase更新非常快,为了防止每次yum方式加载新的节点时都要进行整个环境的停止,可以把yum版本在本地建立安装环境,通过本地进行yum安装

4、hadoop安装包:

hadoop-2.7.3.tar.gz

通过yum方式动态添加新的datanode,启动从机器datanode时,会报如下错误:

3、配置Hadoop

1)创建Hadoop用户及用户组,并授予执行命令的权限

添加用户组:groupadd hadoop

添加用户:useradd hadoop -g hadoop

设置密码:passwd hadoop

图片 1

授予权限

2)以hadoop用户登录,并将hadoop-2.7.3.tar.gz上传至用户根目录解压。变更目录名称为hadoop

图片 2

解压并变更目录名称为hadoop

3)修改/home/hadoop/hadoop/etc/hadoop/hadoop-env.sh, 配置java环境

图片 3

配置Hadoop的java环境

4)修改/home/hadoop/hadoop/etc/hadoop/core-site.xml及hdfs-site.xml文件,保存完成后执行hdfs
namenode -format格式化hdfs。

图片 4

图片 5

编辑core-site.xml

图片 6

编辑hdfs-site.xml

5)以root用户登陆,编辑/etc/profile文件,配置HADOOP_HOME并更新PATH变量,然后执行source
/etc/profile使之生效。可执行hadoop命令查看最终效果。

图片 7

配置hadoop环境变量

master上执行:hadoop namenode -upgrade

一、环境及软件说明

图片 8

1、复制虚拟系统

图片 9

将master复制slave1

图片 10

图片 11

依照以上分别复制出slave1、slave2、slave3,并分别修改对应IP和host那么为

192.168.56.201 slave1 ;192.168.56.202 slave2 ;192.168.56.203 slave3 .

图片 12

这是由于master和slave不一致造成的,这时可以把更新namenode和datanode来解决:

2、修改Hostname

1)在centos7环境下,执行hostnamectl set-hostname
master命令,将主机名称设置为master(重新登陆后生效)。

图片 13

配置hostname

图片 14

主机名称:master

2)编辑/etc/hosts/文件,预先添加slave1、slave2、slave3

图片 15

添加host信息

slave上执行:hadoop datanode -upgrade

1、虚拟机软件:

Oracle VM VirtualBox
5.2.0
 

HadoopFATALorg.apache.hadoop.hdfs.server.datanode.DataNode:
Incompatible build versions:namenode BV = ; datanode BV = 911707

1、安装配置JAVA环境

1)上传jdk-8u121-linux-x64.rpm到root用户根目录

2)执行rpm -ivh
jdk-8u121-linux-x64.rpm命令进行jdk解压安装,会默认安装在/usr/java/目录下。

图片 16

安装jdk

图片 17

默认路径

3)
编辑/etc/profile文件,配置JAVA_HOME、PATH、CLASSPATH,保存后执行source
/etc/profile命令是java环境变量配置生效。

图片 18

配置java环境变量

图片 19

java版本

4、集群统一管理

登陆master设备,修改/home/hadoop/hadoop/etc/hadoop/slaves文件,将slave1、slave2、slave3添加到其中,配置datanode(slave)节点信息并保存。

图片 20

master添加slave信息

至此,可在master管理整个集群。

start-dfs.sh 启动集群

stop-dfs.sh 停止集群

三、配置基础环境

1、安装virtualBox

完成后会在电脑产生一块虚拟网卡:VirtualBox Host-Only
Network,其默认地址为192.168.56.1
,此次安装将会基于VirtaulBox的Host-Only网络模式。

2、安装Centos7 系统

按照网络教程安装。注意,这里在安装时,“软件选择” 以
“基础设施服务器”的模式安装。安装完成后,将当前系统IP设置为192.168.56.200,并开启ssh服务。

相关文章