Hadoop高可用配置( 二 )

dfs.webhdfs.enabledtrue
(3)修改-site.xml
mapreduce.framework.nameyarnmapreduce.jobhistory.addresszhiyou101:10020mapreduce.jobhistory.webapp.addresszhiyou101:19888
(4)yarn-site.xml
yarn.resourcemanager.ha.enabledtrueyarn.resourcemanager.cluster-idyrcyarn.resourcemanager.ha.rm-idsrm1,rm2yarn.resourcemanager.hostname.rm1test01yarn.resourcemanager.hostname.rm2test02yarn.resourcemanager.zk-addresstest01:2181,test02:2181,test03:2181yarn.nodemanager.aux-servicesmapreduce_shuffle
(5)-env.sh
配置即可
(6)修改文件()
test01test02test03
4.同步
将Java,,,/etc/,/etc/hosts文件同步
同步过的不需要重复同步
5.启动集群
1)分别启动
[root@ bin]# ./.sh start
2)在,02,03分别上启动集群
[root@ sbin]# ./-.sh start
,to /usr/local/-2.7.3/logs/-root--.out
[root@ sbin]# jps
2609
2569
2671 Jps
3)在上格式化zkfc
[root@ sbin]# hdfs zkfc -
4)在上格式化hdfs
[root@ sbin]#-
5)在上启动
[root@ sbin]# ./-.sh start
[root@ sbin]# jps
2609
2871 Jps
2569
2798
6)在上启动数据同步和的
[root@ sbin]# hdfs-
[root@ sbin]# ./-.sh start
7)在 上启动
[root@ sbin]# ./-.sh start
8)在上启动yarn
[root@ sbin]# ./start-yarn.sh

Hadoop高可用配置

文章插图
[root@ sbin]# jps
2849
3363 Jps
2708
3076
2760
2970
9)在上单独启动
[root@ sbin]# ./yarn-.sh start
10)在上启动zkfc
[root@ sbin]# ./-.sh start zkfc
说明:第二次启动只需要启动,hdfs和yarn即可,不需要这么麻烦了
6.查看
三、测试高可用
1.状态
()
()
2.干掉上的
[root@ sbin]# kill -9 [进程id]就是jps前边的数字
问题:
把干掉后应该自动变成模式,但是没有变化 。
系统在任何时候只有一个节点处于状态 。
在主备切换的时候,会变成状态,原来的 就不能再处于状态了,
否则两个同时处于状态会有问题 。所以在的时候要设置防止2个都处于状态的方法,可以是Java类或者脚本 。
的方法目前有两种,和shell
方法是指通过ssh登陆到 节点杀掉进程,所以你需要设置ssh无密码登陆,还要保证有杀掉进程的权限 。
解决办法:
在主、备节点上安装fuser(节点不用安装)
[root@ sbin]# yum -y
[root@ sbin]# yum -y
3.重新测试
干掉进程,访问页面
【Hadoop高可用配置】4.创建文件夹