甘肃龙网

  1. 首页 > 生活 > >

Hadoop高可用配置

生活百科root权限

一、何为高可用
1.HA存在的背景
.0之前，在HDFS集群中存在单点故障（SPOF），对于只有一个的集群，若出现故障，则整个集群将无法使用，直到重启 。
主要在以下两个方面影响集群
机器出现意外，如宕机，集群将无法使用，直到管理员重启
机器需要升级，包括软件，硬件升级，此时集群也将无法使用
HDFS HA功能通过/两个实现集群中对的热备来解决上述问题 。如出现故障，此时很快切换到另外一台机器上 。
2.工作原理图
3.原理说明
1、 对外提供服务和 时刻待机准备的
2、保证两个任何时候都是元数据同步的
3、 同样需要去读取和edits文件，edits变化后的数据文件同样也是需要实时同步的
4、如何同步日志信息
公司提出一个方案，分布式存储日志文件，编辑日志文件写入，一写写多份，结合之前讲解的ZK的2n+1的概念
策略：写多份，再读取，前提条件节点数目必须是奇数个，和 有一块共享存储日志的区域
5、日志节点：专门管理编辑日志文件的
注意在HA的架构下，就不需要了
JN日志节点是一个轻量级的，所以可以和的其他守护线程放在一起
6、需要向 实时汇报块的状态信息
7、如何帮助客户端判断HDFS正在提供服务的
通过代理的方式判断
8、在任何时刻下，必须要保证只有一个对外提供服务
当两个启动以后，由ZK来完成选举，选举出一个
隔离机制
二、如何配置
1 集群规划
节点准备：3个节点
：3台
：2台
：多多益善（3台）
：与保持一致
：2台
2.准备工作
1.ip静态化
2.防火墙关闭
3.配置ssh免密登录
4.配置jdk ,环境变量
5.配置
3.配置
1）修改hosts文件
#127.0.0.1localhost localhost.localdomain localhost4 localhost4.localdomain4#::1localhost localhost.localdomain localhost6 localhost6.localdomain6#前面的给注释掉#添加映射 只有一台 添加一个映射，如果多台 全部添加192.168.241.201 test01192.168.241.202 test02192.168.241.203 test03
2）修改配置文件（把原先的文件存储目录给干掉，之前配置过所以三台节点都需要删除）

Hadoop高可用配置

文章插图
（1）修改core-site.xml
fs.defaultFS hdfs://ns hadoop.tmp.dir /var/hadoop/tmp ha.zookeeper.quorum test01:2181,test02:2181,test03:2181 ipc.client.connect.max.retries100ipc.client.connect.retry.interval10000
（2）修改hdfs-site.xml
dfs.nameservicesnsdfs.ha.namenodes.nsnn1,nn2dfs.namenode.rpc-address.ns.nn1test01:9000dfs.namenode.http-address.ns.nn1test01:50070dfs.namenode.rpc-address.ns.nn2test02:9000dfs.namenode.http-address.ns.nn2test02:50070dfs.namenode.shared.edits.dirqjournal://test01:8485;test02:8485;test03:8485/nsdfs.journalnode.edits.dir/var/hadoop/journaldfs.ha.automatic-failover.enabledtruedfs.client.failover.proxy.provider.nsorg.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProviderdfs.ha.fencing.methodssshfencedfs.ha.fencing.ssh.private-key-files/root/.ssh/id_rsadfs.namenode.name.dirfile:///var/hadoop/hdfs/namedfs.datanode.data.dirfile:///var/hadoop/hdfs/datadfs.replication3


上一篇：Mac无法连接到App Store并提示需要连接网络怎么办？

下一篇：假期高铁出行中旅客最容易忽视的问题 请多加注意