伪分布式 CentOS 7部署Hadoop

Linux系统配置SSH免密登录(多主机互通)
修改配置文件
1、进入/usr/local//etc//目录 , 可以看到如下配置文件 , 如果需要修改的文件不存在 , 那就创建一个 , vi命令可以直接创建
[hadoop@master100 ~]$ cd /usr/local/hadoop/etc/hadoop/[hadoop@master100 hadoop]$ ll总用量 152-rw-r--r--. 1 hadoop hadoop4436 8月18 2016 capacity-scheduler.xml-rw-r--r--. 1 hadoop hadoop1335 8月18 2016 configuration.xsl-rw-r--r--. 1 hadoop hadoop318 8月18 2016 container-executor.cfg-rw-r--r--. 1 hadoop hadoop774 8月18 2016 core-site.xml-rw-r--r--. 1 hadoop hadoop3589 8月18 2016 hadoop-env.cmd-rw-r--r--. 1 hadoop hadoop4224 8月18 2016 hadoop-env.sh-rw-r--r--. 1 hadoop hadoop2598 8月18 2016 hadoop-metrics2.properties-rw-r--r--. 1 hadoop hadoop2490 8月18 2016 hadoop-metrics.properties-rw-r--r--. 1 hadoop hadoop9683 8月18 2016 hadoop-policy.xml-rw-r--r--. 1 hadoop hadoop775 8月18 2016 hdfs-site.xml-rw-r--r--. 1 hadoop hadoop1449 8月18 2016 httpfs-env.sh-rw-r--r--. 1 hadoop hadoop1657 8月18 2016 httpfs-log4j.properties-rw-r--r--. 1 hadoop hadoop21 8月18 2016 httpfs-signature.secret-rw-r--r--. 1 hadoop hadoop620 8月18 2016 httpfs-site.xml-rw-r--r--. 1 hadoop hadoop3518 8月18 2016 kms-acls.xml-rw-r--r--. 1 hadoop hadoop1527 8月18 2016 kms-env.sh-rw-r--r--. 1 hadoop hadoop1631 8月18 2016 kms-log4j.properties-rw-r--r--. 1 hadoop hadoop5511 8月18 2016 kms-site.xml-rw-r--r--. 1 hadoop hadoop 11237 8月18 2016 log4j.properties-rw-r--r--. 1 hadoop hadoop931 8月18 2016 mapred-env.cmd-rw-r--r--. 1 hadoop hadoop1383 8月18 2016 mapred-env.sh-rw-r--r--. 1 hadoop hadoop4113 8月18 2016 mapred-queues.xml.template-rw-r--r--. 1 hadoop hadoop758 8月18 2016 mapred-site.xml.template-rw-r--r--. 1 hadoop hadoop10 8月18 2016 slaves-rw-r--r--. 1 hadoop hadoop2316 8月18 2016 ssl-client.xml.example-rw-r--r--. 1 hadoop hadoop2268 8月18 2016 ssl-server.xml.example-rw-r--r--. 1 hadoop hadoop2191 8月18 2016 yarn-env.cmd-rw-r--r--. 1 hadoop hadoop4567 8月18 2016 yarn-env.sh-rw-r--r--. 1 hadoop hadoop690 8月18 2016 yarn-site.xml
2、修改core-site.xml文件
[hadoop@master100 hadoop]$ vi core-site.xml
配置文件如下:
hadoop.tmp.dirfile:/usr/local/hadoop/tmp指定hadoop运行时产生文件的存储路径fs.defaultFShdfs://localhost:9000hdfs namenode的通信地址,通信端口
3、修改hdfs-site.xml
vi hdfs-site.xml
配置文件如下:
dfs.replication1指定HDFS存储数据的副本数目 , 默认情况下是3份dfs.namenode.name.dirfile:/usr/local/hadoop/hadoopdata/namenodenamenode存放数据的目录dfs.datanode.data.dirfile:/usr/local/hadoop/hadoopdata/datanodedatanode存放block块的目录dfs.permissions.enabledfalse关闭权限验证
4、修改-site.xml
/usr/local//etc/文件夹中并没有-site.xml文件 , 但提供了模板-site.xml. , 将其复制一份重命名为-site.xml 即可
[hadoop@master100 hadoop]$ cp mapred-site.xml.template mapred-site.xml[hadoop@master100 hadoop]$ vi mapred-site.xml
配置文件如下:
mapreduce.framework.name