- A+
1.下载、上传、解压,添加环境变量。
tar zxf /opt/software/hadoop-2.7.6.tar.gz -C /usr/local/src
2.JAVA_HOME
hadoop-env.sh :修改JAVA_HOME
export JAVA_HOME=/usr/local/src/jdk1.8.0_181
3.NameNode
hdfs-site.xml :namenode命令的存放路径; namenode的数据存放路径; 设置备份数
<configuration> <property> <name>dfs.namenode.name.dir</name> <value>file:/usr/local/src/hadoop/dfs/name</value> </property> <property> <name>dfs.datanode.data.dir</name> <value>file:/usr/local/src/hadoop/dfs/data</value> </property> <property> <name>dfs.replication</name> <value>3</value> </property> </configuration>
4.HDFS
core-site.xml :hdfs的访问地址和端口;设置缓存大小;临时文件存放路径
<configuration> <property> <name>fs.defaultFS</name> <value>hdfs://master:9000</value> </property> <property> <name>io.file.buffer.size</name> <value>131072</value> </property> <property> <name>hadoop.tmp.dir</name> <value>file:/usr/local/src/hadoop/tmp</value> </property> </configuration>
5.MapReduce
cp mapred-site.xml.template mapred-site.xml
mapred-site.xml : 设置MapReduce的资源管理器;设置MapReduce执行历史存放路径;MapReduce提供的web访问地址
<configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> <property> <name>mapreduce.jobhistory.address</name> <value>master:10020</value> </property> <property> <name>mapreduce.jobhistory.webapp.address</name> <value>master:19888</value> </property> </configuration>
6.YARN
yarn-site : 设置yarn为客户端提供服务时进入的地址和端口;设置yarn访问MapReduce作业的进入端口;yarn汇报存活的发送端口;yarn接收对管理员命令的进入端口;yarn提供Web查看的端口;yarn允许通过nodemanager节点自定义服务
<configuration> <property> <name>yarn.resourcemanager.address</name> <value>master:8032</value> </property> <property> <name>yarn.resourcemanager.scheduler.address</name> <value>master:8030</value> </property> <property> <name>yarn.resourcemanager.resource-tracker.address</name> <value>master:8031</value> </property> <property> <name>yarn.resourcemanager.admin.address</name> <value>master:8033</value> </property> <property> <name>yarn.resourcemanager.webapp.address</name> <value>master:8080</value> </property> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> <property> <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name> <value>org.apache.hadoop.mapred.ShuffleHandler</value> </property> </configuration>
7.masters
vi masters
192.168.28.130
8.slavers
vi slaves
192.168.28.130 192.168.28.131 192.168.28.132
9.分发、添加环境变量
scp -r /usr/local/src/hadoop-2.7.6 root@slaver1:/usr/local/src/ scp -r /usr/local/src/hadoop-2.7.6 root@slaver2:/usr/local/src/
10.初始化
hdfs namenode -format
11.启动集群
start-all.sh
start-dfs.sh ; start-yarn.sh
ps:
协议: file: 本地协议 hdfs:// hdfs协议
pps:
查看java环境变量所指位置: echo $JAVA_HOME
打tar包: tar zcvf etc.tar.gz etc
标签里不能有空格,否则节点启动不起来,会报这个错误:Incorrect configuration: namenode address dfs.namenode.servicerpc-address or dfs.namenode.rpc-address is not configured.Starting namenodes on []
NameNode 主 DataNode 从 SecondaryNameNode 主备 NodeManager 每一台机器管理自己节点的 ResourceManager 资源管理器 Jps 查看命令本身
重做以前先关闭所有节点 stop-all.sh stop-dfs.sh ; stop-yarn.sh
slaves不能关闭master的所有节点
ppps:
重新格式化:rm -rf /usr/local/src/hadoop;hdfs namenode -format
下载链接:
配置文件