Hadoop集群搭建 - 张拓的天空

发表评论
423 次浏览

A+

摘要

一、介绍Linux
Linux是一款开源免费的操作系统。Linux是一套免费使用和自由传播的类Unix操作系统，是一个基于POSIX和UNIX的多用户、多任务、支持多线程和多CPU的操作系统。Linux继承了Unix以网络为核心的设计思想，是一个性能稳定的多用户网络操作系统。目前市面上较知名的发行版有：Ubuntu、RedHat、CentOS、Debain、Fedora、SuSE、OpenSUSE。
二、VMwareWorkstation 虚拟机安装
这里推荐https://www.jb51.net/article/169669.htm的安装教程，就不再多赘述了。
三、为虚拟机安装Centos操作系统
这里推荐https://blog.csdn.net/guo_ridgepole/article/details/78973763的安装教程，就不再多赘述了。
四、网络连接模式（个人选择的桥接模式）

五、虚拟机环境准备
1.克隆虚拟机并修改静态ip，这里搭建集群需要三台或者多台（但必须是单数的）https://blog.csdn.net/qq_42774325/article/details/81189033
2.修改主机名
vim /etc/hostanme向其中加入自己想要取的主机名master，另外两台分别为slaver01和slaver02，修改之后重启一下。
3.添加主机映射
vim /etc/hosts

便宜好用的国外VPS推荐

一、介绍Linux
Linux是一款开源免费的操作系统。Linux是一套免费使用和自由传播的类Unix操作系统，是一个基于POSIX和UNIX的多用户、多任务、支持多线程和多CPU的操作系统。Linux继承了Unix以网络为核心的设计思想，是一个性能稳定的多用户网络操作系统。目前市面上较知名的发行版有：Ubuntu、RedHat、CentOS、Debain、Fedora、SuSE、OpenSUSE。
二、VMwareWorkstation 虚拟机安装
这里推荐https://www.jb51.net/article/169669.htm的安装教程，就不再多赘述了。
三、为虚拟机安装Centos操作系统
这里推荐https://blog.csdn.net/guo_ridgepole/article/details/78973763的安装教程，就不再多赘述了。
四、网络连接模式（个人选择的桥接模式）
Hadoop集群搭建
五、虚拟机环境准备
1.克隆虚拟机并修改静态ip，这里搭建集群需要三台或者多台（但必须是单数的）https://blog.csdn.net/qq_42774325/article/details/81189033
2.修改主机名
vim /etc/hostanme向其中加入自己想要取的主机名master，另外两台分别为slaver01和slaver02，修改之后重启一下。
3.添加主机映射
vim /etc/hosts

192.168.3.22 master 192.168.3.23 slaver01 192.168.3.24 slaver02

4.关闭防火墙
systemctl service firewall
5.设置ssh免密登录
ssh免密登录

ssh-keygen -t rsa ssh-copy-id master ssh-copy-id slaver01 ssh-copy-id slaver02

另外两台机子重复类似操作。
六、安装JDK
1.卸载原有的jdk
rpm -qa |grep java |xargs prm -e --nodeps
2.解压（这里的包是已经在opt目录下的，我在opt目录下创建的module文件夹，专门存放大数据集群或组件的安装目录）
tar -zxvf jdk-8u144-linux-x64.tar.gz -C /opt/module/
3.改名
mv jdk1.8.0_231/ /opt/module/java
4/添加配置 vim /etc/profile

#JAVA_HOME export JAVA_HOME=/opt/module/java export PATH=$PATH:$JAVA_HOME/bin

使环境变量生效：source /etc/profile

5.测试是否安装成功
java -version
七、安装Hadoop
1解压
tar -zxvf /opt/hadoop-2.7.5.tar.gz -C /opt/module
2改名
mv hadoop-2.7.5/ /opt/module/hadoop

3修改配置 vim /etc/profile

##HADOOP_HOME export HADOOP_HOME=/opt/module/hadoop export PATH=$PATH:$HADOOP_HOME/bin export PATH=$PATH:$HADOOP_HOME/sbin

生效：source /etc/profile
4测试
hadoop version
八、修改Hadoop配置
1.配置core-site.xml
vim core-site.xml

<!-- 指定HDFS中NameNode的地址 --> <property> 	<name>fs.defaultFS</name>     <value>hdfs://master:9000</value> </property>  <!-- 指定Hadoop运行时产生文件的存储目录 --> <property> 	<name>hadoop.tmp.dir</name> 	<value>/opt/module/hadoop/data/tmp</value> </property>

2.配置hadoop-env.sh,添加jdk路径。
vim hadoop-env.sh
export JAVA_HOME=/opt/module/java

3.配置hdfs-site.xml
vim hdfs-site.xml

<property> 	<name>dfs.replication</name> 	<value>3</value> </property>  <!-- 指定Hadoop辅助名称节点主机配置 --> <property>     <name>dfs.namenode.secondary.http-address</name>     <value>slaver02:50090</value> </property>

4.配置yarn-env.sh,添加jdk路径
vim yarn-env.sh
export JAVA_HOME=/opt/module/java

5.配置yarn-site.xml
vim yarn-site.xml
在该文件中增加如下配置

<!-- reducer获取数据的方式 --> <property> 	<name>yarn.nodemanager.aux-services</name> 	<value>mapreduce_shuffle</value> </property>  <!-- 指定YARN的ResourceManager的地址 --> <property> 	<name>yarn.resourcemanager.hostname</name> 	<value>slaver01</value> </property>

6配置mapred-env.sh，添加jdk路径。
vim mapred-env.sh
export JAVA_HOME=/opt/module/java
7配置mapred-site.xml
cp mapred-site.xml.template mapred-site.xml
vi mapred-site.xml
在该文件中增加如下配置

<!-- 指定mr运行在yarn上 --> <property>       <name>mapreduce.framework.name</name>       <value>yarn</value> </property>

九、分发集群

scp -r /opt/module  root@slaver01:/opt/module scp -r /opt/module  root@slaver02:/opt/module

在每个从节点使环境变量生效：source /etc/profile
十、启动hadoop集群
1.首先格式化hadoop集群
hadoop namenode -format
2.启东hadoop，进入sbin目录下
./start-all.sh
3.检查服务
jps

便宜好用的国外VPS推荐