原创 Centos7安装Hadoop环境

发布时间:2021-06-24 05:12:12 浏览 8 来源:猿笔记 作者:Monster

    ##软件版本介绍##,##前期准备##”每台主机节点都进行相同设置:在这里设置为master,命令语法为:#添加以下配置:***千万注意,不要在root权限下配置集群***,添加如下语句###3.安装Java并设置相应的环境变量###***Hadoop3.0之后的版本只支持Java8以后的版本***下载完jdk解压之后放置于/soft(目录可以更改)下载完之后在/etc/profile中配置相关的环境变量并将该文件夹的用户组权限和用户权限改为hadoop该文件夹下为所有需要安装的软件//修改权限***在配置ssh免密登陆之前


    #Centos7安装Hadoop环境记录#

    # #环境简介# #

    -虚拟机数量:3

    -操作系统版本:CentOS-7-x86_64-Minimal-2009.iso

    # #集群简介# #

    # #软件版本简介# #

    -**JDK版本**:jdk-8u281-linux-x64.tar.gz

    -**hadoop版本**:hadoop-3.2.2.tar.gz

    -**zookeeper版本**:

    -**hbase版本**:

    -**Storm版本**:

    -**kafka版本**:

    -**MySQL版本**:mysql-8.0.22-linux-glibc2.12-x86_64

    -**hive版本**:apache-hive-3.1.2

    -**Flume版本**:

    -**Spark版本**:

    # #初步准备# #

    每个主机节点都有相同的设置

    ###1.设置hostname

    这里设为master,命令语法为:

    [root@192~]sudohostnamectlset-hostnamemaster

    [root@master~]vi/etc/hosts

    #添加以下配置

    192.168.11.212master

    ###2.设置用户# # #

    ####新建用户hadoop####

    * * *小心:不要在根权限下配置群集* * *

    -新建hadoop用户组

    [root@master~]groupaddhadoop

    -新建用户hadoop,并将该用户添加到用户组hadoop

    [root@master~]useraddhadoop-ghadoop

    -为hadoop用户设置密码

    [root@master~]passwdhadoop

    ####添加sudo权限####

    -切换到root用户,修改/etc/sudoers文件

    [root@master~]vi/etc/sudoers

    添加以下语句:

    ##Allowroottorunanycommandsanywhere

    rootALL=(ALL)\tALL

    hadoopALL=(ALL)\tALL

    ###3.安装Java并设置相应的环境变量# # #

    * * * 3.0以后的Hadoop版本只支持8以后的Java8版本。* * *下载jdk并解压后放入/soft(目录可以更改)。下载后,在/etc/profile中配置相关环境变量。

    ####安装JDK####

    -准备JDK:jdk-8u281-linux-x64.tar.gz,将其上传到主机/home/hadoop目录

    -创建一个新的/软文件夹,并将该文件夹的用户组权限和用户权限更改为hadoop,所有要安装的软件都位于Hadoop中。

    //创建soft文件夹

    [hadoop@master/]$sudomkdir/soft

    //修改权限

    [hadoop@master/]$sudochownhadoop:hadoop/soft

    -解压jdk-8u281-linux-x64.tar.gz到/soft目录下,并创建符号链接

    //从/home/hadoop下解压到/soft

    [hadoop@master~]$tar-xzvfjdk-8u281-linux-x64.tar.gz-C/soft

    -在/etc/profile文件中配置环境变量,运行source/etc/profile,使其立即生效

    //进入profile

    [hadoop@master~]$sudovi/etc/profile

    //环境变量

    #jdk

    exportJAVA_HOME=/soft/jdk1.8.0_281

    exportJRE_HOME=/soft/jdk1.8.0_281/jre

    exportCLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib

    exportPATH=$PATH:$JAVA_HOME/bin

    //source立即生效

    [hadoop@master~]$source/etc/profile

    -验证安装配置是否成功

    [hadoop@master~]$java-version

    //显示如下

    javaversion"1.8.0_281"

    Java(TM)SERuntimeEnvironment(build1.8.0_281-b09)

    JavaHotSpot(TM)64-BitServerVM(build25.281-b09,mixedmode)

    * * *在配置ssh安全登录之前,先从主机克隆3个从机,然后验证它们的ip是否和上面一致,用Xshell连接,这样就可以多得到3台机器,都是用Java安装的。***

    ###4.SSH免密登陆###

    ####**配置sshd**

    -修改sshd配置文件

    [root@master~]vi/etc/ssh/sshd_config

    #删除以下3行中的“#”注释:

    RSAAuthenticationyes

    PubkeyAuthenticationyes

    AuthorizedKeysFile.ssh/authorized_keys

    -生成密钥

    [root@master~]su-hadoop

    [hadoop@master~]ssh-keygen-trsa

    不需要指定密码,直接回车即可。执行该命令后,将在hadoop用户的主目录(/home/hadoop/)中生成两个文件。ssh):

    id_rsa:私钥

    id_rsa.pub:公钥

    -将公钥导入身份验证文件

    [hadoop@master~]cat/home/hadoop/.ssh/id_rsa.pub>>/home/hadoop/.ssh/authorized_keys

    -设置文件访问权限

    [hadoop@master~]chmod700/home/hadoop/.ssh

    [hadoop@master~]chmod600/home/hadoop/.ssh/authorized_keys

    ###5.安装hadoop3.2###

    # # # #安装和配置环境变量

    -下载hadoop-3.2.2.tar.gz,将其上传到主机/home/hadoop目录

    -解压hadoop-3.2.2.tar.gz到/soft目录下,并创建符号链接

    //从/home/hadoop下解压到/soft

    [hadoop@master~]$tar-xzvfhadoop-3.2.2.tar.gz-C/soft

    -在/etc/profile文件中最后添加以下两行,运行source/etc/profile,使其立即生效

    //进入profile

    [hadoop@master~]$sudovi/etc/profile

    exportHADOOP_HOME=/soft/hadoop-3.2.2

    exportPATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

    //source立即生效

    [hadoop@master~]$source/etc/profile

    -验证安装配置是否成功

    [hadoop@master~]hadoopversion

    //显示

    Hadoop3.2.2

    Compiledbyrohithsharmakson2021-01-03T09:26Z

    Compiledwithprotoc2.5.0

    Fromsourcewithchecksum776eaf9eee9c0ffc370bcbc1888737

    Thiscommandwasrunusing/soft/hadoop-3.2.2/share/hadoop/common/hadoop-common-3.2.2.jar

    -在hadoop安装目录下设置相应的数据目录

    这些数据目录可以自行设置,只需在后续配置中指定对应的目录即可。

    在***/soft/hadoop***下新建文件夹***tmp***来做我们的临时目录。

    [hadoop@master~]mkdir-p/soft/hadoop/tmp#临时目录,存储临时文件

    [hadoop@master~]mkdir-p/soft/hadoop/hdfs/nn#namenode目录

    [hadoop@master~]mkdir-p/soft/hadoop/hdfs/dn#datanode目录

    [hadoop@master~]mkdir-p/soft/hadoop/yarn/nm#nodemanager目录

    -配置相关配置文件,在hadoop-3.2.2./etc/hadoop目录下。

    |文件|简介|

    |:------------:|:-----------------------------------:|

    |core-site.xml|核心配置文件|

    |dfs-site.xml|hdfs存储相关配置|

    |apred-site.xml|MapReduce相关的配置|

    |arn-site.xml|yarn相关的一些配置|

    |workers|用来指定从节点,文件中默认是localhost|

    |hadoop-env.sh|配置hadoop相关变量|

    # # # #修改配置文件

    -修改core-site.xml

    输入:

    [hadoop@master~]vicore-site.xml

    添加:

    fs.default.name

    hadoop.tmp.dir

    /soft/hadoop/tmp

    hadoop.proxyuser.hadoop.hosts

    *

    hadoop.proxyuser.hadoop.groups

    hadoop

    -修改hadoop-env.sh

    输入

    [hadoop@master~]vihadoop-env.sh

    将`${JAVA_HOME}`修改为自己的JDK路径

    exportJAVA_HOME=${JAVA_HOME}

    修改为:

    exportJAVA_HOME=/soft/jdk1.8.0_281

    -修改hdfs-site.xml

    输入:

    [hadoop@master~]vihdfs-site.xml

    添加:

    \t

    \tdfs.name.dir

    \t/soft/hadoop/hdfs/nn

    \tPathonthelocalfilesystemwheretheNameNodestoresthenamespaceandtransactionslogspersistently.

    \t

    \t

    \tdfs.data.dir

    \t/soft/hadoop/hdfs/dn

    \tCommaseparatedlistofpathsonthelocalfilesystemofaDataNodewhereitshouldstoreitsblocks.

    \t

    \t

    \tdfs.replication

    \t2

    \t

    \t

    \t\tdfs.permissions

    \t\ttrue

    \t\tneedpermissions

    \t

    \t

    \tdfs.http.address

    \t0.0.0.0:50070

    \t

    * * *描述:在dfs.permissions设置为false后,您可以允许在不检查权限的情况下生成dfs上的文件。方便,但需要防止意外删除。请将其设置为真,或直接设置属性

作者信息

Monster [等级:3] 开发工程师
发布了 1 篇专栏 · 获得点赞 1 · 获得阅读 8

相关推荐 更多