Hadoop开发环境搭建
一、实验目的
通过学习完成安装Hadoop所需环境的搭建工作。
二、实验设备与器件
PC机、Tempo大数据成长平台
三、实验内容
Hadoop用户创建
本课程需要创建一个名称为hadoop的普通用户，后续所有操作都会使用该用户名登录到Linux系统。
在右侧命令行中使用如下命令创建一个hadoop用户：
sudo useradd -m hadoop -s /bin/bash
这条命令创建了可以登陆的 hadoop 用户，并使用 /bin/bash 作为 Shell。
接着使用如下命令为hadoop用户设置密码
sudo passwd hadoop
由于处于学习阶段，不需要把密码设置得过于复杂，本课程把密码简单设置为hadoop，方便记忆。需要按照提示输入两次密码。
然后，可为hadoop用户增加管理员权限，以方便部署，避免一些对于新手来说比较棘手的权限问题，命令如下：
sudo adduser hadoop sudo1
之后可为hadoop用户配置操作免密，命令如下：
echo 'hadoop ALL=(ALL) NOPASSWD:ALL' >> /etc/sudoers1
最后，在命令行界面输入以下命令，将登录用户切换为刚创建的hadoop用户。
su hadoop
更新APT
为了确保Hadoop安装过程顺利进行，建议执行下面命令更新APT软件：
sudo apt-get update
注意：如果上面的命令执行失败，很可能代表你处在内网环境下，无法访问到ubuntu的源仓库，可以通过如下命令切换为私有源后再更新软件源：
sudo sed -i 's#http://mirrors.aliyun.com/ubuntu/#http://nexus3.plugins.svc/repository/ubuntu/#g' /etc/apt/sources.list
安装SSH
Ubuntu默认已安装了SSH客户端，因此，这里还需要安装SSH服务端，请在右侧命令行中执行以下命令：
sudo apt-get -y install openssh-server
SSH服务端安装后，需先启动SSH服务：
sudo service ssh start
服务启动之后即可使用如下命令登录本机：
ssh localhost
执行该命令后会，会出现“yes/no”选择提示，输入“yes”，然后按提示输入密码hadoop，就登录到本机了。
然后，请输入命令“exit”退出刚才的SSH，就回到了原先的终端窗口；然后，可以利用ssh-keygen生成密钥，并将密钥加入到授权中，命令如下：
# 若没有该目录，请先执行一次ssh localhostcd ~/.ssh/# 会有提示，都按回车即可
ssh-keygen -t rsa # 加入授权cat ./id_rsa.pub >> ./authorized_keys
此时，再执行ssh localhost命令，无需输入密码就可以直接登录了。
安装Java环境
由于Hadoop本身是使用Java语言编写的，因此，Hadoop的开发和运行都需要Java的支持，对于Hadoop3.1.3而言，要求使用JDK1.8或者更新的版本。
系统所需JDK1.8安装包已预先存放至/opt目录下，这里我们使用如下版本的JDK。
首先执行如下命令创建“/usr/lib/jvm”目录用来存放JDK文件：
cd /usr/lib#创建/usr/lib/jvm目录用来存放JDK文件sudo mkdir jvm
执行如下命令对安装文件进行解压缩：
cd /optsudo tar -zxvf ./jdk-8u202-linux-x64.tar.gz -C /usr/lib/jvm
下面继续执行如下命令，设置环境变量：
vim ~/.bashrc
上面命令使用vim编辑器打开了hadoop这个用户的环境变量配置文件，请在这个文件的开头位置，添加如下几行内容：
export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_202export JRE_HOME=${JAVA_HOME}/jreexport CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/libexport PATH=${JAVA_HOME}/bin:$PATH
保存.bashrc文件并退出vim编辑器。然后，继续执行如下命令让.bashrc文件的配置立即生效：
source ~/.bashrc
这时，可以使用如下命令查看是否安装成功：
java -version
如果能够在屏幕上返回如下信息，则说明安装成功：
java version "1.8.0_202"
Java(TM) SE Runtime Environment (build 1.8.0_202-b08)
Java HotSpot(TM) 64-Bit Server VM (build 25.202-b08, mixed mode)
至此，就成功安装了Java环境。之后就可以进入Hadoop的安装。
编程要求
在右侧命令行中进行如下操作：
· 根据上述步骤完成安装Hadoop所需环境的搭建。
· 创建名为Hadoop的普通用户。
· 更新APT软件。
· 完成SSH的安装。
· 完成Java环境的安装。
测试说明
在按编程要求完成操作后，请点击评测按钮，系统会自动对你的操作进行评测。
当你的结果与预期输出一致时，即为通过。
预期输出：
Hadoop用户创建成功
SSH安装成功
Java环境安装成功
