【云计算】Hadoop运行环境搭建及Linux网络配置和系统管理操作-职坐标

【云计算】Hadoop运行环境搭建及Linux网络配置和系统管理操作

小标 2019-02-20 来源：阅读 1068 评论 0

摘要：本文主要向大家介绍了【云计算】Hadoop运行环境搭建及Linux网络配置和系统管理操作，通过具体的内容向大家展现，希望对大家学习云计算有所帮助。

本文主要向大家介绍了【云计算】Hadoop运行环境搭建及Linux网络配置和系统管理操作，通过具体的内容向大家展现，希望对大家学习云计算有所帮助。

【云计算】Hadoop运行环境搭建及Linux网络配置和系统管理操作

虚拟机环境准备

1. 克隆虚拟机

2. 修改克隆虚拟机的静态ip

修改IP地址，如图
[root@hadoop100 桌面]#vim /etc/sysconfig/network-scripts/ifcfg-eth0

下图红框选中的项必须修改，有值的按照下面的值修改，没有该项的要增加。
DEVICE=eth0                #接口名（设备,网卡）
HWADDR=00:0C:2x:6x:0x:xx   #MAC地址
TYPE=Ethernet               #网络类型（通常是Ethemet）
UUID=926a57ba-92c6-4231-bacb-f27e5e6a9f44  #随机id
#系统启动的时候网络接口是否有效（yes/no）
ONBOOT=yes
# IP的配置方法[none|static|bootp|dhcp]（引导时不使用协议|静态分配IP|BOOTP协议|DHCP协议）
BOOTPROTO=static
#IP地址
IPADDR=192.168.1.101
#网关
GATEWAY=192.168.1.2
#域名解析器
DNS1=192.168.1.2

修改后

:wq 保存退出

执行service network restart

如果报错，reboot，重启虚拟机

3. 修改主机名

①hostname 显示和设置系统的主机名称

（1）基本语法

hostname （功能描述：查看当前服务器的主机名称）

（2）举个栗子

查看当前服务器主机名称

[root@hadoop100 桌面]# hostname

②修改主机名称

（1）修改linux的主机映射文件（hosts文件）

Ⅰ.进入Linux系统查看本机的主机名。通过hostname命令查看

[root@hadoop100 桌面]# hostname
hadoop100

Ⅱ.如果感觉此主机名不合适，我们可以进行修改。通过编辑/etc/sysconfig/network文件

[root@hadoop100 桌面]# vi /etc/sysconfig/network

#文件中内容
NETWORKING=yes
NETWORKING_IPV6=no
HOSTNAME= hadoop100
#注意：主机名称不要有“_”下划线

Ⅲ.打开此文件后，可以看到主机名。修改此主机名为我们想要修改的主机名hadoop100。

Ⅳ.保存退出。

Ⅴ.打开/etc/hosts

[root@hadoop100 桌面]# vim /etc/hosts

#添加如下内容
192.168.1.100 hadoop100
192.168.1.101 hadoop101
192.168.1.102 hadoop102
192.168.1.103 hadoop103
192.168.1.104 hadoop104
192.168.1.105 hadoop105
192.168.1.106 hadoop106
192.168.1.107 hadoop107
192.168.1.108 hadoop108

Ⅵ.并重启设备，重启后，查看主机名，已经修改成功

（2）修改windows7的主机映射文件（hosts文件）

Ⅰ.进入C:\Windows\System32\drivers\etc路径

Ⅱ.打开hosts文件并添加如下内容

192.168.1.100 hadoop100
192.168.1.101 hadoop101
192.168.1.102 hadoop102
192.168.1.103 hadoop103
192.168.1.104 hadoop104
192.168.1.105 hadoop105
192.168.1.106 hadoop106
192.168.1.107 hadoop107
192.168.1.108 hadoop108

（3）修改windows10的主机映射文件（hosts文件）

Ⅰ.进入C:\Windows\System32\drivers\etc路径

Ⅱ.拷贝hosts文件到桌面

Ⅲ.打开桌面hosts文件并添加如下内容

Ⅳ.将桌面hosts文件覆盖C:\Windows\System32\drivers\etc路径hosts文件

4. 关闭防火墙

①service 后台服务管理

（1）基本语法

service 服务名 start （功能描述：开启服务）

service 服务名 stop （功能描述：关闭服务）

service 服务名 restart （功能描述：重新启动服务）

service 服务名 status （功能描述：查看服务状态）

（2）老司机带路

查看服务的方法：/etc/init.d/服务名

[root@hadoop100 init.d]# pwd
/etc/init.d
[root@hadoop100 init.d]# ls -al

（3）举个栗子

Ⅰ.查看网络服务的状态

[root@hadoop100 桌面]#service network status

Ⅱ .停止网络服务

[root@hadoop100 桌面]#service network stop

Ⅲ. 启动网络服务

[root@hadoop100 桌面]#service network start

Ⅳ. 重启网络服务

[root@hadoop100 桌面]#service network restart

Ⅴ.查看系统中所有的后台服务

[root@hadoop100 桌面]#service --status-all

②chkconfig 设置后台服务的自启配置

（1）基本语法

chkconfig （功能描述：查看所有服务器自启配置）

chkconfig 服务名 off （功能描述：关掉指定服务的自动启动）

chkconfig 服务名 on （功能描述：开启指定服务的自动启动）

chkconfig 服务名 –list （功能描述：查看服务开机启动状态）

（2）举个栗子

Ⅰ.关闭iptables服务的自动启动

[root@hadoop100 桌面]#chkconfig iptables off

Ⅱ.开启iptables服务的自动启动

[root@hadoop100 桌面]#chkconfig iptables on

③关闭防火墙

（1）临时关闭防火墙

Ⅰ.查看防火墙状态

[root@hadoop100桌面]# service iptables status

Ⅱ.临时关闭防火墙

[root@hadoop100桌面]# service iptables stop

（2）开机启动时关闭防火墙

Ⅰ.查看防火墙开机启动状态

[root@hadoop100桌面]#chkconfig iptables --list

Ⅱ.设置开机时关闭防火墙

[root@hadoop100桌面]#chkconfig iptables off

5. 创建用户，如(admin)

①useradd 添加新用户

（1）基本语法

useradd 用户名（功能描述：添加新用户）
useradd -g 组名用户名（功能描述：添加新用户到某个组）

（2）举个栗子

添加一个用户

[root@hadoop101 ~]# useradd tangseng
[root@hadoop101 ~]#ll /home/

②passwd 设置用户密码

（1）基本语法

passwd 用户名（功能描述：设置用户密码）

（2）举个栗子

设置用户的密码

[root@hadoop101 ~]# passwd tangseng

③id 查看用户是否存在

（1）基本语法

id 用户名

（2）举个栗子

查看用户是否存在

[root@hadoop101 ~]#id tangseng

6. 配置admin(普通用户)用户具有root权限

①添加admin用户，并对其设置密码。

[root@hadoop101 ~]#useradd admin
[root@hadoop101 ~]#passwd admin

②修改配置文件

[root@hadoop101 ~]#vi /etc/sudoers

修改 /etc/sudoers 文件，找到下面一行(91行)，在root下面添加一行，如下:

## Allow root to run any commands anywhere
root ALL=(ALL) ALL
admin ALL=(ALL) ALL

或者配置成采用sudo命令时，不需要输入密码

## Allow root to run any commands anywhere
root ALL=(ALL) ALL
admin ALL=(ALL) NOPASSWD:ALL

修改完毕，现在可以用admin帐号登录，然后用命令 sudo ，即可获得root权限进行操作。

③举个栗子

用普通用户在/opt目录下创建一个文件夹

[admin@hadoop101 opt]$ sudo mkdir module
[root@hadoop101 opt]# chown admin:admin module/

7．在/opt目录下创建文件夹

①在/opt目录下创建module、software文件夹

[admin@hadoop101 opt]$ sudo mkdir module
[admin@hadoop101 opt]$ sudo mkdir software

②修改module、software文件夹的所有者

[admin@hadoop101 opt]$ sudo chown admin:admin module/ software/
[admin@hadoop101 opt]$ ll
总用量 8
drwxr-xr-x. 2 admin admin 4096 1月 17 14:37 module
drwxr-xr-x. 2 admin admin 4096 1月 17 14:38 software

安装jdk

①卸载现有jdk

（1）查询是否安装java软件：

[admin@hadoop101 opt]$ rpm -qa | grep java

（2）如果安装的版本低于1.7，卸载该jdk：

[admin@hadoop101 opt]$ sudo rpm -e 软件包

②用SecureCRT工具(或FileZilla Client)将jdk导入到opt目录下面的software文件夹下面，如图

“alt+p”进入sftp模式，如图

选择jdk1.8拖入，如图

③在linux系统下的opt目录中查看软件包是否导入成功

[admin@hadoop101 opt]$ cd software/
[admin@hadoop101 software]$ ls
hadoop-2.7.2.tar.gz jdk-8u144-linux-x64.tar.gz

④解压jdk到/opt/module目录下

[admin@hadoop101 software]$ tar -zxvf jdk-8u144-linux-x64.tar.gz -C /opt/module/

⑤配置jdk环境变量

（1）先获取jdk路径：

[atgui@hadoop101 jdk1.8.0_144]$ pwd
/opt/module/jdk1.8.0_144

（2）打开/etc/profile文件：

[admin@hadoop101 software]$ sudo vi /etc/profile

在profile文件末尾添加jdk路径：

#JAVA_HOME
export JAVA_HOME=/opt/module/jdk1.8.0_144
export PATH=$PATH:$JAVA_HOME/bin

（3）保存后退出：

:wq

（4）让修改后的文件生效：

[admin@hadoop101 jdk1.8.0_144]$ source /etc/profile

⑥测试jdk是否安装成功

[admin@hadoop101 jdk1.8.0_144]# java -version
java version "1.8.0_144"

注意：重启（如果java -version可以用就不用重启）

[admin@hadoop101 jdk1.8.0_144]$ sync
[admin@hadoop101 jdk1.8.0_144]$ sudo reboot

安装Hadoop

Hadoop下载地址：

https://archive.apache.org/dist/hadoop/common/hadoop-2.7.2/

①用SecureCRT工具(或FileZilla Client)将hadoop-2.7.2.tar.gz导入到opt目录下面的software文件夹下面

切换到sftp连接页面，选择Linux下编译的hadoop jar包拖入，如图

<img alt="拖入hadoZ喎�" http:="" www.2cto.com="" kf="" ware="" vc="" "="" target="_blank" class="keylink">vcLXEdGFysPw=" src="//www.2cto.com/uploadfile/Collfiles/20180811/20180811091304937.png" title="\" />

②进入到Hadoop安装包路径下

[admin@hadoop101 ~]$ cd /opt/software/

③解压安装文件到/opt/module下面

[admin@hadoop101 software]$ tar -zxvf hadoop-2.7.2.tar.gz -C /opt/module/

④查看是否解压成功

[admin@hadoop101 software]$ ls /opt/module/
hadoop-2.7.2

⑤将hadoop添加到环境变量

（1）获取hadoop安装路径：

[admin@ hadoop101 hadoop-2.7.2]$ pwd
/opt/module/hadoop-2.7.2

（2）打开/etc/profile文件：

[admin@ hadoop101 hadoop-2.7.2]$ sudo vi /etc/profile

在profie文件末尾添加jdk路径：（shitf+g）