Hadoop部署的基础设施操作详解

目录

官网导读基础设施

设置IP及主机名关闭防火墙&selinux设置hosts映射时间同步安装jdk设置SSH免秘钥



结论

官网导读

hadoop.apache.org/docs/r2.6.5…

支持最好的平台：GNU/Linux

依赖的软件：

Java™ must be installed. Recommended Java versions are described at HadoopJavaVersions.Hadoop基于Java开发，Java的移动性好ssh must be installed and sshd must be running to use the Hadoop scripts that manage remote Hadoop daemons.



部署模式：


Local (Standalone) Mode 单机模式，主要用于debugPseudo-Distributed Mode 伪分布式，
单节点多角色Fully-Distributed Mode 完全分布式，
多节点多角色

基础设施

操作系统、环境、网络、必须软件

设置IP及主机名关闭防火墙&selinux设置hosts映射时间同步安装jdk设置SSH免秘钥

设置IP及主机名

可以正常联网查看IP

1. [root@localhost ~]# ifconfig
2. ens33: flags=4163<UP,BROADCAST,RUNNING,MULTICAST>  mtu 1500
3.         inet 192.168.0.118  netmask 255.255.255.0  broadcast 192.168.0.255
4.         inet6 fe80::3db1:f589:4820:5457  prefixlen 64  scopeid 0x20<link>
5.         ether 00:0c:29:18:10:17  txqueuelen 1000  (Ethernet)
6.         RX packets 462062  bytes 670399544 (639.3 MiB)
7.         RX errors 0  dropped 0  overruns 0  frame 0
8.         TX packets 166351  bytes 11096211 (10.5 MiB)
9.         TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0
10. lo: flags=73<UP,LOOPBACK,RUNNING>  mtu 65536
11.         inet 127.0.0.1  netmask 255.0.0.0
12.         inet6 ::1  prefixlen 128  scopeid 0x10<host>
13.         loop  txqueuelen 1000  (Local Loopback)
14.         RX packets 84  bytes 13940 (13.6 KiB)
15.         RX errors 0  dropped 0  overruns 0  frame 0
16.         TX packets 84  bytes 13940 (13.6 KiB)
17.         TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0
18. virbr0: flags=4099<UP,BROADCAST,MULTICAST>  mtu 1500
19.         inet 192.168.122.1  netmask 255.255.255.0  broadcast 192.168.122.255
20.         ether 52:54:00:5a:69:e1  txqueuelen 1000  (Ethernet)
21.         RX packets 0  bytes 0 (0.0 B)
22.         RX errors 0  dropped 0  overruns 0  frame 0
23.         TX packets 0  bytes 0 (0.0 B)
24.         TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0
25. [root@localhost ~]# vi /etc/sysconfig/network-scripts/ifcfg-eth0
26. // 配置
27. DEVICE=eth0
28. #HWADDR=00:0C:29:42:15:C2
29. TYPE=Ethernet
30. ONBOOT=yes
31. NM_TROLLED=yes
32. BOOTPROTO=static
33. IPADDR=192.168.150.11
34. NETMASK=255.255.255.0
35. GATEWAY=192.168.150.2
36. DNS1=223.5.5.5
37. DNS2=114.114.114.114

复制代码 修改配置文件设置主机名

1. [root@localhost ~]# vi /etc/sysconfig/network
2. // 设置主机名并保存退出
3. HOSTNAME=node01

复制代码
关闭防火墙&selinux

1. //关闭防火墙
2. [root@localhost ~]# systemctl stop firewalld
3. //关闭开机启动防火墙
4. [root@localhost ~]# systemctl disable firewalld.service
5. Removed symlink /etc/systemd/system/multi-user.target.wants/firewalld.service.
6. Removed symlink /etc/systemd/system/dbus-org.fedoraproject.FirewallD1.service.
7. [root@localhost ~]#
8. [root@localhost ~]# vi /etc/selinux/config
9. //将配置文件中的SELINUX设置为disabled
10. SELINUX=disabled

复制代码
设置hosts映射

增加映射关系，因为在现在搭建环境的时候，一般会做
解耦，不会再软件配置文件中写ip地址，主要使用主机名，就和dns解析一样，避免ip改变时要修改很多配置文件

1. [root@localhost ~]# vi /etc/hosts
2. // 增加映射关系
3. 192.168.0.118 node01
4. 192.168.0.119 node02

复制代码
时间同步

所有节点时间需同步一致，不然未来做心跳的时候会有问题

1. [root@localhost ~]# date
2. Fri Dec 30 22:23:45 CST 2022
3. // 安装ntp
4. [root@localhost ~]# yum install ntp -y
5. Loaded plugins: fastestmirror, langpacks
6. Loading mirror speeds from cached hostfile
7. * base: mirrors.163.com
8. * extras: mirrors.163.com
9. * updates: mirrors.163.com
10. Package ntp-4.2.6p5-29.el7.centos.2.x86_64 already installed and latest version
11. Nothing to do
12. [root@localhost ~]# vi /etc/ntp.conf
13. // 增加配置
14. server ntp1.aliyun.com
15. // 启动ntpd
16. [root@localhost ~]# systemctl start ntpd.service
17. // 配置开机启动ntpd
18. [root@localhost ~]# systemctl enable ntpd.service
19. Created symlink from /etc/systemd/system/multi-user.target.wants/ntpd.service to /usr/lib/systemd/system/ntpd.service.
20. [root@localhost ~]#

复制代码
安装jdk

设置环境变量的时候要记得设置两次，一次在安装jdk的时候设置，一次在搭建Hadoop的时候设置

去官网下载jdk，最好是rpm包，然后上传到服务器节点中（使用jdk压缩包解压安装需要做很多其他的配置）

这里使用过windows下载，通过scp命令上传到118节点中

1. F:\workspace\demo>scp C:\Users\43866\Downloads\jdk-8u351-linux-x64.rpm root@192.168.0.118:/usr/jdk
2. root@192.168.0.118’s password:
3. jdk-8u351-linux-aarch64.rpm                                                                                           100%   59MB  70.1MB/s   00:00     
4. F:\workspace\demo>

复制代码 在118节点中使用命令安装jdk

1. [root@node01 jdk]# rpm -i jdk-8u351-linux-x64.rpm
2. warning: jdk-8u351-linux-x64.rpm: Header V3 RSA/SHA256 Signature, key ID ec551f03: NOKEY
3. Unpacking JAR files…
4.         tools.jar…
5.         plugin.jar…
6.         javaws.jar…
7.         deploy.jar…
8.         rt.jar…
9.         jsse.jar…
10.         charsets.jar…
11.         localedata.jar…
12. [root@node01 jdk]#

复制代码 设置JАVA_HOME环境变量

1. [root@node01 default]# vi /etc/profile
2. // 追加环境变量并保存文件
3. export JАVA_HOME=/usr/java/default
4. export PATH=$PATH:$JАVA_HOME/bin

复制代码
设置SSH免秘钥

想要使用Hadoop脚本就必须设置ssh免密

1、检查是否已设置ssh免密

1. [root@node01 default]# ssh localhost
2. The authenticity of host ‘localhost (::1)’ can’t be established.
3. ECDSA key fingerprint is SHA256:rDsunaro1f5LyKkEeNohXfDD9oEglNXtviD/JZtA1dw.
4. ECDSA key fingerprint is MD5:51:38:8d:fc:e4:d2:c7:ce:66:09:c8:f2:e6:9e:a7:f2.
5. Are you sure you want to continue connecting (yes/no)? yes
6. Warning: Permanently added ‘localhost’ (ECDSA) to the list of known hosts.
7. root@localhost’s password:

复制代码 通过ssh localhost命令检查发现需要输入密码，说明还未设置ssh免密，而且还可以自动生成.ssh文件，这个文件要创建的话比较麻烦

2、生成秘钥和公钥

如果118节点想免密登录到118节点（自己）：

118节点就要生成公钥和秘钥，且将公钥放到 ~/.ssh/authorized_keys中

1. [root@node01 .ssh]# ssh-keygen -t dsa -P ” -f ~/.ssh/id_dsa
2. Generating public/private dsa key pair.
3. Your identification has been saved in /root/.ssh/id_dsa.
4. Your public key has been saved in /root/.ssh/id_dsa.pub.
5. The key fingerprint is:
6. SHA256:GHhKB7GeoYYlNPWJpCZ+VoABUyIgDbdYrjjyAdgui1k root@node01
7. The key’s randomart image is:
8. +—[DSA 1024]—-+
9. |@BB+o.           |
10. |=X=.++.          |
11. |*o=.=++          |
12. |=B +.* o         |
13. |B.Eo+ . S        |
14. |oOo.             |
15. |+ .              |
16. |                 |
17. |                 |
18. +—-[SHA256]—–+
19. [root@node01 .ssh]# cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
20. [root@node01 .ssh]#
21. [root@node01 .ssh]# ssh 192.168.0.118
22. Last login: Sat Dec 31 13:52:49 2022 from 192.168.0.117
23. [root@node01 ~]#

复制代码
结论

119节点包含了118节点的公钥，118就可以免密登录

以上就是Hadoop部署的基础设施操作详解的详细内容，更多关于Hadoop部署基础操作的资料请关注软件技术网其它相关文章！