教你在k8s上部署HADOOP-3.2.2(HDFS)的方法

环境+版本

k8s: v1.21.1

hadoop: 3.2.2

dockerfile

1. FROM openjdk:8-jdk
2. # 如果要通过ssh连接容器内部,添加自己的公钥(非必须)
3. ARG SSH_PUB=’ssh-rsa AAAAB3NzaC1yc2EAAAADAQABAAABAQC3nTRJ/aVb67l1xMaN36jmIbabU7Hiv/xpZ8bwLVvNO3Bj7kUzYTp7DIbPcHQg4d6EsPC6j91E8zW6CrV2fo2Ai8tDO/rCq9Se/64F3+8oEIiI6E/OfUZfXD1mPbG7M/kcA3VeQP6wxNPhWBbKRisqgUc6VTKhl+hK6LwRTZgeShxSNcey+HZst52wJxjQkNG+7CAEY5bbmBzAlHCSl4Z0RftYTHR3q8LcEg7YLNZasUogX68kBgRrb+jw1pRMNo7o7RI9xliDAGX+E4C3vVZL0IsccKgr90222axsADoEjC9O+Q6uwKjahemOVaau+9sHIwkelcOcCzW5SuAwkezv 805899926@qq.com’
4. RUN apt-get update;
5. RUN apt-get install -y openssh-server net-tools vim git;
6. RUN sed -i -r ‘s/^\s*UseDNS\s+\w+/#\0/; s/^\s*PasswordAuthentication\s+\w+/#\0/; s/^\s*ClientAliveInterval\s+\w+/#\0/’ /etc/ssh/sshd_config;
7. RUN echo ‘UseDNS no \nPermitRootLogin yes \nPasswordAuthentication yes \nClientAliveInterval 30’ >> /etc/ssh/sshd_config;
8. RUN cat /etc/ssh/sshd_config
9. RUN su root bash -c ‘cd;mkdir .ssh;chmod 700 .ssh;echo ${SSH_PUB} > .ssh/authorized_keys;chmod 644 .ssh/authorized_keys’
10. RUN su root bash -c ‘cd;ssh-keygen -t rsa -f ~/.ssh/id_rsa; cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys’
11. # hadoop
12. ENV HADOOP_TGZ_URL=https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-3.2.2/hadoop-3.2.2.tar.gz
13. ENV HADOOP_HOME=/opt/hadoop
14. ENV PATH=$HADOOP_HOME/bin:$PATH
15. RUN set -ex; \
16.     mkdir -p $HADOOP_HOME; \
17.     wget -nv -O $HADOOP_HOME/src.tgz $HADOOP_TGZ_URL; \
18.     tar -xf $HADOOP_HOME/src.tgz –strip-components=1 -C $HADOOP_HOME; \
19.     rm $HADOOP_HOME/src.tgz; \
20.     chown -R root:root $HADOOP_HOME; \
21. RUN mkdir -p $HADOOP_HOME/hdfs/name/ && mkdir -p $HADOOP_HOME/hdfs/data/
22. # clean trash file or dir
23. RUN rm -rf $HADOOP_HOME/share/doc/;
24. COPY docker-entrypoint.sh /
25. EXPOSE 22 9870 9000
26. ENTRYPOINT [“/docker-entrypoint.sh”]

复制代码 docker-entrypoint.sh

1. #!/bin/bash
2. set -e
3. service ssh start
4. hdfs_dir=$HADOOP_HOME/hdfs/
5. if [ $HADOOP_NODE_TYPE = “datanode” ]; then
6.   echo -e “\033[32m start datanode \033[0m”
7.   $HADOOP_HOME/bin/hdfs datanode -regular
8. fi
9. if [ $HADOOP_NODE_TYPE = “namenode” ]; then
10.   if [ -z $(ls -A ${hdfs_dir}) ]; then
11.     echo -e “\033[32m start hdfs namenode format \033[0m”
12.     $HADOOP_HOME/bin/hdfs namenode -format
13.   fi
14.   echo -e “\033[32m start hdfs namenode \033[0m”
15.   $HADOOP_HOME/bin/hdfs namenode

复制代码 pod template

1. apiVersion: v1
2. kind: ConfigMap
3. metadata:
4.   name: hadoop
5.   namespace: big-data
6.   labels:
7.     APP: hadoop
8. data:
9.   hadoop-env.sh: |
10.     export HDFS_DATANODE_USER=root
11.     export HDFS_NAMENODE_USER=root
12.     export HDFS_SECONDARYNAMENODE_USER=root
13.     export JАVA_HOME=/usr/local/openjdk-8
14.     export HADOOP_OS_TYPE=${HADOOP_OS_TYPE:-$(uname -s)}
15.     export HADOOP_OPTS=”-Djava.library.path=${HADOOP_HOME}/lib/native”
16.   core-site.xml: |
17.     <?xml version=”1.0″ encoding=”UTF-8″?>
18.     <?xml-stylesheet type=”text/xsl” href=”configuration.xsl” rel=”external nofollow”  rel=”external nofollow” ?>
19.     <configuration>
20.         <property>
21.             <name>fs.defaultFS</name>
22.             <value>hdfs://hadoop-master:9000</value>
23.         </property>
24.         <property>
25.             <name>dfs.namenode.rpc-bind-host</name>
26.             <value>0.0.0.0</value>
27.         </property>
28.     </configuration>
29.   hdfs-site.xml: |
30.     <?xml version=”1.0″ encoding=”UTF-8″?>
31.     <?xml-stylesheet type=”text/xsl” href=”configuration.xsl” rel=”external nofollow”  rel=”external nofollow” ?>
32.     <configuration>
33.         <property>
34.             <name>dfs.namenode.name.dir</name>
35.             <value>file:///opt/hadoop/hdfs/name</value>
36.         </property>
37.         <property>
38.             <name>dfs.datanode.data.dir</name>
39.             <value>file:///opt/hadoop/hdfs/data</value>
40.         </property>
41.         <property>
42.             <name>dfs.namenode.datanode.registration.ip-hostname-check</name>
43.             <value>false</value>
44.         </property>
45.         <property>
46.             <name>dfs.replication</name>
47.             <value>1</value>
48.         </property>
49.     </configuration>
50. —
51. # namenode svc
52. apiVersion: v1
53. kind: Service
54. metadata:
55.   name: hadoop-master
56.   namespace: big-data
57. spec:
58.   selector:
59.     app: hadoop-namenode
60.   type: NodePort
61.   ports:
62.     – name: rpc
63.       port: 9000
64.       targetPort: 9000
65.     – name: http
66.       port: 9870
67.       targetPort: 9870
68.       nodePort: 9870
69. # namenode pod
70. —
71. apiVersion: apps/v1
72. kind: Deployment
73. metadata:
74.   name: hadoop-namenode
75.   namespace: big-data
76. spec:
77.   strategy:
78.     type: Recreate
79.   selector:
80.     matchLabels:
81.       app: hadoop-namenode
82.   template:
83.     metadata:
84.       labels:
85.         app: hadoop-namenode
86.     spec:
87.       volumes:
88.         – name: hadoop-env
89.           configMap:
90.             name: hadoop
91.             items:
92.               – key: hadoop-env.sh
93.                 path: hadoop-env.sh
94.         – name: core-site
95.           configMap:
96.             name: hadoop
97.             items:
98.               – key: core-site.xml
99.                 path: core-site.xml
100.         – name: hdfs-site
101.           configMap:
102.             name: hadoop
103.             items:
104.               – key: hdfs-site.xml
105.                 path: hdfs-site.xml
106.         – name: hadoop-data
107.           persistentVolumeClaim:
108.             claimName: data-hadoop-namenode
109.       containers:
110.         – name: hadoop
111.           image: registry:5000/hadoop
112.           imagePullPolicy: Always
113.           ports:
114.             – containerPort: 22
115.             – containerPort: 9000
116.             – containerPort: 9870
117.           volumeMounts:
118.             – name: hadoop-env
119.               mountPath: /opt/hadoop/etc/hadoop/hadoop-env.sh
120.               subPath: hadoop-env.sh
121.             – name: core-site
122.               mountPath: /opt/hadoop/etc/hadoop/core-site.xml
123.               subPath: core-site.xml
124.             – name: hdfs-site
125.               mountPath: /opt/hadoop/etc/hadoop/hdfs-site.xml
126.               subPath: hdfs-site.xml
127.             – name: hadoop-data
128.               mountPath: /opt/hadoop/hdfs/
129.               subPath: hdfs
130.             – name: hadoop-data
131.               mountPath: /opt/hadoop/logs/
132.               subPath: logs
133.           env:
134.             – name: HADOOP_NODE_TYPE
135.               value: namenode
136. —
137. apiVersion: v1
138. kind: PersistentVolumeClaim
139. metadata:
140.   name: data-hadoop-namenode
141.   namespace: big-data
142. spec:
143.   accessModes:
144.     – ReadWriteMany
145.   resources:
146.     requests:
147.       storage: 256Gi
148.   storageClassName: “managed-nfs-storage”
149. # datanode pod
150. —
151. apiVersion: apps/v1
152. kind: StatefulSet
153. metadata:
154.   name: hadoop-datanode
155.   namespace: big-data
156. spec:
157.   replicas: 2
158.   selector:
159.     matchLabels:
160.       app: hadoop-datanode
161.   serviceName: hadoop-datanode
162.   template:
163.     metadata:
164.       labels:
165.         app: hadoop-datanode
166.     spec:
167.       volumes:
168.         – name: hadoop-env
169.           configMap:
170.             name: hadoop
171.             items:
172.               – key: hadoop-env.sh
173.                 path: hadoop-env.sh
174.         – name: core-site
175.           configMap:
176.             name: hadoop
177.             items:
178.               – key: core-site.xml
179.                 path: core-site.xml
180.         – name: hdfs-site
181.           configMap:
182.             name: hadoop
183.             items:
184.               – key: hdfs-site.xml
185.                 path: hdfs-site.xml
186.       containers:
187.         – name: hadoop
188.           image: registry:5000/hadoop
189.           imagePullPolicy: Always
190.           ports:
191.             – containerPort: 22
192.             – containerPort: 9000
193.             – containerPort: 9870
194.           volumeMounts:
195.             – name: hadoop-env
196.               mountPath: /opt/hadoop/etc/hadoop/hadoop-env.sh
197.               subPath: hadoop-env.sh
198.             – name: core-site
199.               mountPath: /opt/hadoop/etc/hadoop/core-site.xml
200.               subPath: core-site.xml
201.             – name: hdfs-site
202.               mountPath: /opt/hadoop/etc/hadoop/hdfs-site.xml
203.               subPath: hdfs-site.xml
204.             – name: data
205.               mountPath: /opt/hadoop/hdfs/
206.               subPath: hdfs
207.             – name: data
208.               mountPath: /opt/hadoop/logs/
209.               subPath: logs
210.           env:
211.             – name: HADOOP_NODE_TYPE
212.               value: datanode
213.   volumeClaimTemplates:
214.     – metadata:
215.         name: data
216.         namespace: big-data
217.       spec:
218.         accessModes:
219.           – ReadWriteMany
220.         resources:
221.           requests:
222.             storage: 256Gi
223.         storageClassName: “managed-nfs-storage”

复制代码 到此这篇关于k8s-部署HADOOP-3.2.2(HDFS)的文章就介绍到这了,更多相关k8s部署hadoop内容请搜索共生网络以前的文章或继续浏览下面的相关文章希望大家以后多多支持共生网络！