Docker-Compose搭建Spark集群的实现方法

目录

一、前言二、docker-compose.yml三、启动集群四、结合hdfs使用

一、前言

在前文中，我们使用Docker-Compose完成了hdfs集群的构建。本文将继续使用Docker-Compose，实现Spark集群的搭建。

二、docker-compose.yml

对于Spark集群，我们采用一个mater节点和两个worker节点进行构建。其中，所有的work节点均分配1一个core和 1GB的内存。

Docker镜像选择了bitnami/spark的开源镜像，选择的spark版本为2.4.3，docker-compose配置如下：

1.   master:
2.     image: bitnami/spark:2.4.3
3.     container_name: master
4.     user: root
5.     environment:
6.       – SPARK_MODE=master
7.       – SPARK_RPC_AUTHENTICATION_ENABLED=no
8.       – SPARK_RPC_ENCRYPTION_ENABLED=no
9.       – SPARK_LOCAL_STORAGE_ENCRYPTION_ENABLED=no
10.       – SPARK_SSL_ENABLED=no
11.     ports:
12.       – ‘8080:8080’
13.       – ‘7077:7077’
14.     volumes:
15.       – ./python:/python
17.   worker1:
18.     image: bitnami/spark:2.4.3
19.     container_name: worker1
20.     user: root
21.     environment:
22.       – SPARK_MODE=worker
23.       – SPARK_MASTER_URL=spark://master:7077
24.       – SPARK_WORKER_MEMORY=1G
25.       – SPARK_WORKER_CORES=1
26.       – SPARK_RPC_AUTHENTICATION_ENABLED=no
27.       – SPARK_RPC_ENCRYPTION_ENABLED=no
28.       – SPARK_LOCAL_STORAGE_ENCRYPTION_ENABLED=no
29.       – SPARK_SSL_ENABLED=no
30.   worker2:
31.     image: bitnami/spark:2.4.3
32.     container_name: worker2
33.     user: root
34.     environment:
35.       – SPARK_MODE=worker
36.       – SPARK_MASTER_URL=spark://master:7077
37.       – SPARK_WORKER_MEMORY=1G
38.       – SPARK_WORKER_CORES=1
39.       – SPARK_RPC_AUTHENTICATION_ENABLED=no
40.       – SPARK_RPC_ENCRYPTION_ENABLED=no
41.       – SPARK_LOCAL_STORAGE_ENCRYPTION_ENABLED=no
42.       – SPARK_SSL_ENABLED=no

复制代码 在master节点中，也映射了一个/python目录，用于存放pyspark代码，方便运行。

对于master节点，暴露出7077端口和8080端口分别用于连接spark以及浏览器查看spark UI，在spark UI中，集群状态如下图（启动后）：

如果有需要，可以自行添加worker节点，其中可以修改SPARK_WORKER_MEMORY与SPARK_WORKER_CORES对节点分配的资源进行修改。

对于该镜像而言，默认exec进去是无用户的，会导致一些安装命令权限的不足，无法安装。例如需要运行pyspark，可能需要安装numpy、pandas等库，就无法使用pip完成安装。而通过user: root就能设置默认用户为root用户，避免上述问题。

三、启动集群

同上文一样，在docker-compose.yml的目录下执行docker-compose up -d命令，就能一键构建集群（但是如果需要用到numpy等库，还是需要自己到各节点内进行安装）。

进入master节点执行spark-shell，成功进入：

四、结合hdfs使用

将上文的Hadoop的docker-compose.yml与本次的结合，得到新的docker-compose.yml：

1. version: “1.0”
2. services:
3.   namenode:
4.     image: bde2022/hadoop-namenode:2.0.0-hadoop3.2.1-java8
5.     container_name: namenode
6.     ports:
7.       – 9870:9870
8.       – 9000:9000
9.     volumes:
10.       – ./hadoop/dfs/name:/hadoop/dfs/name
11.       – ./input:/input
12.     environment:
13.       – CLUSTER_NAME=test
14.     env_file:
15.       – ./hadoop.env
17.   datanode:
18.     image: bde2022/hadoop-datanode:2.0.0-hadoop3.2.1-java8
19.     container_name: datanode
20.     depends_on:
21.       – namenode
22.     volumes:
23.       – ./hadoop/dfs/data:/hadoop/dfs/data
24.     environment:
25.       SERVICE_PRECONDITION: “namenode:9870”
26.     env_file:
27.       – ./hadoop.env
29.   resourcemanager:
30.     image: bde2022/hadoop-resourcemanager:2.0.0-hadoop3.2.1-java8
31.     container_name: resourcemanager
32.     environment:
33.       SERVICE_PRECONDITION: “namenode:9000 namenode:9870 datanode:9864”
34.     env_file:
35.       – ./hadoop.env
37.   nodemanager1:
38.     image: bde2022/hadoop-nodemanager:2.0.0-hadoop3.2.1-java8
39.     container_name: nodemanager
40.     environment:
41.       SERVICE_PRECONDITION: “namenode:9000 namenode:9870 datanode:9864 resourcemanager:8088”
42.     env_file:
43.       – ./hadoop.env
45.   historyserver:
46.     image: bde2022/hadoop-historyserver:2.0.0-hadoop3.2.1-java8
47.     container_name: historyserver
48.     environment:
49.       SERVICE_PRECONDITION: “namenode:9000 namenode:9870 datanode:9864 resourcemanager:8088”
50.     volumes:
51.       – ./hadoop/yarn/timeline:/hadoop/yarn/timeline
52.     env_file:
53.       – ./hadoop.env
55.   master:
56.     image: bitnami/spark:2.4.3-debian-9-r81
57.     container_name: master
58.     user: root
59.     environment:
60.       – SPARK_MODE=master
61.       – SPARK_RPC_AUTHENTICATION_ENABLED=no
62.       – SPARK_RPC_ENCRYPTION_ENABLED=no
63.       – SPARK_LOCAL_STORAGE_ENCRYPTION_ENABLED=no
64.       – SPARK_SSL_ENABLED=no
65.     ports:
66.       – ‘8080:8080’
67.       – ‘7077:7077’
68.     volumes:
69.       – ./python:/python
71.   worker1:
72.     image: bitnami/spark:2.4.3-debian-9-r81
73.     container_name: worker1
74.     user: root
75.     environment:
76.       – SPARK_MODE=worker
77.       – SPARK_MASTER_URL=spark://master:7077
78.       – SPARK_WORKER_MEMORY=1G
79.       – SPARK_WORKER_CORES=1
80.       – SPARK_RPC_AUTHENTICATION_ENABLED=no
81.       – SPARK_RPC_ENCRYPTION_ENABLED=no
82.       – SPARK_LOCAL_STORAGE_ENCRYPTION_ENABLED=no
83.       – SPARK_SSL_ENABLED=no
84.   worker2:
85.     image: bitnami/spark:2.4.3-debian-9-r81
86.     container_name: worker2
87.     user: root
88.     environment:
89.       – SPARK_MODE=worker
90.       – SPARK_MASTER_URL=spark://master:7077
91.       – SPARK_WORKER_MEMORY=1G
92.       – SPARK_WORKER_CORES=1
93.       – SPARK_RPC_AUTHENTICATION_ENABLED=no
94.       – SPARK_RPC_ENCRYPTION_ENABLED=no
95.       – SPARK_LOCAL_STORAGE_ENCRYPTION_ENABLED=no
96.       – SPARK_SSL_ENABLED=no

复制代码 运行集群(还需要一个hadoop.env文件见上文)长这样：

通过Docker容器的映射功能，将本地文件与spark集群的master节点的/python进行了文件映射，编写的pyspark通过映射可与容器中进行同步，并通过docker exec指令，完成代码执行：

运行了一个回归程序，集群功能正常：

到此这篇关于Docker-Compose搭建Spark集群的实现方法的文章就介绍到这了,更多相关Docker-Compose搭建Spark集群内容请搜索软件技术网以前的文章或继续浏览下面的相关文章希望大家以后多多支持软件技术网！