集群内网（Linux Docker）

**一：环境准备**

请先参考[环境准备](https://docs.pingxingyun.com/doc/555/)准备两台服务器，其中至少一台需要是GPU服务器。如果主节点将用作渲染节点，请按照[部署单机版](https://docs.pingxingyun.com/doc/587/)的步骤进行部署，渲染节点的配置从第8步开始。如果主节点不用于渲染，请继续以下步骤进行部署。

**二：系统构成**

根据[系统构成](https://docs.pingxingyun.com/doc/599/)，下载程序包并建议解压至某个盘符的根目录下，确保路径中不包含中文。

**三：端口空闲**

在保证系统端口空闲且未被占用的前提下进行配置，如有端口被占用，可以进行相应的修改。

**主节点：**

| 类型  | 端口号  | 用途  |修改方式|
| ------------ | ------------ | ------------ | ------------|
| TCP | **8181**  |  前台页面nginx转发以及后台接口 |[修改8181端口](https://www.pingxingyun.com/question/detail?topicId=10078&categoryId=2 "请参考")|
| TCP  | ** 8182 **|后台页面nginx转发   |[修改8182端口](https://www.pingxingyun.com/question/detail?topicId=10114&categoryId=2 "请参考")|
| TCP | 8184  | 管理服务  |[修改8184端口](https://www.pingxingyun.com/question/detail?topicId=10116&categoryId=2 "修改8184端口")|
| TCP | 6379  |  Redis |[修改6379端口](https://www.pingxingyun.com/question/detail?topicId=10117&categoryId=2 "修改6379端口")|
**渲染节点**

| 类型  | 端口号  | 用途  |修改方式|
| ------------ | ------------ | ------------ | ------------|
|TCP|8089|同步与代理服务端口|[修改8089端口](https://www.pingxingyun.com/question/detail?topicId=10118&categoryId=2 "修改8089端口")|
| TCP | 10002  | Websocket通信端口  |[修改10002端口](https://www.pingxingyun.com/question/detail?topicId=10119&categoryId=2 "修改10002端口")|
| TCP | 10003  |渲染服务器内部通信端口 |[修改10003端口](https://www.pingxingyun.com/question/detail?topicId=10121&categoryId=2 "修改10003端口")|
| TCP | 10004  | 渲染服务器SSL端口  |[修改10004端口](https://www.pingxingyun.com/question/detail?topicId=10120&categoryId=2 "修改10004端口")|
|UDP|**10011-10040**|音视频通信端口|[修改音视频端口](https://www.pingxingyun.com/question/detail?topicId=10122&categoryId=2 "修改音视频端口")|

**四：Linux容器化部署主节点：**
 - **一、准备Linux服务器**
在Linux服务器上进行准备工作，以下以使用Linux Ubuntu 20.04.1镜像创建虚拟机为例。
**步骤如下：**
1. 使用VMware WorkStation Pro创建Ubuntu镜像，使用以下链接下载20.04.1镜像：
[Ubuntu 20.04.1镜像下载链接](https://home-oss.pingxingyun.com/exe/ubuntu-20.04.1-live-server-amd64.iso)
2. 重启客户机，启动虚拟机。如果遇到“此主机支持Intel VT-x但Intel VT-x处于禁用状态”，请按以下步骤修改：
   a. 重启电脑，按F2进入BIOS设置。
   b. 在Advanced、Security、BIOS Features或Configuration中找到Intel Virtualization Technology，将其从Disabled改为Enabled，保存并退出BIOS设置。
   c. 详细说明可参考以下网址：[网址1](https://jingyan.baidu.com/article/59a015e3929235b695886539.html), [网址2](http://mip.xitongcheng.com/jiaocheng/xtazjc_article_38955.html)
3. 登录虚拟机：输入用户名和密码（注意密码输入时不要使用小键盘）。
4. 开启SSH并使用Putty连接：
   a. 更新命令源：`sudo apt-get update`
   b. 安装SSH：`sudo apt-get install openssh-server`
   c. 启动SSH服务：`sudo service ssh start`
   d. 查看虚拟机IP：`ifconfig ens33`
   e. 使用Putty连接虚拟机。

- **二、增加系统打开文件数量限制：**
```html
ulimit -n 65535
```

- **三、安装net-tools工具包：**
1. 安装：`sudo apt-get install net-tools`
2. 查看Linux宿主机的IP：`ifconfig ens33`

- **四、设置系统默认使用UTC时间：**
```html
sudo ln -sf /usr/share/zoneinfo/Asia/Shanghai /etc/localtime
```
确认时间是否正确：`timedatectl`或`date`

- **五、设置虚拟机固定IP：**
1. 打开配置文件：`sudo vim /etc/netplan/01-network-manager-all.yaml`
2. 修改配置文件为以下内容：
```html
network:
    ethernets:
        ens33:
            dhcp4: false
            addresses: [192.168.0.x/24]
            optional: true
            gateway4: 192.168.0.1
            nameservers:
                addresses: [114.114.114.114,8.8.8.8]
    version: 2
```
3. 应用网络设置：`sudo netplan apply`或`sudo netplan --debug apply`

- **六、安装必要包，避免出现handshake failed错误：**
```html
sudo apt-get -y install build-essential nghttp2 libnghttp2-dev openssl libssl-dev
```

-  **七、安装apt依赖包：**
用于通过HTTPS获取仓库：
```html
sudo apt-get install apt-transport-https ca-certificates gnupg-agent software-properties-common
```

- **八、添加Docker的官方GPG密钥：**
```html
curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo apt-key add -
```

- **九、设置稳定版仓库：**
*注意：目前20.04版本还没有国内Docker源，可以暂时使用18.04版本。*
```html
sudo add-apt-repository \
    "deb [arch=amd64] https://download.docker.com/linux/ubuntu \
    bionic \
    stable"
```

- **十、更新apt包索引：**
```html
sudo apt-get update
sudo apt-get upgrade
```

- **十一、安装DockerCE：**
```html
sudo apt-get install docker-ce
```

- **十二、重启 Docker**
```html
sudo systemctl restart docker
```

- **十三、使用阿里云 Docker 镜像加速**

1. 打开 Docker 配置文件：
```html
sudo nano /etc/docker/daemon.json
```
2. 添加以下内容：
```html
{
    "exec-opts": ["native.cgroupdriver=systemd"],
    "log-driver": "json-file",
    "log-opts": {
        "max-size": "100m"
    },
    "registry-mirrors": ["https://i1el1i0w.mirror.aliyuncs.com"]
}
```
3. 保存并退出：`Ctrl + X`, 输入 `y`, 然后按 `Enter`

- **十四、为 Docker 服务创建一个 Systemd 放置目录**
```html
sudo mkdir -p /etc/systemd/system/docker.service.d
```

- **十五、重启 Docker 服务**
```html
sudo systemctl daemon-reload && systemctl restart docker && systemctl enable docker
```

- **十六、安装 Docker Compose**
```html
sudo curl -L https://github.com/docker/compose/releases/download/1.27.4/docker-compose-Linux-x86_64 -o /usr/local/bin/docker-compose
sudo chmod +x /usr/local/bin/docker-compose
docker-compose --version  # 确认版本为 1.27.4
```

- **十七、镜像拉取**
sudo docker pull mysql:8.0
sudo docker pull redis:6.0.8
sudo docker pull nginx:1.19.2
sudo docker pull registry.cn-beijing.aliyuncs.com/larkxr-cloud/larkxr-admin:3.3.x.x
注意：
- `larkxr-admin` 的版本可能会有变化，请根据实际情况更新版本号。
- 更新 `docker-compose.yml` 中引用的镜像版本号。

- **十八、安装 JDK**
```html
sudo apt install openjdk-17-jdk
java --version  # 确认 OpenJDK 安装成功
```

- **十九、上传管理节点包至 Linux**
1. 在浏览器中打开 [Pingxingyun 开发中心页面](https://www.pingxingyun.com/devCenter.html)，下载压缩包。

2. 解压下载的压缩包，并使用 WinSCP 将中心管理服务器下的 `larkxr-center-ubuntu-docker` 程序包上传至虚拟机。

3. 上传后，需要修改配置文件：
   - (1) `larkxr-center-ubuntu-docker/admin/application.yaml`，将 `node-ip` 修改为本机地址（服务器地址）。
   
4. 修改配置完成后，返回到 `/opt/larkxr-center-ubuntu-docker` 目录，并使用以下命令启动服务：
```html
sh start.sh
```

**五：服务全部正常启动后，访问IP:8182 默认账号admin 密码123456**

![](https://docs.pingxingyun.com/media/202503/54d3d3735a464f2eb30394cb435a00434570.png)

**六：登录到后台界面，查看资源监控信息，此时GPU节点数为0，接下来要配置启动渲染服务**

**七：点击配置渲染节点,管理服务器地址填写中心管理节点URL,通常建议配置到LarkXR网关的接入地址。本机IP地址需要填本机IPv4地址点击保存**
![](https://docs.pingxingyun.com/media/202503/678f849d10b3442893eb7f96908b3b735937.png)

**八：登录到后台界面，查看资源监控信息，此时GPU节点数为1**