集群内网（Linux Docker）

一：环境准备

请先参考环境准备准备两台服务器，其中至少一台需要是GPU服务器。如果主节点将用作渲染节点，请按照部署单机版的步骤进行部署，渲染节点的配置从第8步开始。如果主节点不用于渲染，请继续以下步骤进行部署。

二：系统构成

根据系统构成，下载程序包并建议解压至某个盘符的根目录下，确保路径中不包含中文。

三：端口空闲

在保证系统端口空闲且未被占用的前提下进行配置，如有端口被占用，可以进行相应的修改。

主节点：

四：Linux容器化部署主节点：

• 一、准备Linux服务器
  在Linux服务器上进行准备工作，以下以使用Linux Ubuntu 20.04.1镜像创建虚拟机为例。
  步骤如下：

1. 使用VMware WorkStation Pro创建Ubuntu镜像，使用以下链接下载20.04.1镜像：
   Ubuntu 20.04.1镜像下载链接
2. 重启客户机，启动虚拟机。如果遇到“此主机支持Intel VT-x但Intel VT-x处于禁用状态”，请按以下步骤修改：
   a. 重启电脑，按F2进入BIOS设置。
   b. 在Advanced、Security、BIOS Features或Configuration中找到Intel Virtualization Technology，将其从Disabled改为Enabled，保存并退出BIOS设置。
   c. 详细说明可参考以下网址：网址1, 网址2
3. 登录虚拟机：输入用户名和密码（注意密码输入时不要使用小键盘）。
4. 开启SSH并使用Putty连接：
   a. 更新命令源：sudo apt-get update
   b. 安装SSH：sudo apt-get install openssh-server
   c. 启动SSH服务：sudo service ssh start
   d. 查看虚拟机IP：ifconfig ens33
   e. 使用Putty连接虚拟机。

• 二、增加系统打开文件数量限制：

ulimit -n 65535

• 三、安装net-tools工具包：

1. 安装：sudo apt-get install net-tools
2. 查看Linux宿主机的IP：ifconfig ens33

• 四、设置系统默认使用UTC时间：

sudo ln -sf /usr/share/zoneinfo/Asia/Shanghai /etc/localtime

确认时间是否正确：timedatectl或date

• 五、设置虚拟机固定IP：

1. 打开配置文件：sudo vim /etc/netplan/01-network-manager-all.yaml
2. 修改配置文件为以下内容：

network:
    ethernets:
        ens33:
            dhcp4: false
            addresses: [192.168.0.x/24]
            optional: true
            gateway4: 192.168.0.1
            nameservers:
                addresses: [114.114.114.114,8.8.8.8]
    version: 2

3. 应用网络设置：sudo netplan apply或sudo netplan --debug apply

• 六、安装必要包，避免出现handshake failed错误：

sudo apt-get -y install build-essential nghttp2 libnghttp2-dev openssl libssl-dev

• 七、安装apt依赖包：
  用于通过HTTPS获取仓库：

sudo apt-get install apt-transport-https ca-certificates gnupg-agent software-properties-common

• 八、添加Docker的官方GPG密钥：

curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo apt-key add -

• 九、设置稳定版仓库：
  注意：目前20.04版本还没有国内Docker源，可以暂时使用18.04版本。

sudo add-apt-repository \
    "deb [arch=amd64] https://download.docker.com/linux/ubuntu \
    bionic \
    stable"

• 十、更新apt包索引：

sudo apt-get update
sudo apt-get upgrade

• 十一、安装DockerCE：

sudo apt-get install docker-ce

• 十二、重启 Docker

sudo systemctl restart docker

• 十三、使用阿里云 Docker 镜像加速

1. 打开 Docker 配置文件：

sudo nano /etc/docker/daemon.json

2. 添加以下内容：

{
    "exec-opts": ["native.cgroupdriver=systemd"],
    "log-driver": "json-file",
    "log-opts": {
        "max-size": "100m"
    },
    "registry-mirrors": ["https://i1el1i0w.mirror.aliyuncs.com"]
}

3. 保存并退出：Ctrl + X, 输入 y, 然后按 Enter

• 十四、为 Docker 服务创建一个 Systemd 放置目录

sudo mkdir -p /etc/systemd/system/docker.service.d

• 十五、重启 Docker 服务

sudo systemctl daemon-reload && systemctl restart docker && systemctl enable docker

• 十六、安装 Docker Compose

sudo curl -L https://github.com/docker/compose/releases/download/1.27.4/docker-compose-Linux-x86_64 -o /usr/local/bin/docker-compose
sudo chmod +x /usr/local/bin/docker-compose
docker-compose --version  # 确认版本为 1.27.4

• 十七、镜像拉取
  sudo docker pull mysql:8.0
  sudo docker pull redis:6.0.8
  sudo docker pull nginx:1.19.2
  sudo docker pull registry.cn-beijing.aliyuncs.com/larkxr-cloud/larkxr-admin:3.3.x.x
  注意：

• larkxr-admin 的版本可能会有变化，请根据实际情况更新版本号。

• 更新 docker-compose.yml 中引用的镜像版本号。

• 十八、安装 JDK

sudo apt install openjdk-17-jdk
java --version  # 确认 OpenJDK 安装成功

• 十九、上传管理节点包至 Linux

1. 在浏览器中打开 Pingxingyun 开发中心页面，下载压缩包。

2. 解压下载的压缩包，并使用 WinSCP 将中心管理服务器下的 larkxr-center-ubuntu-docker 程序包上传至虚拟机。

3. 上传后，需要修改配置文件：

   • (1) larkxr-center-ubuntu-docker/admin/application.yaml，将 node-ip 修改为本机地址（服务器地址）。

4. 修改配置完成后，返回到 /opt/larkxr-center-ubuntu-docker 目录，并使用以下命令启动服务：

sh start.sh

五：服务全部正常启动后，访问IP:8182 默认账号admin 密码123456

六：登录到后台界面，查看资源监控信息，此时GPU节点数为0，接下来要配置启动渲染服务

七：点击配置渲染节点,管理服务器地址填写中心管理节点URL,通常建议配置到LarkXR网关的接入地址。本机IP地址需要填本机IPv4地址点击保存

八：登录到后台界面，查看资源监控信息，此时GPU节点数为1