langgenius/dify(v1.0.1) dify-api 打包Dokcer镜像超时优化方案

文件路径：dify/api/Dockerfile这个 Dockerfile 主要用于构建一个基于 Python 3.12 的 Flask API 应用，并使用 Poetry 来管理 Python 依赖。

浪浪山小猪妖

1670人浏览 · 2025-03-19 16:19:22

浪浪山小猪妖 · 2025-03-19 16:19:22 发布

文件路径：dify/api/Dockerfile

# base image
FROM python:3.12-slim-bookworm AS base

WORKDIR /app/api

# Install Poetry
ENV POETRY_VERSION=2.0.1

# if you located in China, you can use aliyun mirror to speed up
# RUN pip install --no-cache-dir poetry==${POETRY_VERSION} -i https://mirrors.aliyun.com/pypi/simple/

RUN pip install --no-cache-dir poetry==${POETRY_VERSION}

# Configure Poetry
ENV POETRY_CACHE_DIR=/tmp/poetry_cache
ENV POETRY_NO_INTERACTION=1
ENV POETRY_VIRTUALENVS_IN_PROJECT=true
ENV POETRY_VIRTUALENVS_CREATE=true
ENV POETRY_REQUESTS_TIMEOUT=15

FROM base AS packages

# if you located in China, you can use aliyun mirror to speed up
# RUN sed -i 's@deb.debian.org@mirrors.aliyun.com@g' /etc/apt/sources.list.d/debian.sources

RUN apt-get update \
    && apt-get install -y --no-install-recommends gcc g++ libc-dev libffi-dev libgmp-dev libmpfr-dev libmpc-dev

# Install Python dependencies
COPY pyproject.toml poetry.lock ./
RUN poetry install --sync --no-cache --no-root

# production stage
FROM base AS production

ENV FLASK_APP=app.py
ENV EDITION=SELF_HOSTED
ENV DEPLOY_ENV=PRODUCTION
ENV CONSOLE_API_URL=http://127.0.0.1:5001
ENV CONSOLE_WEB_URL=http://127.0.0.1:3000
ENV SERVICE_API_URL=http://127.0.0.1:5001
ENV APP_WEB_URL=http://127.0.0.1:3000

EXPOSE 5001

# set timezone
ENV TZ=UTC

WORKDIR /app/api

RUN \
    apt-get update \
    # Install dependencies
    && apt-get install -y --no-install-recommends \
        # basic environment
        curl nodejs libgmp-dev libmpfr-dev libmpc-dev \
        # For Security
        expat libldap-2.5-0 perl libsqlite3-0 zlib1g \
        # install a package to improve the accuracy of guessing mime type and file extension
        media-types \
        # install libmagic to support the use of python-magic guess MIMETYPE
        libmagic1 \
    && apt-get autoremove -y \
    && rm -rf /var/lib/apt/lists/*

# Copy Python environment and packages
ENV VIRTUAL_ENV=/app/api/.venv
COPY --from=packages ${VIRTUAL_ENV} ${VIRTUAL_ENV}
ENV PATH="${VIRTUAL_ENV}/bin:${PATH}"

# Download nltk data
RUN python -c "import nltk; nltk.download('punkt'); nltk.download('averaged_perceptron_tagger')"

ENV TIKTOKEN_CACHE_DIR=/app/api/.tiktoken_cache

RUN python -c "import tiktoken; tiktoken.encoding_for_model('gpt2')"

# Copy source code
COPY . /app/api/

# Copy entrypoint
COPY docker/entrypoint.sh /entrypoint.sh
RUN chmod +x /entrypoint.sh

ARG COMMIT_SHA
ENV COMMIT_SHA=${COMMIT_SHA}

ENTRYPOINT ["/bin/bash", "/entrypoint.sh"]

这个 Dockerfile 主要用于构建一个基于 Python 3.12 的 Flask API 应用，并使用 Poetry 来管理 Python 依赖。以下是对其各个阶段的分析和优化建议：

结构分析

Base Image (base)
- 继承 python:3.12-slim-bookworm 作为基础镜像，精简但仍然提供 Python 运行时。
- 设置 WORKDIR 为 /app/api。
- 安装 Poetry 并配置镜像源（使用腾讯云 PyPI 源，加快国内访问）。
- 配置 Poetry 相关环境变量：
  - POETRY_NO_INTERACTION=1 防止交互式提示。
  - POETRY_VIRTUALENVS_IN_PROJECT=true 使虚拟环境存储在项目内。
  - POETRY_VIRTUALENVS_CREATE=true 启用虚拟环境。
  - POETRY_REQUESTS_TIMEOUT=3600 增加请求超时时间，防止大包下载失败。
1. Packages Stage (packages)
  - 替换 debian.sources 的默认 deb.debian.org 源为腾讯云的 mirrors.cloud.tencent.com 以提高速度。
  - 安装 GCC、C++、libffi-dev 等编译环境（用于安装 C 语言扩展的 Python 依赖）。
  - 复制 pyproject.toml 和 poetry.lock，并安装 Python 依赖。
2. Production Stage (production)
  - 继承 base，设定 Flask 相关环境变量。
  - 开放 5001 端口用于 Flask API 访问。
  - 安装常见运行时库，如：
    - curl nodejs（基础工具）
    - libgmp-dev libmpfr-dev libmpc-dev（数学库）
    - expat libldap-2.5-0 perl libsqlite3-0 zlib1g（安全与数据库支持）
    - fonts-noto-cjk（支持中文显示）
    - libmagic1（MIME 类型检测）
    - 复制 packages 阶段安装的 Python 依赖，避免在 production 重新编译依赖，减少构建时间。
  - 下载 nltk 数据文件。
  - 预下载 tiktoken 编码模型（gpt2）。
  - 复制应用代码到 /app/api。
  - 复制 entrypoint.sh 并赋予执行权限。

优化建议

减少层数，提高构建缓存利用率

RUN poetry install 可与 gcc 等安装步骤合并，减少构建层数：

	RUN apt-get update && apt-get install -y --no-install-recommends \
    gcc g++ libc-dev libffi-dev libgmp-dev libmpfr-dev libmpc-dev \
    && poetry install --sync --no-cache --no-root \
    && apt-get autoremove -y \
    && rm -rf /var/lib/apt/lists/*

这样可以减少 packages 阶段的单独构建时间。

使用 multi-stage builds 进一步瘦身
- production 阶段不需要 gcc，可以 FROM python:3.12-slim-bookworm 重新构建，避免携带编译工具：
```
	FROM python:3.12-slim-bookworm AS production
```
优化 apt 安装
- 直接合并 apt-get update 与 install，避免 rm -rf /var/lib/apt/lists/* 影响缓存。
提高 nltk 数据下载效率
- 可预下载 nltk 数据并缓存，减少网络请求：
```
	COPY nltk_data /root/nltk_data
```

最终优化版 Dockerfile

# Base image
FROM python:3.12-slim-bookworm AS base

WORKDIR /app/api

# Install Poetry
ENV POETRY_VERSION=2.0.1

# if you located in China, you can use the following mirror to speed up
# RUN pip install --no-cache-dir poetry==${POETRY_VERSION} -i https://mirrors.aliyun.com/pypi/simple/
# RUN pip install --no-cache-dir poetry==${POETRY_VERSION} -i https://pypi.tuna.tsinghua.edu.cn/simple/
RUN pip install --no-cache-dir poetry==${POETRY_VERSION} -i https://mirrors.cloud.tencent.com/pypi/simple/

# Configure Poetry
ENV POETRY_CACHE_DIR=/tmp/poetry_cache
ENV POETRY_NO_INTERACTION=1
ENV POETRY_VIRTUALENVS_IN_PROJECT=true
ENV POETRY_VIRTUALENVS_CREATE=true
ENV POETRY_REQUESTS_TIMEOUT=3600

# Set the global mirror source for Poetry
# RUN poetry config repositories.pypi https://pypi.tuna.tsinghua.edu.cn/simple
# RUN poetry config repositories.pypi https://mirrors.aliyun.com/pypi/simple
RUN poetry config repositories.pypi https://mirrors.cloud.tencent.com/pypi/simple

# Packages stage
FROM base AS packages

# if you located in China, you can use the following mirror to speed up
# RUN sed -i 's@deb.debian.org@mirrors.aliyun.com@g' /etc/apt/sources.list.d/debian.sources
# RUN sed -i 's@deb.debian.org@mirrors.tuna.tsinghua.edu.cn@g' /etc/apt/sources.list.d/debian.sources
RUN sed -i 's@deb.debian.org@mirrors.cloud.tencent.com@g' /etc/apt/sources.list.d/debian.sources

RUN apt-get update && apt-get install -y --no-install-recommends \
    gcc g++ libc-dev libffi-dev libgmp-dev libmpfr-dev libmpc-dev \
    && apt-get autoremove -y && rm -rf /var/lib/apt/lists/*

COPY pyproject.toml poetry.lock ./
RUN poetry install --sync --no-cache --no-root

# Production stage
FROM python:3.12-slim-bookworm AS production

WORKDIR /app/api

ENV FLASK_APP=app.py
ENV EDITION=SELF_HOSTED
ENV DEPLOY_ENV=PRODUCTION
ENV CONSOLE_API_URL=http://127.0.0.1:5001
ENV CONSOLE_WEB_URL=http://127.0.0.1:3000
ENV SERVICE_API_URL=http://127.0.0.1:5001
ENV APP_WEB_URL=http://127.0.0.1:3000

EXPOSE 5001

# Install necessary runtime libraries
RUN apt-get update && apt-get install -y --no-install-recommends \
    curl nodejs libgmp-dev libmpfr-dev libmpc-dev \
    expat libldap-2.5-0 perl libsqlite3-0 zlib1g \
    fonts-noto-cjk media-types libmagic1 \
    && apt-get autoremove -y && rm -rf /var/lib/apt/lists/*

# Copy Python environment and packages
ENV VIRTUAL_ENV=/app/api/.venv
COPY --from=packages ${VIRTUAL_ENV} ${VIRTUAL_ENV}
ENV PATH="${VIRTUAL_ENV}/bin:${PATH}"

# Download nltk data
RUN python -c "import nltk; nltk.download('punkt'); nltk.download('averaged_perceptron_tagger')"

# Cache tiktoken model
ENV TIKTOKEN_CACHE_DIR=/app/api/.tiktoken_cache
RUN python -c "import tiktoken; tiktoken.encoding_for_model('gpt2')"

# Copy source code
COPY . /app/api/

# Copy entrypoint
COPY docker/entrypoint.sh /entrypoint.sh
RUN chmod +x /entrypoint.sh

ARG COMMIT_SHA
ENV COMMIT_SHA=${COMMIT_SHA}

ENTRYPOINT ["/bin/bash", "/entrypoint.sh"]

配置镜像加速

确认已修改Docker 镜像加速器（registry-mirrors）的配置列表，

/etc/docker/daemon.json

{
    "registry-mirrors": [
        "https://docker.mirrors.tuna.tsinghua.edu.cn",
        "https://mirror.ccs.tencentyun.com",
        "https://hub-mirror.c.163.com",
        "https://mirror.baidubce.com",
        "https://registry.docker-cn.com",
        "https://docker.mirrors.ustc.edu.cn",
        "https://xxxxxx.mirror.aliyuncs.com"    -- 每个阿里云账号对应有一个专属的镜像加速地址，你可以登录阿里云容器镜像服务控制台获取自己的专属加速地址
    ]
}

修改完成后重启 Docker 服务

sudo systemctl restart docker

构建镜像

以Root身份切换到Dockerfile所在目录，使用RZ命令上传文件：

Linux 常用命令之 RZ和SZ 简介_linux rz-CSDN博客

切换到dify目录，在dify目录下执行docker build命令（langgenius/dify-api:后面的版本号改成你自己定义的），等待打包完成（第一次需要经过漫长的等待）

docker build -t langgenius/dify-api:1.0.1-20250318.01 ./api

在dify/docker目录下执行docker compose down。
在dify/docker/docker-compose.yaml里更改api的版本号（api和worker的都改）保存！

除了vi修改，也可将docker-compose.yaml通过sz命令下载到本地修改，再上传

  # API service
  api:
    # image: langgenius/dify-api:1.0.1
    image: langgenius/dify-api:1.0.1-20250318.01
    restart: always

  # worker service
  # The Celery worker for processing the queue.
  worker:
    #image: langgenius/dify-api:1.0.1
    image: langgenius/dify-api:1.0.1-20250318.01
    restart: always