服务器环境:

显卡驱动:Driver Version: 530.30.02

CUDA版本:CUDA Version: 12.1

显卡:NVIDIA GeForce RTX 3090共4张

用CPU就挺快的,所以我没把显卡映射到docker容器中,但从容器的代码中能看到,只要把显卡映射到容器就能自动判断是否有显卡。

docker-compose.yml内容如下:

version: '3'
services:
  m3e_api:
    container_name: m3e_api

    environment:
      TZ: Asia/Shanghai

    image: registry.cn-hangzhou.aliyuncs.com/fastgpt_docker/m3e-large-api:latest

    restart: always

    networks:
      - general

    ports:
      - "6200:6008"

networks:
  general:
    external: true

然后把m3e配置到one-api

注意:密钥一定要配置成“sk-aaabbbcccdddeeefffggghhhiiijjjkkk”

因为容器里的执行脚本中,判断了key是不是等于 “sk-aaabbbcccdddeeefffggghhhiiijjjkkk”,key不一致会出现401错误。

也可以在docker-compose.yml的environment中自定义key的值。

environment:

  sk-key:'sk-112233'

Logo

魔乐社区(Modelers.cn) 是一个中立、公益的人工智能社区,提供人工智能工具、模型、数据的托管、展示与应用协同服务,为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作,由全产业链共同建设、共同运营、共同享有,推动国产AI生态繁荣发展。

更多推荐