要在 Linux 服务器上使用 Ollama 运行您自行微调的模型,您可以按照以下步骤进行:

  1. 准备模型文件

    • 确保您的微调模型已保存为 GGUF、PyTorch 或 Safetensors 格式。
  2. 创建 Modelfile 文件

    • 在服务器上创建一个名为 Modelfile 的文件,内容如下:
      FROM /path/to/your/model/file
      
      /path/to/your/model/file 替换为您模型文件的实际路径。
  3. 使用 Ollama 创建模型

    • 在终端中执行以下命令:
      ollama create your_model_name -f /path/to/Modelfile
      
      your_model_name 替换为您希望的模型名称,/path/to/Modelfile 替换为 Modelfile 文件的实际路径。
  4. 运行模型

    • 执行以下命令启动模型:
      ollama run your_model_name
      
      这将启动您创建的模型,您可以在终端中与之交互。

请注意,Ollama 支持从 GGUF、PyTorch 或 Safetensors 格式导入自定义模型。

此外,您可以通过编写 Modelfile 配置文件,自定义模型的推理参数,如温度、top_p 等,以调节模型的生成效果。

如果您的模型是 Safetensors 格式,且采用 LlamaForCausalLM、MistralForCausalLM 或 GemmaForCausalLM 架构,您可以直接通过 Modelfile 导入。

通过上述步骤,您即可在 Ollama 上运行您微调后的模型。

Logo

魔乐社区(Modelers.cn) 是一个中立、公益的人工智能社区,提供人工智能工具、模型、数据的托管、展示与应用协同服务,为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作,由全产业链共同建设、共同运营、共同享有,推动国产AI生态繁荣发展。

更多推荐