概要

AI、Deepseek很火，但是因为某些原因常用的电脑不能联网，遂尝试搭建本地环境离网运行AI大模型。简单记录过程。

工具软件

• Ollama
  一个轻量级平台，本地大语言模型运行框架，用户可在本地设备上运行和管理各种大语言模型。

• Continue
  continue是一个vscode插件，它本身不提供 AI 模型，但它提供了多种接入 AI 模型的方法来实现多种场景下的功能。

步骤

• 安装Ollama
  到官网下载安装包，直接安装（安装到当前用户目录）下载链接 https://www.ollama.com/download
  安装完成后，默认的模型下载路径为当前用户目录，如果用户目录位于系统盘，可通过环境变量修改为非系统盘
  新建系统变量，变量名：OLLAMA_MODELS；变量值：目的路径
  安装完成后，在命令窗口中输入 ollama --version可查看是否安装正常
  

• 下载大模型
  在https://www.ollama.com/search中查看支持的模型,选择合适的大模型,将指令复制到命令窗口中运行，等待下载完成。
  
  

• 大模型迁移
  下载好大模型后，这台电脑其实已经可以运行大模型了。然而目标电脑并不能联网，所以，下一步要从可联网电脑上将搭建好的环境迁移到目标电脑上。
  首先目标电脑同样安装Ollama，设置大模型下载路径。
  然后到已下载好大模型的电脑上复制模型文件，再粘贴到目标电脑大模型下载路径。
  直接将模型下载目录（默认位于ollama安装目录下models文件夹，如果前面有设置模型下载路径则为设置目录）下blobs、manifests文件夹完整复制到目标电脑即可。

• 安装Continue插件
  在可联网电脑上下载离线安装文件，然后复制到目标电脑。下载插件离线安装文件有几种方法：
  1、插件市场下载（目前已经不支持直接下载了，需要跳转到代码仓中下载）
  https://marketplace.visualstudio.com/items?itemName=Continue.continue
  
  
  
  将下载好的离线安装文件复制到目标电脑，打开Vscode，在插件解码选择从vsix安装，选择复制好的vsix文件，等待安装完成
  
  安装完成后vscode左侧出现continue图标
  

2、复制粘贴大法
vscode上的插件相关文件一般位于用户目录下的.vscode\extensions路径，例如C:\Users\xxx.vscode\extensions(xxx为用户名)。找到名称包含continue的文件夹整个复制到目标电脑相同目录下，重启vscode。（未实测）

• Continue插件配置
  在模型选择下拉菜单中选择添加模型，在Provider中选择Ollama，Connect，完成
  
  配置后在下拉栏中可以看到已经下载的大模型
  
  打开continue插件配置文件，修改聊天模型、代码补全配置
  

  "models": [
    {
      "model": "AUTODETECT",
      "title": "Autodetect",
      "provider": "ollama"
    }
  ],
  "tabAutocompleteModel": {
    "title": "Tab Autocomplete",
    "provider": "ollama",
    "model": "deepseek-coder:latest"
  },

其中，聊天模型可直接使用Autodetect自动自测模型；代码补全tabAutocompleteModel中需要指定具体模型。

试运行

• 对话
  在下拉菜单中选择模型，通过对话框向AI提问
  

• 代码生成
  描述自己需求，让AI生成代码
  

• 代码补全
  输入注释或者函数名，ai会自动进行代码补全，按tab键接受补全。例如输入“int max（int a, int b)"，自动补全代码内容，按tab键接受。选择不同的代码补全模型，补全速度、准确度不同。
  
  

• 代码优化
  选择代码段，右键选择continue->Fix this Code，可修复代码中问题。
  例如，函数名为min，但实际返回值为较大值，AI修复结果为将返回值修改为较小值。点击Accept接受修复结果，Rejet拒绝修复。
  
  

• 生成注释
  选择代码段，右键选择生成注释