如何免费本地运行大语言模型？Ollama开源项目超详细教程

【免费下载链接】ollama Get up and running with Llama 2 and other large language models locally 项目地址: https://gitcode.com/gh_mirrors/ol/ollama

Ollama是一个强大的开源项目，让你能够轻松在本地计算机上运行Llama 2等大型语言模型。无需复杂配置，只需简单几步，就能搭建属于自己的本地AI助手，完全免费且保护隐私。

🚀 什么是Ollama？

Ollama是一个轻量级开源工具，它简化了在本地运行大型语言模型的过程。通过Ollama，即使用户没有深厚的AI背景，也能轻松部署和使用各种大语言模型，如Llama 2、Gemma等。项目源码托管在https://link.gitcode.com/i/7aeae8fc305ac0876e325cdd40d8561b，完全开源免费。

💻 系统要求

不同操作系统有不同的系统要求：

• macOS：需要macOS Sonoma (v14)或更新版本，支持Apple M系列芯片（CPU和GPU）或x86架构（仅CPU）
• Windows：Windows 10 22H2或更新版本，Home或Pro版；如果使用NVIDIA显卡，需要452.39或更新的驱动；AMD Radeon显卡需要最新驱动
• Linux：支持AMD64和ARM64架构，AMD GPU需额外安装ROCm包

📥 快速安装步骤

Windows系统安装

Ollama提供了原生Windows应用，无需WSL。安装步骤如下：

1. 下载Ollama安装程序
2. 默认安装在用户目录，如需更改安装位置，可使用命令：

   OllamaSetup.exe /DIR="d:\some\location"
   

3. 安装完成后，Ollama会在后台运行，ollama命令将在cmd、powershell或其他终端中可用

macOS系统安装

1. 下载ollama.dmg安装包
2. 挂载镜像并将Ollama应用拖放到应用程序文件夹
3. 首次启动时，应用会检查ollama CLI是否在PATH中，如未检测到，会提示创建 /usr/local/bin 链接

Linux系统安装

使用以下命令一键安装：

curl -fsSL https://ollama.com/install.sh | sh

如需手动安装：

curl -LO https://ollama.com/download/ollama-linux-amd64.tgz
sudo rm -rf /usr/lib/ollama
sudo tar -C /usr -xzf ollama-linux-amd64.tgz

启动Ollama：

ollama serve

在另一个终端验证安装：

ollama -v

🔑 配置Ollama密钥

安装完成后，你可能需要配置Ollama密钥来推送模型到你的命名空间。不同操作系统的密钥位置如下：

• macOS：~/.ollama/id_ed25519.pub
• Linux：/usr/share/ollama/.ollama/id_ed25519.pub
• Windows：C:\Users\<username>\.ollama\id_ed25519.pub

📝 创建Ollama账户

如果你想发布和分享自己的模型，可以创建Ollama账户：

只需提供电子邮件地址、用户名和密码，点击"Create account"即可完成注册。

🚀 开始使用Ollama

安装完成后，你可以通过命令行或API来使用Ollama。

命令行使用

基本命令格式：

ollama run <模型名称>

例如，运行Llama 3.2模型：

ollama run llama3.2

API访问

Ollama提供API服务，默认地址为http://localhost:11434。以下是一个PowerShell示例：

(Invoke-WebRequest -method POST -Body '{"model":"llama3.2", "prompt":"Why is the sky blue?", "stream": false}' -uri http://localhost:11434/api/generate ).Content | ConvertFrom-json

⚙️ 高级配置

更改模型存储位置

如果你的主目录空间不足，可以更改模型的存储位置。具体方法请参考官方文档：docs/macos.md、docs/windows.md和docs/linux.md。

模型文件

Ollama使用模型文件（Model File）来定义模型的行为。你可以创建自己的模型文件来自定义模型。详细信息请参考docs/modelfile.md。

🐳 Docker部署

Ollama也支持Docker部署，方便在服务器环境中使用：

docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama

更多Docker相关信息请参考docs/docker.md。

🛠️ 故障排除

如果遇到问题，可以查看日志文件：

• macOS：~/.ollama/logs
• Windows：%LOCALAPPDATA%\Ollama
• Linux：/var/log/ollama

🗑️ 卸载Ollama

如需完全卸载Ollama，可参考以下步骤（以macOS为例）：

sudo rm -rf /Applications/Ollama.app
sudo rm /usr/local/bin/ollama
rm -rf "~/Library/Application Support/Ollama"
rm -rf ~/.ollama

其他系统的卸载方法请参考相应的官方文档。

📚 学习资源

• 官方文档：docs/
• API文档：docs/api.md
• 示例代码：api/examples/

通过Ollama，你可以轻松在本地运行强大的语言模型，无论是用于开发、学习还是个人使用，都是一个绝佳的选择。立即尝试，开启你的本地AI之旅吧！

【免费下载链接】ollama Get up and running with Llama 2 and other large language models locally 项目地址: https://gitcode.com/gh_mirrors/ol/ollama