在本大型语言模型（LLM）和机器学习教程中，解释了如何在Linux Ubuntu上的Raspberry Pi 5上运行Llama 3.2 1B LLMs。在这个教程中，我使用了Raspberry Pi 5。Raspberry Pi 5比Raspberry Pi 4快得多，因此我们建议大家使用Raspberry Pi 5。以下是bilbil教程链接：LLaMa 3.2 - 1B 在树莓派 5 使用ollama部署调用_哔哩哔哩_bilibili。

Llama 3.2 1B和3B是Llama系列大型语言模型中的最新模型。它们是高度压缩和优化的模型，目的是在内存和计算资源有限的边缘设备上运行。另一方面，Raspberry Pi 5在某种意义上也可以被视为边缘设备。

下图展示了我们的Raspberry Pi 5计算平台：

我们拥有配备8GB RAM的Raspberry Pi 5。

在我们开始解释之前，需要强调以下几点：

在本教程中，我们使用的是Linux Ubuntu 24.04。但是，您也可以使用任何其他支持的Linux Ubuntu版本。

在Raspberry Pi 5上安装Ollama和Llama 3.2 1B模型

首先，确保您的系统是最新的。为此，打开一个终端并输入：

sudo apt update && sudo apt upgrade

接下来，在当前终端并行打开另一个终端，并在该终端中打开一个名为top的程序。在终端中输入：

top

这个程序用于监控计算资源。

我们将首先安装Ollama，然后安装Llama 3.2。Ollama是一个框架和API，用于运行不同的大型语言模型。它提供了一个易于使用的界面来运行不同的模型。它还有一个非常简单易用的Python库。首先，我们将安装Ollama，然后我们将安装Llama 3.2模型。

我们需要确保我们的计算机允许在11434端口上进行入站连接。为此，打开一个终端并输入：

sudo ufw allow 11434/tcp

如果没有ufw，需要下载

sudo apt install ufw

要在Linux Ubuntu上安装Ollama，打开一个终端并输入：

curl -fsSL https://ollama.com/install.sh | sh

下载Ollama并安装它需要一些时间。

直接这条命令下载的话非常慢，我的建议是去githubReleases · ollama/ollama (github.com)下载对应版本的ollama，切记看好amd和arm，然后运行：

tar -C /usr -xzf ollama-linux-amd64.tgz

要验证安装是否成功，首先打开一个Web浏览器，并输入：

127.0.0.1:11434

您应该看到一条消息，表明Ollama正在运行。如果您没有看到这条消息，那么您需要手动启动Ollama。您可以通过打开一个终端并输入：

ollama serve

如果Ollama没有运行，这将启动Ollama。现在让我们打开一个终端并输入：

ollama

和

ollama list

如果您看到响应，这意味着可以从终端窗口执行Ollama。下一步是下载Ollama模型。

要下载1B和3B模型，在终端中输入：

ollama pull llama3.2:1b

下载模型将需要5-10分钟。模型下载完成后，我们可以通过输入以下命令来执行它们（运行1B模型）：

ollama run llama3.2:1b

之后，您将看到一个模型提示符，您可以开始提问。要退出模型，您需要输入：

/bye

要列出计算机上的所有模型，您需要输入：

ollama list