端侧大模型（On-device LLM）开始普及：Android 端侧推理的技术细节分析

一、背景：为什么大模型开始“下沉”到端侧

在早期的大语言模型应用中，几乎所有推理任务都依赖云端完成。
这种模式在 PC 或服务器环境下问题不大，但在移动端逐渐暴露出明显瓶颈：

• 网络延迟不可控
• 高频请求带来带宽与成本压力
• 隐私数据需要上传云端
• 离线场景完全不可用

随着移动 SoC 算力提升，以及模型压缩与推理优化技术的成熟，将部分语言模型能力下沉到设备本地，开始变得现实。这便是 端侧大模型（On-device LLM） 出现的背景。

---

二、端侧大模型的技术定位

需要明确的是，端侧大模型并不是“完整云端 LLM 的等价替代品”。

从设计目标上看，端侧 LLM 具有明显取舍：

• 放弃通用生成能力
• 保留核心语义理解能力
• 针对特定任务高度优化

因此，更准确的说法是：
端侧 LLM 是一种面向受限算力环境的专用语言模型形态。

---

三、模型层面：端侧 LLM 如何被“压缩”

3.1 模型结构选择

目前端侧 LLM 几乎清一色采用 Decoder-only Transformer 结构，其原因包括：

• 推理流程相对简单
• 适合流式 Token 生成
• 易于裁剪和量化

Encoder-Decoder 结构虽然效果更好，但推理复杂度更高，在端侧并不常见。

---

3.2 知识蒸馏（Knowledge Distillation）

端侧模型通常不是从零训练，而是通过蒸馏获得：

• 云端大模型作为 Teacher
• 端侧模型作为 Student
• 学习输出分布而非完整参数空间

这种方式可以在显著减少参数量的情况下，保留语言理解能力，是端侧 LLM 的核心手段之一。

---

3.3 量化（Quantization）

量化是端侧推理的关键步骤，常见方式包括：

• FP32 → FP16
• FP16 → INT8
• 混合精度量化

量化带来的直接收益包括：

• 模型体积大幅减小
• 内存访问压力降低
• 更容易使用 NPU 加速
• 功耗显著下降

在 Android 设备上，INT8 模型通常是性能与能耗的最优解。

---

3.4 上下文窗口与序列裁剪

端侧 LLM 通常会严格限制：

• 最大 Token 数
• 上下文窗口长度
• 批处理大小

例如，仅处理几十到几百个 Token，用于通知摘要、短文本理解等场景，从源头控制计算复杂度。

---

四、Android 端侧 LLM 的推理架构

从工程实现角度看，端侧 LLM 在 Android 上通常运行在以下技术栈中：

App / System Service
│
├─ AI 能力接口（ML Kit / System API）
│
├─ TensorFlow Lite Interpreter
│ ├─ CPU Delegate
│ ├─ GPU Delegate
│ └─ NNAPI Delegate
│
├─ 硬件加速单元
│ ├─ GPU
│ └─ NPU / AI Engine
│
└─ SoC

开发者通常不会直接操作模型底层，而是通过系统或框架调用已经部署好的端侧模型能力。

---

五、TensorFlow Lite 在端侧 LLM 中的作用

TensorFlow Lite 在端侧 LLM 推理中主要承担三项核心职责：

1. 模型格式承载

   • 将模型以 .tflite 格式部署到端侧

2. 推理执行与算子调度

   • 高效执行 Transformer 中的大规模矩阵运算

3. 统一硬件加速入口

   • 通过 NNAPI 调度 GPU / NPU

可以说，没有 TFLite 提供的推理与加速能力，端侧 LLM 在 Android 上几乎无法落地。

---

六、端侧 LLM 的推理方式：工程视角

与云端推理不同，端侧 LLM 通常采用以下运行方式：

• Token-by-token 推理
• 流式输出
• 支持随时中断

此外，许多端侧场景并不需要完整文本生成，而是只关注：

• 分类结果
• 简短摘要
• 语义判断

这使得模型可以在计算尚未完全结束前提前返回结果，进一步降低延迟。

---

七、端侧 LLM 与云端 LLM 的协同模式

在实际系统设计中，端侧 LLM 往往承担“前置处理”角色：

• 本地完成初步语义理解
• 判断是否需要云端推理
• 过滤无效或低价值请求

这种 端云协同 架构在性能、隐私和成本之间取得了平衡，是当前较为现实的方案。

---

八、端侧 LLM 的技术挑战

尽管端侧大模型已经开始落地，但仍面临诸多挑战：

• 模型规模受限，泛化能力有限
• 不同设备硬件能力差异大
• 调优与适配成本较高
• 推理性能与功耗之间需要反复权衡

这些问题决定了端侧 LLM 更适合作为系统级基础能力，而非完全独立的 AI 服务。

---

九、总结

端侧大模型的普及，并不是单一技术突破的结果，而是模型工程、推理框架和硬件能力协同演进的产物。

从 Android 平台的发展趋势来看，On-device LLM 正在逐步成为操作系统层面的智能基础设施，为移动端应用提供低延迟、隐私友好的语言理解能力。

这也意味着，未来 Android 开发者将不可避免地与端侧 AI 技术产生更深层次的交集。

作者：林周淦
原文链接：端侧大模型（On-device LLM）开始普及：Android 端侧推理的技术细节分析