《Arch-Router: Aligning LLM Routing with Human Preferences》论文

一、研究背景与动机

随着大语言模型（LLM）的快速 proliferation，不同模型在 strengths、style 或 latency/cost profile 方面各有优化，路由技术成为 operationalize 多模型使用的关键。然而，现有 LLM 路由方法存在两大局限：一是使用 benchmarks 评估性能，难以捕捉用户基于主观标准的偏好；二是可选择的模型池有限，且通常需要 retraining 或架构修改才能支持新模型或用例。

为解决这些局限，论文提出一个与偏好对齐的路由框架，通过匹配查询与用户定义的领域（如旅行）或操作类型（如图像编辑），为路由决策提供实用机制。该框架以 Domain-Action Taxonomy 为基础，允许用户用自然语言定义路由策略。

二、研究方法

（一）框架设计

论文提出一个包含以下关键组件的偏好对齐路由框架：

1. Domain-Action Taxonomy：采用两层结构建模 LLM 路由，其中 Domain 捕获查询的高层次主题背景，Action 表示请求的具体操作。这种分类有助于用户定义清晰、结构化的路由策略，同时避免了平展标签列表的笨重感。

2. 路由机制：分为两个阶段。第一阶段，偏好对齐路由器 F 根据用户查询 q 和完整路由策略集 C 选择最合适策略 c；第二阶段，映射 T 将选定策略关联到特定 LLM 模型。这种解耦设计使模型选择完全委托给 T，允许动态添加、移除或替换模型，无需重新训练或修改路由器。

（二）数据生成框架

为支持 Arch-Router，作者设计了两阶段数据生成流程：

1. 第一阶段：数据生成：通过结构化两步过程创建干净、结构正确的对话。首先，基于行业分类、学术基准和真实 API 文档构建多样化主题池，使用 LLM 生成候选路由策略，再由第二个 LLM 验证和精炼这些策略。其次，利用精炼后的路由策略生成对话意图，并由另一个 LLM 生成完整对话。最终由 LLM 验证对话与路由策略的一致性。

2. 第二阶段：数据增强：通过三种技术增强数据集，引入现实世界复杂性：一是无关信息注入，添加离题用户消息或移除真实路由策略；二是策略修改，引入不相关或误导性选项；三是场景混合，组合不同对话片段创建包含主题切换、后续问题等复杂对话。

（三）Arch-Router 模型

Arch-Router 是一个紧凑的 1.5B 生成式语言模型。它通过处理包含用户查询 q 和所有可能路由策略 C 的输入提示 x，生成路由标识符。其训练目标是最大化生成输出为正确路由策略的可能性，通过最小化交叉熵损失实现。

三、实验设计与结果

（一）实验设置

1. 评估语料：使用 CLINC-150、MANtIS、SGD 和 LMSYS-1M 四个公开数据集。对这些数据集进行增强，使用 LLM 生成路由描述并通过验证步骤确保一致性。

2. 比较池：与 OpenAI、Anthropic、Gemini 和原始 Qwen2.5-1.5B 等多个 proprietary 模型家族进行比较。

3. 训练细节：采用监督微调（SFT），使用 Llama-Factory 库，进行全参数更新，使用 AdamW 优化器，最大训练四个 epoch，训练样本 43,000 对，训练/验证集按 90/10 分割。

4. 评估指标：从三个层次评估模型性能：单轮（Turn）、连续相同路由标签的跨度（Span）和完整对话（Conversation）。

（二）结果分析

Arch-Router 在整体路由得分中达到 93.17%，超过其他候选模型平均 7.71%。其在跨度级和完整对话级准确性分别达到 94.98% 和 88.48%，表明其在处理多轮对话方面优于其他模型。在细粒度查询到细粒度答案（fQfA）基准测试中，Arch-Router 达到 98.11，证明其能够将查询映射到特定操作路由策略。此外，其在处理无关请求或请求完成（Irrelevance）任务中的表现与 Claude-sonnet-3.7 匹配，显示其在查询提示较粗或超出分布时的稳健性。

四、分析与讨论

（一）模型行为分析

通过分析 SGD 数据集上的错误模式，发现 Arch-Router 和 Claude-Sonnet-3.7 的失败特征不同。Arch-Router 主要失败于初始轮次，若正确识别用户意图，则后续轮次高度稳健。而 Claude-Sonnet-3.7 的失败更分散，主要发生在中后期轮次，表明其在处理后续请求时对上下文跟踪较弱。

（二）偏好对齐与性能对齐路由比较

偏好对齐路由将质量判断权交给用户，通过多类分类匹配用户定义的路由策略；性能对齐路由则将质量判断委托给模型，使用分数函数预测最佳结果。偏好对齐路由适用于质量主观且由用户定义的场景，而性能对齐路由适合成本敏感且有可靠模型预测质量分数的环境。

（三）局限性

偏好对齐路由在透明度和控制方面具有明显优势，但也存在局限性：一是路由准确性受策略集精度限制，策略描述模糊或重叠会降低性能；二是路由有效性受用户模型选择限制，若用户将不合适模型分配给路由策略，即使路由准确也可能导致次优结果。

五、结论与展望

论文提出一个偏好对齐路由框架，允许用户将人类偏好编码为显式路由策略，并将策略与模型选择解耦，从而实现更透明、灵活的路由决策。在此框架下，作者展示了 Arch-Router 和两阶段数据创建流程。实验结果表明，Arch-Router 在多轮对话基准测试中超越最佳 proprietary 模型。未来工作包括探索结合偏好对齐路由与精确性能目标的混合框架，以及支持更广泛路由策略的人类偏好建模。

论文核心技术汇总