中文 ▾
获取 API 密钥

Best LLM API 指南

如何使用 LLM API:从首次请求到流式输出

使用 LLM API 意味着通过 HTTPS 发送消息 JSON 列表并读取回复。本指南带你从获取密钥到首次请求,再到流式输出、JSON 输出和函数调用。

更新时间:

发光的请求数据包从终端传送到服务器,并流式返回 token

要点

  • 该接口与 OpenAI 兼容:更改 Base URL 和密钥,保留你的 SDK。
  • 使用模型 ID uncensored 并向 /v1/chat/completions 发送 POST 请求。
  • 支持流式输出、JSON 模式和函数调用。
  • 429 表示请放慢速度;查看错误代码以了解原因。

什么是 LLM API 调用

如果你想知道 如何使用 LLM API 服务,其实很简单。你发送一个包含消息列表的 HTTPS POST 请求。每条消息都有一个角色(system、user 或 assistant)和一段文本。服务器运行模型并返回下一条助手消息。这就是整个协议。

模型在调用之间没有记忆。如果你想要对话,每次都需要重新发送之前的消息。这就是为什么提示词会变长、成本会随提示词增加,以及为什么 100,000-token 上下文窗口很重要:它是提示词加上回复的总限制。

此服务使用与 OpenAI Chat Completions API 相同的协议。任何 OpenAI SDK 或兼容客户端只需更改两件事即可工作:Base URL 和密钥。只有文本输入和输出。没有图像、音频或视频生成,也没有嵌入接口。

本指南的其余部分使用了一些术语。token 是一段文本,平均大约相当于四分之三个英文单词。输入 token 是你发送的所有内容,而 输出 token 是模型生成的内容。两者都会计费,但费率不同,响应会精确告知你分别使用了多少。Base URL 是你的客户端附加到每个路径的地址,而 API 密钥 是证明请求归属的密钥。如果你了解这四个概念,剩下的就只是常规操作。

步骤 1:获取密钥并记录三个值

使用 Google 或电子邮件和密码创建账户,并打开 API 密钥页面。在那里,你可以一键复制密钥并领取 $0.50 免费试用额度。试用无需信用卡。

每次请求都需要三个值:

  • Base URL: https://api.bestllmapi.com/v1
  • 模型 ID: uncensored
  • 认证标头: Authorization: Bearer YOUR_KEY

将密钥保留在源代码控制之外。将其放入环境变量(如 LLM_API_KEY)并从那里读取。任何拥有密钥的人都可以花费你的额度。

步骤 2:使用 curl 发送首个请求

Curl 是检查一切是否正常的最快方法,在任何库介入之前。

export LLM_API_KEY="paste-your-key-here"

curl https://api.bestllmapi.com/v1/chat/completions \
  -H "Authorization: Bearer $LLM_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [
      {"role": "system", "content": "You are a concise assistant."},
      {"role": "user", "content": "Explain what a token is in two sentences."}
    ],
    "temperature": 0.7
  }'

回复是 JSON 格式。文本位于 choices[0].message.content,usage 对象列出了提示词和补全 token,这是计费依据。你也可以通过 GET https://api.bestllmapi.com/v1/models 列出模型;你应该能看到 uncensored。

响应标头也有帮助。X-Request-Id 在你联系支持时标识调用,X-Balance-USD 显示账户剩余金额。

读取响应并选择参数

响应有几个字段值得在编写任何解析代码之前了解。choices 是一个列表,你几乎总是需要第一项。在其中,message.content 保存文本,finish_reason 告诉你模型停止的原因。stop 值表示自然结束。length 值表示达到了你的 max_tokens 上限或窗口耗尽,因此答案可能在句子中间被截断。

usage 对象提供提示词 token、补全 token 和总计。从第一天起就记录这些调用。它们是了解应用真实成本的唯一可靠方式,也能让你轻松发现重复发送相同长提示词的 bug。

选择参数主要取决于任务类型。对于提取、分类和代码,使用较低的温度(如 0.2),以便相同输入产生几乎相同的输出。对于头脑风暴和故事,0.8 到 1.0 提供更多变体。一次更改一个值,并在想要比较两个提示词版本的可重复性时使用 seed。

步骤 3:在 Python 或 Node 中使用 OpenAI SDK

实际上你会使用库。在 Python 中,使用 pip install openai 安装它,并将其指向新的 Base URL。

import os
from openai import OpenAI

client = OpenAI(
    base_url="https://api.bestllmapi.com/v1",
    api_key=os.environ["LLM_API_KEY"],
)

resp = client.chat.completions.create(
    model="uncensored",
    messages=[
        {"role": "system", "content": "You are a concise assistant."},
        {"role": "user", "content": "Give me three names for a hiking app."},
    ],
    temperature=0.8,
    max_tokens=200,
)

print(resp.choices[0].message.content)
print(resp.usage.prompt_tokens, resp.usage.completion_tokens)

Node 版本几乎相同。使用 npm install openai 安装。

import OpenAI from "openai";

const client = new OpenAI({
  baseURL: "https://api.bestllmapi.com/v1",
  apiKey: process.env.LLM_API_KEY,
});

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Give me three names for a hiking app." }],
});

console.log(resp.choices[0].message.content);

max_tokens 是可选的。如果省略它,回复可能会使用 100,000-token 窗口中剩余的所有内容,因此如果你想要简短答案,请设置它。采样设置 temperature、top_p、stop、seed 和惩罚项会传递给模型。

步骤 4:流式回复

没有流式输出时,用户会盯着空白屏幕,直到整个答案准备好。使用 stream: true,服务器通过 Server-Sent Events 发送生成的 token,并在结束时发送使用总量。

import os
from openai import OpenAI

client = OpenAI(base_url="https://api.bestllmapi.com/v1", api_key=os.environ["LLM_API_KEY"])

stream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Write a short product description for a desk lamp."}],
    stream=True,
)

for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)
    if getattr(chunk, "usage", None):
        print("\nTokens:", chunk.usage.total_tokens)

要记住的一点:流式请求会占用并发槽位,直到流结束。完整密钥允许 8 个并发请求,试用密钥允许 2 个。如果用户关闭标签页,你也应在自己的端关闭流,否则槽位会保持忙碌。

保持对话继续

由于 API 没有记忆,聊天应用是一个将消息追加到列表的循环。下面的模式是几乎每个聊天机器人的核心。

import os
from openai import OpenAI

client = OpenAI(base_url="https://api.bestllmapi.com/v1", api_key=os.environ["LLM_API_KEY"])

messages = [{"role": "system", "content": "You are a friendly travel planner."}]

while True:
    user_text = input("You: ")
    if user_text.strip().lower() in ("quit", "exit"):
        break
    messages.append({"role": "user", "content": user_text})
    resp = client.chat.completions.create(model="uncensored", messages=messages)
    answer = resp.choices[0].message.content
    messages.append({"role": "assistant", "content": answer})
    print("Bot:", answer)

每一轮循环都会重新发送整个列表,因此随着对话变长,每轮成本会上升。价格为每 1M 输入 token $0.15,每 1M 输出 token $0.50。一轮包含 2,000 个输入 token 和 400 个输出 token 的成本为 2,000 / 1,000,000 x $0.15 = $0.0003,加上 400 / 1,000,000 x $0.50 = $0.0002,总计 $0.0005。按此费率,$0.50 的试用额度可覆盖约 1,000 轮。

当列表变长时,删除最旧的 user 和 assistant 消息,但保留顶部的 system 消息。或者让模型为早期轮次写一个简短摘要,并用它替换它们。

步骤 5:JSON 模式和函数调用

当你的代码需要解析答案时,要求 JSON。将 response_format 设置为 {"type": "json_object"},并在提示词中也说明 "JSON",以便模型知道你想要什么格式。

import os, json
from openai import OpenAI

client = OpenAI(base_url="https://api.bestllmapi.com/v1", api_key=os.environ["LLM_API_KEY"])

resp = client.chat.completions.create(
    model="uncensored",
    response_format={"type": "json_object"},
    messages=[
        {"role": "system", "content": "Reply only with JSON."},
        {"role": "user", "content": "Extract name and city: 'Maria lives in Lisbon.' Use keys name and city."},
    ],
)
print(json.loads(resp.choices[0].message.content))

函数调用让模型请求你的代码运行函数。你在 tools 中描述函数;模型回复一个 tool_calls 条目而不是文本;你运行函数并通过 role: "tool" 将结果发回。

import os, json
from openai import OpenAI

client = OpenAI(base_url="https://api.bestllmapi.com/v1", api_key=os.environ["LLM_API_KEY"])

tools = [{
    "type": "function",
    "function": {
        "name": "get_order_status",
        "description": "Look up an order by its id",
        "parameters": {
            "type": "object",
            "properties": {"order_id": {"type": "string"}},
            "required": ["order_id"],
        },
    },
}]

messages = [{"role": "user", "content": "Where is order A-1042?"}]
first = client.chat.completions.create(
    model="uncensored", messages=messages, tools=tools, tool_choice="auto"
)
msg = first.choices[0].message

if msg.tool_calls:
    call = msg.tool_calls[0]
    args = json.loads(call.function.arguments)
    result = {"order_id": args["order_id"], "status": "shipped"}
    messages.append(msg)
    messages.append({
        "role": "tool",
        "tool_call_id": call.id,
        "content": json.dumps(result),
    })
    final = client.chat.completions.create(
        model="uncensored", messages=messages, tools=tools
    )
    print(final.choices[0].message.content)

模型偶尔会产生格式错误的参数,因此在实际代码中,将 json.loads 包裹在 try 块中,如果解析失败,将错误作为工具结果发回。

当出现问题时

大多数首日问题属于其中一种。

  • 401 或认证错误: 密钥缺失、有拼写错误,或者标头不是 Bearer KEY 的形式。
  • 404: Base URL 缺少 /v1,或者你调用了错误的路径。聊天路径是 /v1/chat/completions。
  • 429 且代码为 rate_limited: 你超过了每分钟请求限制(完整密钥为 300,试用密钥为 60)。
  • 429 且代码为 concurrency: 同时请求过多(完整密钥为 8,试用密钥为 2)。请对调用进行排队。
  • 429 且带有 Retry-After: 5: 临时过载。等待五秒并重试。
  • 请求过大: 请求体限制为 8 MB,提示词加上回复必须控制在 100,000 个 token 以内。

失败或拒绝的请求不会收费,因此谨慎重试不会额外花费。对于每个错误代码和更多示例,请阅读 文档,并查看 定价 以估算每 1M 输入 token $0.15 和每 1M 输出 token $0.50 的工作负载成本。

在代码中礼貌地重试

发送大量请求的脚本最终会遇到 429。解决方法是一个小型重试包装器,它等待并重试。此版本尊重 API 在临时过载时要求的五秒暂停。

import os, time
from openai import OpenAI, RateLimitError

client = OpenAI(base_url="https://api.bestllmapi.com/v1", api_key=os.environ["LLM_API_KEY"])

def ask(prompt, tries=5):
    for attempt in range(tries):
        try:
            r = client.chat.completions.create(
                model="uncensored",
                messages=[{"role": "user", "content": prompt}],
            )
            return r.choices[0].message.content
        except RateLimitError:
            time.sleep(5 * (attempt + 1))
    raise RuntimeError("still rate limited after retries")

print(ask("List three uses for a paperclip."))

如果你并行运行许多请求,将工作线程数量限制在并发限制内。8 个线程池匹配完整密钥,2 个匹配试用密钥。超过该限制只会产生 concurrency 错误。

问答

我需要特殊的 SDK 吗?

否。任何 OpenAI SDK 或 OpenAI 兼容客户端均可使用。将 Base URL 设置为 https://api.bestllmapi.com/v1,使用你的密钥,并将模型设置为 uncensored。

我可以在付费前试用吗?

可以。新用户可以在 API 密钥页面一键领取 $0.50的试用额度。无需绑定银行卡,有效期为 7 天。

API 会记住之前的消息吗?

否。在每次请求的消息列表中包含对话历史。提示词加上回复必须能放入 100,000-token 上下文窗口。

429 错误是什么意思?

你触发了限制。代码 rate_limited 表示每分钟请求过多,concurrency 表示同时请求过多,Retry-After 标头表示短暂过载。

只差一张表单,即可获得密钥

创建账户,复制密钥,更改Base URL。这就是全部设置。

获取 API 密钥