中文 ▾
获取 API 密钥

Best LLM API 指南

最便宜的编程 LLM API:每次拉取请求的成本

最便宜的编程 LLM API 是每次接受更改成本最低的那个,而不是价格页面上最低的那一行。以下是常见编程任务的 token 估算,输入 token 价格为每 1M 输入 token $0.15,输出 token 价格为每 1M 输出 token $0.50。

更新时间:

代码块堆叠,分支合并到主干线,旁边有一个投币口
等距硬币将 token 块流式输入服务器,说明 LLM API 的免费试用额度

要点

  • 自动补全每次调用成本低但频率高;智能体循环重新读取代码库,每个任务的成本要高得多。
  • 经过审查的拉取请求,使用 10,000 个 token 的提示词,按此费率计算成本约为 $0.0021。
  • 一次包含 15 步的智能体运行,约 375,000 个输入 token,成本约为 $0.06。
  • 便宜的一般模型适合常规工作;复杂的调试可能需要更强的模型。

编程工作负载主要是输入 token

代码任务具有不平衡的特征。你发送大量上下文(文件、差异、错误、周围模块),而只返回简短的补丁或评论。输入通常占 token 的 70% 到 95%,这使得输入价格成为编程中最关键的数字。

按每 1M 输入 token $0.15 计算,10,000 个 token 的提示词成本为 $0.0015。按每 1M 输出 token $0.50 计算,1,000 个 token 的回答成本为 $0.0005。一个读取多而写入少的编程助手会将大部分预算用于读取。例外情况是全文件重写,此时输出量与文件大小相当。

这也解释了为什么在编程中容易高估输出侧的价格。如果工具在每次补丁时都要求解释,输出量会增加且比例发生变化,因此尽早决定是只要代码还是包含推理的代码,并设置相应的系统提示词。例如,"仅返回统一差异" 这样的行可以零成本节省。

四项任务,逐一定价

以下数字是可以替换为你自己数据的估算值。在规划预算之前,先用分词器测量几个真实的提示词。

任务输入输出每次调用成本
行内自动补全80060$0.00015
拉取请求审查10,0001,200$0.0021
重构一个 8,000-token 的文件8,5008,000$0.005275
智能体运行,15 步375,00012,000$0.06225

审查行的计算:10,000 x 0.15 / 1M = $0.0015,加上 1,200 x 0.50 / 1M = $0.0006,总计 $0.0021。对于重构:输入成本 $0.001275,加上输出成本 $0.004。注意,重构成本的四分之三用于输出,因为模型重写了整个文件。

智能体行是需要关注的一行。一个读取文件、运行测试并重试的智能体会在每一步再次发送不断增长的上下文。15 步平均每步 25,000 个输入 token,总计 375,000 个输入 token,成本为 $0.05625,加上 12,000 个输出 token 的成本 $0.006。

一名开发者一个月的情况

假设一名开发者每月工作 22 天,每月执行以下操作:每天 600 次自动补全调用,审查 40 个拉取请求,40 次智能体运行,20 次单文件重构。

  • 自动补全:13,200 次调用 x $0.00015 = $1.98
  • 审查:40 x $0.0021 = $0.084
  • 智能体运行:40 x $0.06225 = $2.49
  • 重构:20 x $0.005275 = $0.1055

总计每位开发者每月约 $4.66。十人团队的费用接近 $47。即使你的估算值相差三倍(乘以或除以三),账单仍保持在每人 $15 以下。你可以使用 定价页面 查看费率和充值优惠;充值 $100 会增加 10%,即获得 $110 的额度。

弱点不在账单,而在限制。完整密钥允许每分钟 300 次请求和 8 个并发请求。如果在每次输入暂停时都触发请求,编辑器可能会迅速达到该限制,特别是当整个团队共享一个密钥时。给每个人分配一个密钥或去抖自动补全。

将其接入编辑器或脚本

该 API 与 OpenAI 兼容,因此任何接受自定义 base URL 和密钥的工具都可以使用它。许多编辑器扩展和 CLI 智能体都有这两个设置。将 base URL 设置为 https://api.bestllmapi.com/v1,模型设置为 uncensored,然后粘贴你的密钥。

对于审查差异并打印成本的脚本,使用 OpenAI Python SDK:

import subprocess
from openai import OpenAI

client = OpenAI(base_url="https://api.bestllmapi.com/v1", api_key="YOUR_KEY")
diff = subprocess.run(["git", "diff", "main...HEAD"], capture_output=True, text=True).stdout

resp = client.chat.completions.create(
    model="uncensored",
    messages=[
        {"role": "system", "content": "You are a strict code reviewer. List bugs first, then style notes."},
        {"role": "user", "content": diff},
    ],
    temperature=0.2,
)
print(resp.choices[0].message.content)
u = resp.usage
print("cost: $%.6f" % (u.prompt_tokens * 0.15 / 1e6 + u.completion_tokens * 0.50 / 1e6))

对于审查和重构工作,请保持 temperature 较低。API 文档 列出了传递的参数,包括 seed,这在 CI 中需要可重复输出时很有帮助。

降低编程账单的方法

  • 发送差异,而不是整个仓库。 上述审查使用 10,000 个 token,因为它发送了差异和一些上下文。
  • 限制智能体步数。 永不停止的循环是产生意外账单的最常见原因。在固定步数后停止。
  • 精简工具输出。 包含 5,000 行的测试日志会被粘贴到每个后续步骤中。只保留失败的行。
  • 请求补丁。 请求统一差异而不是整个文件,在更改较小时,可以将重构示例中的输出量减少约 90%。
  • 使用 JSON 模式进行结构化输出。 使用 response_format 和 json_object 可以避免因格式错误的回复导致的重试循环。

失败或被拒绝的请求不会收费,因此出错的请求成本为零。

当更便宜的模型不是合适的选择时

这是一个经过微调的通用开放权重模型,旨在对合法的成人用途不进行内容审查。它不是专门的编程模型,也不是任何供应商的官方 API。对于样板代码、测试、文档字符串、小型重构和审查评论等常规任务,它是一个合理的低成本选项。对于在不熟悉代码库中的深度调试或大型架构更改,更强的模型可能在开发者时间上为你节省的成本远多于其在 token 上的成本。

决策的方法是:从你的待办事项中选取 20 个真实任务,让每个候选模型处理,统计可合并的补丁数量,并用花费除以该数量。注册后在 API 密钥页面 领取 $0.50 试用额度,按上述费率可处理数百次审查,足以完成该测试。其他提供商自行定价,请查看其当前价格。基础设置请参阅 如何使用 LLM API。

关于任何免费层级应问的问题

免费优惠差异很大,标题通常不显示关键信息。在基于其构建之前,问这些问题,并在提供商自己的文档中找到答案。

  • 是哪个模型? 一些免费层级使用比付费层级更小的模型。在弱模型上的测试对生产环境意义不大。
  • 速率限制是多少? 每分钟几次请求对于脚本来说没问题,但对于有多个用户的聊天应用来说则不够用。
  • 会过期吗? 有截止日期的单次额度与每月 重复性 额度是不同的概念。
  • 你的提示词会怎样? 如果数据用于训练,不要在其中粘贴任何私密内容。这里,提示词不用于训练。
  • 付费路径是什么样的? 从免费转到付费应该是账户状态的变更,而不是重写。

有时建议自托管开放权重模型作为免费途径。软件可能免费,但运行能力模型所需的 GPU 需要付费,无论是按小时租用还是购买。对于小型项目,算术通常倾向于按 token 付费,因为你只为使用的部分付费,而在空闲时不付费。

将试用视为测试预算

将试用额度视为测试预算而非免费产品会有所帮助。按固定顺序使用:先发送少量普通请求以确认连接,然后在十个不同输入上运行真实提示词,接着进行流式传输过程,最后发送一个故意较大的提示词以观察模型对长上下文的处理能力。将 usage 块中的数值记录在笔记中。

之后,你就知道了平均输入大小、平均输出大小和每个任务的真实成本。乘以预期的流量,你就得到了一个基于测量而非猜测的月度数字。如果该数字可以接受,下一步是充值 $20。如果不行,你只花了几美分就学到了这一点。

试用后:付费是什么样的

当试用额度用完或过期时,你添加预付额度。$20 到 $500 之间的任意整数金额均可。较大的充值带有奖励:$50 起 +5%,$100 起 +10%,$200 起 +15%。充值 $100 变为 $110 的额度,充值 $200 变为 $230。

你可以通过加密货币(TRC20 上的 USDT、Base 上的 USDC)支付。没有订阅,也没有月度最低消费。额度永不过期,因此如果你缓慢使用 $20 的充值,不会浪费。每个响应都包含一个 X-Balance-USD 头,让你的代码可以在没有仪表板的情况下监控余额。

失败或被拒绝的请求不收费。如果请求出错,你无需为其付费。提示词不用于训练。完整表格见定价。

让额度更持久的廉价方法

你不需要技巧,只需要一些习惯。

  1. 精简历史。 保留最近 N 轮加上旧历史的简短摘要,而不是重新发送所有内容。
  2. 为只需简短回答的任务设置max_tokens上限。此处为可选项,但它会限制输出侧,因为输出侧每个 token 的成本更高。
  3. 使用 JSON 模式(response_format 设为 json_object)处理提取任务,避免为冗长的前言付费。
  4. 先用小输入进行测试。在运行一万次之前,先用十个示例验证提示词。
  5. 使用退避处理 429 错误。 在试用密钥(2 个并发请求,每分钟 60 次)上紧密循环重试会浪费你自己的时间。当存在 Retry-After 头时,请等待它。

如果你在花费任何资金之前比较选项,Hugging Face Inference API 与此接口对比页面涵盖了相关决策。

首次调用以消耗试用额度

这是一个最小请求。将密钥替换为你从仪表板获取的密钥。

curl https://api.bestllmapi.com/v1/chat/completions \
  -H "Authorization: Bearer YOUR_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model": "uncensored", "messages": [{"role": "user", "content": "Say hello in five words."}]}'

响应包含一个使用情况块,其中包含提示词和补全 token 的计数。将这些计数乘以上述价格,即可得到调用的确切成本。多进行几次这样的计算,你就能对自己的工作负载产生直观感受,这比任何估算都更有价值。快速入门文档涵盖了流式输出、工具调用和错误代码。

问答

典型的代码审查使用多少 token?

差异文件加上一些上下文通常包含 5,000 到 15,000 个输入 token,审查评论包含 500 到 1,500 个输出 token。按此费率计算,约为 $0.001 到 $0.003。

我可以在编辑器中使用此 API 吗?

可以,如果编辑器或扩展允许你设置自定义的 OpenAI 兼容 base URL 和密钥。使用你账户中的 base URL、模型名称 uncensored 和你的 API 密钥。

上下文窗口对于大文件来说足够大吗?

上下文窗口为 100,000 个 token,由提示词和补全内容共享。这可以一次性容纳许多文件,但非常大的仓库仍然需要拆分。

试用需要信用卡吗?

不行。新用户可以在 API 密钥页面一键领取 $0.50 的试用额度,无需信用卡,有效期为 7 天。

填写一张表单即可获得你的密钥

创建账户,复制密钥,更改基础 URL。这就是全部设置。

获取 API 密钥