繁中 ▾
取得 API 金鑰

Best LLM API 指南

LLM API 定價比較:如何公平比較

LLM API 定價比較只有在每個供應商都針對相同的工作負載定價,而非僅比較標題數字時才有效。本文提供簡短方法,然後以每 1M 輸入 token $0.15 和每 1M 輸出 token $0.50 進行計算。

更新日期:

天平稱量發光的立方體堆疊,代表輸入和輸出 token 的成本
等距硬幣將 token 區塊串流輸入伺服器,說明 LLM API 的免費試用額度

重點摘要

  • 為真實的請求形狀(輸入 token、輸出 token、輪次)定價,而非每百萬的標題數字。
  • 輸出 token 通常比輸入 token 更貴,因此多輪對話的工作負載會改變排名。
  • 最低儲值、過期和失敗請求計費會改變一美元實際能買到的東西。
  • 以輸入 $0.15、輸出 $0.50 計算,1,500 輸入 / 400 輸出的請求成本為 $0.000425。

每個價格表隱藏的四個數字

大多數價格頁面顯示兩個數字:每百萬輸入 token 的美元數和每百萬輸出 token 的美元數。這兩個數字足以比較供應商,但前提是你必須加上來自你自己應用程式的兩個數字:每次請求發送多少 token 以及返回多少 token。

  1. 輸入價格每 1M token。這涵蓋你的系統提示詞、聊天歷史以及你貼上的任何文件。
  2. 輸出價格每 1M token。這涵蓋模型寫回的所有內容。
  3. 每次請求的輸入大小,包括每次輪次重新發送的歷史記錄。
  4. 每次請求的輸出大小,取決於你讓回覆運行多長時間。

每次請求的成本為 input_tokens x input_price / 1,000,000 + output_tokens x output_price / 1,000,000。本文其餘內容都是對該公式的細化。

步驟 1:寫下請求形狀

選擇你的產品實際發送的三到四種請求類型。支援機器人、故事寫手和批量分類器具有截然不同的形狀,在某種請求上勝出的供應商在另一種請求上可能會輸。

類型輸入 token輸出 token
短聊天回合1,500400
長文件摘要50,0001,000
分類器呼叫30020
長篇寫作8003,000

如果你還沒有日誌,請取幾段真實的對話,並使用任何 tokenizer 計算 token。一個粗略的規則是:一個 token 約等於四個英文字符,但程式碼和非英文文本的 token 數會更高。在信任該規則之前請先測量。

步驟 2:使用 $0.15 和 $0.50 進行計算

此服務每 1M 輸入 token 收費 $0.15,每 1M 輸出 token 收費 $0.50。即每 1,000 輸入 token 收費 $0.00015,每 1,000 輸出 token 收費 $0.0005。應用於上述情境:

類型輸入成本輸出成本每次請求
短聊天回合$0.000225$0.0002$0.000425
長文件摘要$0.0075$0.0005$0.008
分類器呼叫$0.000045$0.00001$0.000055
長篇寫作$0.00012$0.0015$0.00162

注意錢花在哪裡。在文件摘要中,輸入佔帳單的 94%。在長篇寫作中,輸出佔 93%。一個輸入價格便宜但輸出價格昂貴的供應商在第一種工作負載上看起來很棒,但在第二種上則很差。這就是為什麼單一的「每百萬價格」數字會誤導人。

擴展到一個月。一個聊天應用程式每天發送 1,000 次短輪次,持續 30 天,將發送 45 百萬輸入 token($6.75)和 12 百萬輸出 token($6.00),總計 $12.75。

步驟 3:考慮歷史記錄的增長

聊天 API 是無狀態的。每次輪次你都會重新發送系統提示詞和所有之前的訊息,因此輸入會隨著對話長度而增長,而每次輪次的輸出保持不變。

考慮一個 10 輪的對話,帶有 1,000 個 token 的系統提示詞。每輪用戶增加約 300 個 token,模型增加 200 個 token,因此每輪新增 500 個 token 的歷史。第 1 輪發送 1,000 個輸入 token,第 2 輪發送 1,500 個,第 10 輪發送 5,500 個。10 輪的總和為 32,500 個輸入 token,加上總共 2,000 個輸出 token。

input_tokens = sum(1000 + 500 * k for k in range(10))   # 32,500
output_tokens = 10 * 200                                # 2,000
cost = input_tokens * 0.15 / 1e6 + output_tokens * 0.50 / 1e6
print(round(cost, 6))   # 0.005875

這整個對話的成本為 $0.005875。如果你只將單輪乘以十,你低估的輸入量將超過一半。縮短歷史、總結舊輪次,或在數字對你很重要時限制視窗。LLM API 使用指南涵蓋了訊息歷史的發送方式。

步驟 4:檢查價格周圍的規則

兩個具有相同 token 價格的供應商,每個有用回答的成本仍可能不同。在決定之前請檢查以下內容:

  • 上下文視窗。較大的視窗可讓你跳過分塊,但每個你發送的 token 都會按輸入價格計費。此服務提供 100,000-token 視窗,提示詞與補全內容共用此視窗。
  • 最低購買額。 在此儲值任何整數金額,從 $20 到 $500。$20 的最低購買額以上述費率可購買約 47,000 次短聊天輪次($20 / $0.000425)。
  • 過期。 此處的額度永不過期。某些供應商會使預付餘額過期或要求訂閱,因此請檢查他們當前的條款。
  • 失敗請求。 此處不對失敗或拒絕的請求收費。在其他地方尋找相同的聲明。
  • 速率限制。 完整金鑰允許 8 個並行請求和每分鐘 300 個。如果你的批量作業無法完成,便宜的價格也無用處。

批量加值也會降低有效價格。$200 儲值獲得 +15%,因此你收到 $230 的額度,有效費率降至約每 1M 輸入 $0.13 和每 1M 輸出 $0.43。$100 儲值獲得 +10%,$50 獲得 +5%。詳細資訊請見 定價頁面。

當最便宜的價格不是正確的選擇時

每 token 的價格忽略了質量。一個需要兩次嘗試才能獲得正確答案的模型,每個有用結果的成本會翻倍;一個拒絕你請求的模型即使帳單為零也會浪費你的時間。將相同的 20 到 50 個真實提示詞通過每個候選模型,並計算你實際會發布的答案數量。將總支出除以該數量。

此模型是一個單一開放權重模型,針對在合法成人使用中無內容拒絕地回答進行了調整。它不是路由器,也不是任何模型廠商的官方 API。如果你的任務需要最強的推理能力且拒絕不是問題,來自其他供應商的更大模型可能會以更高的 token 價格提供更好的每接受回答成本。請檢查他們的當前定價並以相同方式進行測試。

快速測試數字的方法

你不需要猜測。每個回應都帶有 X-Balance-USD 標頭,API 也會報告 token 用量,因此你可以發送真實提示詞並讀取實際成本。下面的 Python 程式碼使用 OpenAI SDK 對此服務進行操作並列印用量區塊。

from openai import OpenAI

client = OpenAI(base_url="https://api.bestllmapi.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarize the pros and cons of prepaid API credit."}],
)
u = resp.usage
cost = u.prompt_tokens * 0.15 / 1e6 + u.completion_tokens * 0.50 / 1e6
print(u.prompt_tokens, u.completion_tokens, round(cost, 6))

新帳戶可以在 API 金鑰頁面 上一鍵領取 $0.50 的試用額度。以 1,500 輸入 / 400 輸出的配置計算,這涵蓋了約 1,170 次請求,足以進行誠實的基準測試。如果你想先看看免費層級是否足夠,請閱讀 免費 LLM API 選項。

關於任何免費方案應詢問的問題

免費方案差異很大,標題通常無法顯示關鍵資訊。在基於某個方案建構之前,請詢問以下問題,並在供應商的文件中尋找答案。

  • 它是哪個模型? 某些免費方案使用的模型比付費方案小。在較弱模型上的測試無法反映生產環境的情況。
  • 速率限制為何? 每分鐘僅幾次的限制對腳本來說尚可,對有多個使用者的聊天應用程式則無用。
  • 會過期嗎? 帶有截止期限的一次性配額與每月 定期 配額是不同的東西。
  • 你的提示詞會如何處理? 如果數據用於訓練,請勿貼入私人內容。在此,提示詞不用於訓練。
  • 付費路徑是什麼樣子? 從免費轉為付費應僅是帳戶狀態的變更,而非重寫。

有時會建議自行託管開放權重模型作為免費途徑。軟體可能免費,但運行具備能力模型所需的 GPU 是有成本的,無論是按小時租賃或購買。對於小型專案,按 token 付費通常更划算,因為你只為使用的部分付費,閒置時不付費。

將試用視為測試預算

將試用視為測試預算而非免費產品會有幫助。按固定順序使用:首先發送幾筆普通請求以確認連線,然後在十種不同輸入上運行真實提示詞,接著進行串流測試,最後發送一個刻意較大的提示詞以觀察模型處理長上下文的能力。將usage區塊中的數字記錄在筆記中。

之後你就知道平均輸入大小、平均輸出大小以及每任務的真實成本。乘以預期流量,即可得出基於測量而非猜測的月度費用。如果費用可接受,下一步是 $20 儲值。如果不可接受,你僅花費幾美分就學到了教訓。

試用期後:付費樣貌

當試用額度用完或過期時,你添加預付額度。$20 到 $500 的任何整數金額均可。較大的儲值帶有獎金:$50 起 +5%,$100 起 +10%,$200 起 +15%。$100 儲值變成 $110 的額度,$200 變成 $230。

你可以使用加密貨幣(TRC20 上的 USDT、Base 上的 USDC)付款。無訂閱費,無每月最低消費。額度永不失效,因此緩慢使用的 $20 儲值不會浪費。每個回應都包含X-Balance-USD標頭,讓你的程式碼無需儀表板即可監控餘額。

失敗或拒絕的請求不收費。如果請求出錯,你不需要為其付費。提示詞不用於訓練。完整表格請見 定價。

讓額度更持久的便宜方法

你不需要花招,只需養成幾個習慣。

  1. 精簡歷史記錄。 保留最後 N 次輪次加上舊輪次的簡短摘要,而非重新發送所有內容。
  2. 在只需要短答案的任務上設定 max_tokens 上限。此處為可選,但它會限制輸出端,這是每個 token 更昂貴的一端。
  3. 使用 JSON 模式(response_format 搭配 json_object)進行提取任務,這樣你就無需為冗長且囉嗦的開場白付費。
  4. 先以小規模輸入進行測試。在執行一萬個範例前,先用十個範例驗證提示詞。
  5. 使用退避處理 429 錯誤。 在試用金鑰(2 個並行,每分鐘 60 個)上緊密循環重試會浪費你自己的時間。當存在 Retry-After 標頭時請等待。

如果你在花費任何費用之前比較選項,Hugging Face Inference API 與此端點比較頁面涵蓋了相關的決策。

首次呼叫以消耗試用額度

以下是一個最簡請求。請將金鑰替換為你儀表板中的金鑰。

curl https://api.bestllmapi.com/v1/chat/completions \
  -H "Authorization: Bearer YOUR_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model": "uncensored", "messages": [{"role": "user", "content": "Say hello in five words."}]}'

回應包含一個用量區塊,其中包含提示詞和補全 token 計數。將這些數字乘以上述價格,你就得到了呼叫的準確成本。這樣做幾次,你就會對自己的工作負載產生直覺,這比任何估計都更有價值。快速入門文件涵蓋了串流輸出、工具和錯誤代碼。

問答

我應該比較輸入價格還是輸出價格?

兩者都要,並根據你的工作負載加權。文件密集型工作由輸入價格主導,而寫作密集型工作則由輸出價格主導。

購買前我該如何計算 token?

將一組真實提示詞樣本透過 tokenizer 處理,或將其發送至 API 並讀取回應中的用量區塊。計費依據為用量數字。

這裡的失敗請求會收費嗎?

不會。此服務不對失敗或拒絕的請求收費。請檢查你與之比較的任何其他供應商的條款。

有訂閱制嗎?

不會。它是從預付額度按量計費,且額度永不失效。

只差一張表單,即可取得金鑰

建立帳號、複製金鑰、更改基礎 URL。這就是整個設定。

取得 API 金鑰