繁中 ▾
取得 API 金鑰

Best LLM API 指南

如何使用 LLM API:從首次請求到串流輸出

使用 LLM API 意味著透過 HTTPS 傳送 JSON 格式的訊息清單並讀取回覆。本指南將引導你從取得金鑰、發送首次請求,到串流輸出、JSON 輸出和工具呼叫。

更新日期:

發光的請求封包從終端機傳送至伺服器,並串流輸出 token 回傳

重點摘要

  • 該端點與 OpenAI 相容:更改 Base URL 和金鑰,保留你的 SDK。
  • 使用模型 ID uncensored 並 POST 至 /v1/chat/completions。
  • 支援串流輸出、JSON 模式和工具呼叫。
  • 429 代表減速;請讀取錯誤程式碼以了解原因。

什麼是 LLM API 請求

如果你想知道 如何使用 LLM API 服務,概念其實很簡單。你傳送 HTTPS POST 請求並附上訊息清單。每則訊息都有角色(system、user 或 assistant)和文字。伺服器執行模型並回傳下一則助手訊息。這就是整個合約。

模型在請求之間沒有記憶。如果你想要對話,每次都要重新傳送之前的訊息。這就是為什麼提示詞會變長、成本會隨之增加,以及為什麼 100,000-token 的上下文視窗很重要:它是提示詞加上回覆的總限制。

此服務使用與 OpenAI Chat Completions API 相同的協定。任何 OpenAI SDK 或相容的用戶端在更改兩件事(Base URL 和金鑰)後即可運作。只有文字輸入和輸出。沒有影像、音訊或影片生成,也沒有嵌入端點。

本指南的其餘部分使用了一些術語。token 是一段文字片段,平均約為英文單字的四分之三。輸入 token 是你傳送的所有內容,輸出 token 是模型寫出的內容。兩者都會計費,費率不同,回應會精確顯示各使用了多少。Base URL 是你的用戶端附加到每個路徑的地址,API 金鑰 是證明請求屬於你的憑證。如果你知道這四個詞,其餘都是例行公事。

步驟 1:取得金鑰並記錄三個數值

使用 Google 或電子郵件與密碼建立帳戶,並開啟 API 金鑰頁面。在那裡你可以複製你的金鑰並一鍵領取 $0.50 的免費試用額度。試用不需要信用卡。

每次請求都需要三個數值:

  • Base URL: https://api.bestllmapi.com/v1
  • 模型 ID: uncensored
  • 驗證標頭: Authorization: Bearer YOUR_KEY

將金鑰排除在原始碼控制之外。將其放入環境變數(如 LLM_API_KEY)並從中讀取。任何擁有金鑰的人都可以花費你的額度。

步驟 2:使用 curl 發送第一個請求

Curl 是最快的檢查方式,可在任何程式庫介入之前確認一切運作正常。

export LLM_API_KEY="paste-your-key-here"

curl https://api.bestllmapi.com/v1/chat/completions \
  -H "Authorization: Bearer $LLM_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [
      {"role": "system", "content": "You are a concise assistant."},
      {"role": "user", "content": "Explain what a token is in two sentences."}
    ],
    "temperature": 0.7
  }'

回應是 JSON。文字位於 choices[0].message.content,usage 物件列出提示詞和補全 token,這是你計費的依據。你也可以列出模型 GET https://api.bestllmapi.com/v1/models;你應該會看到 uncensored。

回應標頭也有幫助。X-Request-Id 可在你聯繫支援時用來識別該次請求,而 X-Balance-USD 顯示帳戶餘額。

讀取回應並選擇參數

回應有一些值得在撰寫任何解析程式碼之前了解的欄位。choices 是一個清單,你幾乎總是想要第一項。在其中,message.content 包含文字,finish_reason 告訴你模型停止的原因。stop 的值表示自然結束。length 的值表示達到你的 max_tokens 上限或超出視窗,因此答案可能會在句子中間被截斷。

usage 物件提供提示詞 token、補全 token 和總計。從第一天開始就記錄這些數據。這是了解應用程式實際成本的唯一可靠方法,也能輕鬆發現重複傳送相同長提示詞的錯誤。

選擇參數主要取決於任務類型。對於提取、分類和程式碼,使用較低的溫度(如 0.2),以便相同的輸入產生幾乎相同的輸出。對於腦力激盪和故事,0.8 到 1.0 會提供更多樣性。一次只更改一個值,並在想要重複比較兩個提示詞版本時使用 seed。

步驟 3:在 Python 或 Node 中使用 OpenAI SDK

實際上你會使用程式庫。在 Python 中,使用 pip install openai 安裝它,並將其指向新的 Base URL。

import os
from openai import OpenAI

client = OpenAI(
    base_url="https://api.bestllmapi.com/v1",
    api_key=os.environ["LLM_API_KEY"],
)

resp = client.chat.completions.create(
    model="uncensored",
    messages=[
        {"role": "system", "content": "You are a concise assistant."},
        {"role": "user", "content": "Give me three names for a hiking app."},
    ],
    temperature=0.8,
    max_tokens=200,
)

print(resp.choices[0].message.content)
print(resp.usage.prompt_tokens, resp.usage.completion_tokens)

Node 版本幾乎相同。使用 npm install openai 安裝。

import OpenAI from "openai";

const client = new OpenAI({
  baseURL: "https://api.bestllmapi.com/v1",
  apiKey: process.env.LLM_API_KEY,
});

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Give me three names for a hiking app." }],
});

console.log(resp.choices[0].message.content);

max_tokens 是選填的。如果省略它,回覆可能會用完 100,000 token 上下文視窗的剩餘空間,因此若想要短答案請設定它。採樣設定 temperature、top_p、stop、seed 以及懲罰參數會直接傳遞給模型。

步驟 4:串流輸出回應

若不啟用串流輸出,使用者會一直看著空白畫面,直到完整答案準備好。啟用 stream: true 後,伺服器會透過 Server-Sent Events (SSE) 將 token 逐個發送,使用量總計則在最後一次回應時回傳。

import os
from openai import OpenAI

client = OpenAI(base_url="https://api.bestllmapi.com/v1", api_key=os.environ["LLM_API_KEY"])

stream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Write a short product description for a desk lamp."}],
    stream=True,
)

for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)
    if getattr(chunk, "usage", None):
        print("\nTokens:", chunk.usage.total_tokens)

要記住的一件事:串流請求會佔用其並行請求槽位直到串流結束。完整金鑰允許 8 個並行請求,試用金鑰 2 個。如果使用者關閉分頁,你也應該關閉串流,否則槽位會保持忙碌。

保持對話持續

由於 API 沒有記憶功能,聊天應用程式是一個將訊息附加至清單的迴圈。以下模式是幾乎所有聊天機器人運作的核心。

import os
from openai import OpenAI

client = OpenAI(base_url="https://api.bestllmapi.com/v1", api_key=os.environ["LLM_API_KEY"])

messages = [{"role": "system", "content": "You are a friendly travel planner."}]

while True:
    user_text = input("You: ")
    if user_text.strip().lower() in ("quit", "exit"):
        break
    messages.append({"role": "user", "content": user_text})
    resp = client.chat.completions.create(model="uncensored", messages=messages)
    answer = resp.choices[0].message.content
    messages.append({"role": "assistant", "content": answer})
    print("Bot:", answer)

每一輪迴圈都會重新傳送整個清單,因此隨著聊天變長,每輪成本會上升。費率為每 100 萬個輸入 token $0.15,每 100 萬個輸出 token $0.50。一輪包含 2,000 個輸入 token 和 400 個輸出 token 的成本為 2,000 / 1,000,000 x $0.15 = $0.0003,加上 400 / 1,000,000 x $0.50 = $0.0002,總計 $0.0005。以該費率計算,$0.50 的試用額度約可支援 1,000 輪。

當清單變長時,刪除最舊的使用者和助手訊息,但保留頂部的系統訊息。或者要求模型為早期輪次寫一個短摘要,並用它取代它們。

步驟 5:JSON 模式和工具呼叫

當你的程式碼需要解析答案時,請要求 JSON。將 response_format 設定為 {"type": "json_object"},並在提示詞中加上 "JSON",讓模型知道你想要的格式。

import os, json
from openai import OpenAI

client = OpenAI(base_url="https://api.bestllmapi.com/v1", api_key=os.environ["LLM_API_KEY"])

resp = client.chat.completions.create(
    model="uncensored",
    response_format={"type": "json_object"},
    messages=[
        {"role": "system", "content": "Reply only with JSON."},
        {"role": "user", "content": "Extract name and city: 'Maria lives in Lisbon.' Use keys name and city."},
    ],
)
print(json.loads(resp.choices[0].message.content))

工具呼叫讓模型可以要求你的程式碼執行函式。你在 tools 中描述函式;模型會回覆一個 tool_calls 項目而非文字;你執行該函式後,使用 role: "tool" 將結果送回。

import os, json
from openai import OpenAI

client = OpenAI(base_url="https://api.bestllmapi.com/v1", api_key=os.environ["LLM_API_KEY"])

tools = [{
    "type": "function",
    "function": {
        "name": "get_order_status",
        "description": "Look up an order by its id",
        "parameters": {
            "type": "object",
            "properties": {"order_id": {"type": "string"}},
            "required": ["order_id"],
        },
    },
}]

messages = [{"role": "user", "content": "Where is order A-1042?"}]
first = client.chat.completions.create(
    model="uncensored", messages=messages, tools=tools, tool_choice="auto"
)
msg = first.choices[0].message

if msg.tool_calls:
    call = msg.tool_calls[0]
    args = json.loads(call.function.arguments)
    result = {"order_id": args["order_id"], "status": "shipped"}
    messages.append(msg)
    messages.append({
        "role": "tool",
        "tool_call_id": call.id,
        "content": json.dumps(result),
    })
    final = client.chat.completions.create(
        model="uncensored", messages=messages, tools=tools
    )
    print(final.choices[0].message.content)

模型偶爾會產生格式錯誤的參數,因此在實際程式碼中應將 json.loads 包裹在 try 區塊中,如果解析失敗則傳回錯誤作為工具結果。

當發生錯誤時

大多數第一天的問題都是其中之一。

  • 401 或驗證錯誤: 金鑰遺失、有錯字,或標頭不是 Bearer KEY 的形式。
  • 404: Base URL 缺少 /v1,或你呼叫了錯誤的路徑。聊天路徑是 /v1/chat/completions。
  • 429 且程式碼為 rate_limited: 你超過了每分鐘請求限制(完整金鑰 300,試用金鑰 60)。
  • 429 且程式碼為 concurrency: 同時請求過多(完整金鑰 8,試用金鑰 2)。請對你的請求進行排隊。
  • 429 且帶有 Retry-After: 5: 暫時過載。等待五秒鐘後重試。
  • 請求過大: 請求本文限制為 8 MB,且提示詞加上回覆必須符合 100,000-token 限制。

失敗或拒絕的請求不會計費,因此謹慎重試不會產生額外費用。對於每個錯誤程式碼和更多範例,請閱讀 文件,並查看 定價 以估算在每 1M 輸入 token $0.15 和每 1M 輸出 token $0.50 的情況下的工作負載成本。

在程式碼中禮貌地重試

發送大量請求的腳本最終會遇到 429。解決方法是使用一個小型重試包裝函式,等待並重試。此版本尊重 API 在暫時過載時要求的五秒暫停。

import os, time
from openai import OpenAI, RateLimitError

client = OpenAI(base_url="https://api.bestllmapi.com/v1", api_key=os.environ["LLM_API_KEY"])

def ask(prompt, tries=5):
    for attempt in range(tries):
        try:
            r = client.chat.completions.create(
                model="uncensored",
                messages=[{"role": "user", "content": prompt}],
            )
            return r.choices[0].message.content
        except RateLimitError:
            time.sleep(5 * (attempt + 1))
    raise RuntimeError("still rate limited after retries")

print(ask("List three uses for a paperclip."))

如果你並行執行許多請求,請將工作程式數量限制在並行限制內。8 個執行緒的執行緒池對應完整金鑰,2 個對應試用金鑰。超過該限制只會產生 concurrency 錯誤。

問答

我需要特殊的 SDK 嗎?

否。任何 OpenAI SDK 或 OpenAI 相容的用戶端皆可運作。將 Base URL 設為 https://api.bestllmapi.com/v1,使用你的金鑰,並將模型設為 uncensored。

我可以在付費前試用嗎?

可以。新用戶可在 API 金鑰頁面一鍵領取 $0.50 免費試用額度。無需綁定信用卡,有效期為 7 天。

API 會記住之前的訊息嗎?

否。在每次請求的 messages 清單中傳送對話歷史。提示詞加上回覆必須符合 100,000-token 的上下文視窗限制。

429 錯誤代表什麼意思?

你觸及了速率限制。程式碼 rate_limited 代表每分鐘請求過多,concurrency 代表同時請求過多,Retry-After 標頭代表短暫過載。

只差一張表單,即可取得金鑰

建立帳號、複製金鑰、更改Base URL。這就是整個設定過程。

取得 API 金鑰