Best LLM API 指南
如何使用 LLM API:從首次請求到串流輸出
使用 LLM API 意味著透過 HTTPS 傳送 JSON 格式的訊息清單並讀取回覆。本指南將引導你從取得金鑰、發送首次請求,到串流輸出、JSON 輸出和工具呼叫。
更新日期:

重點摘要
- 該端點與 OpenAI 相容:更改 Base URL 和金鑰,保留你的 SDK。
- 使用模型 ID uncensored 並 POST 至 /v1/chat/completions。
- 支援串流輸出、JSON 模式和工具呼叫。
- 429 代表減速;請讀取錯誤程式碼以了解原因。
什麼是 LLM API 請求
如果你想知道 如何使用 LLM API 服務,概念其實很簡單。你傳送 HTTPS POST 請求並附上訊息清單。每則訊息都有角色(system、user 或 assistant)和文字。伺服器執行模型並回傳下一則助手訊息。這就是整個合約。
模型在請求之間沒有記憶。如果你想要對話,每次都要重新傳送之前的訊息。這就是為什麼提示詞會變長、成本會隨之增加,以及為什麼 100,000-token 的上下文視窗很重要:它是提示詞加上回覆的總限制。
此服務使用與 OpenAI Chat Completions API 相同的協定。任何 OpenAI SDK 或相容的用戶端在更改兩件事(Base URL 和金鑰)後即可運作。只有文字輸入和輸出。沒有影像、音訊或影片生成,也沒有嵌入端點。
本指南的其餘部分使用了一些術語。token 是一段文字片段,平均約為英文單字的四分之三。輸入 token 是你傳送的所有內容,輸出 token 是模型寫出的內容。兩者都會計費,費率不同,回應會精確顯示各使用了多少。Base URL 是你的用戶端附加到每個路徑的地址,API 金鑰 是證明請求屬於你的憑證。如果你知道這四個詞,其餘都是例行公事。
步驟 1:取得金鑰並記錄三個數值
使用 Google 或電子郵件與密碼建立帳戶,並開啟 API 金鑰頁面。在那裡你可以複製你的金鑰並一鍵領取 $0.50 的免費試用額度。試用不需要信用卡。
每次請求都需要三個數值:
- Base URL:
https://api.bestllmapi.com/v1 - 模型 ID:
uncensored - 驗證標頭:
Authorization: Bearer YOUR_KEY
將金鑰排除在原始碼控制之外。將其放入環境變數(如 LLM_API_KEY)並從中讀取。任何擁有金鑰的人都可以花費你的額度。
步驟 2:使用 curl 發送第一個請求
Curl 是最快的檢查方式,可在任何程式庫介入之前確認一切運作正常。
export LLM_API_KEY="paste-your-key-here"
curl https://api.bestllmapi.com/v1/chat/completions \
-H "Authorization: Bearer $LLM_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"model": "uncensored",
"messages": [
{"role": "system", "content": "You are a concise assistant."},
{"role": "user", "content": "Explain what a token is in two sentences."}
],
"temperature": 0.7
}'
回應是 JSON。文字位於 choices[0].message.content,usage 物件列出提示詞和補全 token,這是你計費的依據。你也可以列出模型 GET https://api.bestllmapi.com/v1/models;你應該會看到 uncensored。
回應標頭也有幫助。X-Request-Id 可在你聯繫支援時用來識別該次請求,而 X-Balance-USD 顯示帳戶餘額。
讀取回應並選擇參數
回應有一些值得在撰寫任何解析程式碼之前了解的欄位。choices 是一個清單,你幾乎總是想要第一項。在其中,message.content 包含文字,finish_reason 告訴你模型停止的原因。stop 的值表示自然結束。length 的值表示達到你的 max_tokens 上限或超出視窗,因此答案可能會在句子中間被截斷。
usage 物件提供提示詞 token、補全 token 和總計。從第一天開始就記錄這些數據。這是了解應用程式實際成本的唯一可靠方法,也能輕鬆發現重複傳送相同長提示詞的錯誤。
選擇參數主要取決於任務類型。對於提取、分類和程式碼,使用較低的溫度(如 0.2),以便相同的輸入產生幾乎相同的輸出。對於腦力激盪和故事,0.8 到 1.0 會提供更多樣性。一次只更改一個值,並在想要重複比較兩個提示詞版本時使用 seed。
步驟 3:在 Python 或 Node 中使用 OpenAI SDK
實際上你會使用程式庫。在 Python 中,使用 pip install openai 安裝它,並將其指向新的 Base URL。
import os
from openai import OpenAI
client = OpenAI(
base_url="https://api.bestllmapi.com/v1",
api_key=os.environ["LLM_API_KEY"],
)
resp = client.chat.completions.create(
model="uncensored",
messages=[
{"role": "system", "content": "You are a concise assistant."},
{"role": "user", "content": "Give me three names for a hiking app."},
],
temperature=0.8,
max_tokens=200,
)
print(resp.choices[0].message.content)
print(resp.usage.prompt_tokens, resp.usage.completion_tokens)
Node 版本幾乎相同。使用 npm install openai 安裝。
import OpenAI from "openai";
const client = new OpenAI({
baseURL: "https://api.bestllmapi.com/v1",
apiKey: process.env.LLM_API_KEY,
});
const resp = await client.chat.completions.create({
model: "uncensored",
messages: [{ role: "user", content: "Give me three names for a hiking app." }],
});
console.log(resp.choices[0].message.content);
max_tokens 是選填的。如果省略它,回覆可能會用完 100,000 token 上下文視窗的剩餘空間,因此若想要短答案請設定它。採樣設定 temperature、top_p、stop、seed 以及懲罰參數會直接傳遞給模型。
步驟 4:串流輸出回應
若不啟用串流輸出,使用者會一直看著空白畫面,直到完整答案準備好。啟用 stream: true 後,伺服器會透過 Server-Sent Events (SSE) 將 token 逐個發送,使用量總計則在最後一次回應時回傳。
import os
from openai import OpenAI
client = OpenAI(base_url="https://api.bestllmapi.com/v1", api_key=os.environ["LLM_API_KEY"])
stream = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Write a short product description for a desk lamp."}],
stream=True,
)
for chunk in stream:
if chunk.choices and chunk.choices[0].delta.content:
print(chunk.choices[0].delta.content, end="", flush=True)
if getattr(chunk, "usage", None):
print("\nTokens:", chunk.usage.total_tokens)
要記住的一件事:串流請求會佔用其並行請求槽位直到串流結束。完整金鑰允許 8 個並行請求,試用金鑰 2 個。如果使用者關閉分頁,你也應該關閉串流,否則槽位會保持忙碌。
保持對話持續
由於 API 沒有記憶功能,聊天應用程式是一個將訊息附加至清單的迴圈。以下模式是幾乎所有聊天機器人運作的核心。
import os
from openai import OpenAI
client = OpenAI(base_url="https://api.bestllmapi.com/v1", api_key=os.environ["LLM_API_KEY"])
messages = [{"role": "system", "content": "You are a friendly travel planner."}]
while True:
user_text = input("You: ")
if user_text.strip().lower() in ("quit", "exit"):
break
messages.append({"role": "user", "content": user_text})
resp = client.chat.completions.create(model="uncensored", messages=messages)
answer = resp.choices[0].message.content
messages.append({"role": "assistant", "content": answer})
print("Bot:", answer)
每一輪迴圈都會重新傳送整個清單,因此隨著聊天變長,每輪成本會上升。費率為每 100 萬個輸入 token $0.15,每 100 萬個輸出 token $0.50。一輪包含 2,000 個輸入 token 和 400 個輸出 token 的成本為 2,000 / 1,000,000 x $0.15 = $0.0003,加上 400 / 1,000,000 x $0.50 = $0.0002,總計 $0.0005。以該費率計算,$0.50 的試用額度約可支援 1,000 輪。
當清單變長時,刪除最舊的使用者和助手訊息,但保留頂部的系統訊息。或者要求模型為早期輪次寫一個短摘要,並用它取代它們。
步驟 5:JSON 模式和工具呼叫
當你的程式碼需要解析答案時,請要求 JSON。將 response_format 設定為 {"type": "json_object"},並在提示詞中加上 "JSON",讓模型知道你想要的格式。
import os, json
from openai import OpenAI
client = OpenAI(base_url="https://api.bestllmapi.com/v1", api_key=os.environ["LLM_API_KEY"])
resp = client.chat.completions.create(
model="uncensored",
response_format={"type": "json_object"},
messages=[
{"role": "system", "content": "Reply only with JSON."},
{"role": "user", "content": "Extract name and city: 'Maria lives in Lisbon.' Use keys name and city."},
],
)
print(json.loads(resp.choices[0].message.content))
工具呼叫讓模型可以要求你的程式碼執行函式。你在 tools 中描述函式;模型會回覆一個 tool_calls 項目而非文字;你執行該函式後,使用 role: "tool" 將結果送回。
import os, json
from openai import OpenAI
client = OpenAI(base_url="https://api.bestllmapi.com/v1", api_key=os.environ["LLM_API_KEY"])
tools = [{
"type": "function",
"function": {
"name": "get_order_status",
"description": "Look up an order by its id",
"parameters": {
"type": "object",
"properties": {"order_id": {"type": "string"}},
"required": ["order_id"],
},
},
}]
messages = [{"role": "user", "content": "Where is order A-1042?"}]
first = client.chat.completions.create(
model="uncensored", messages=messages, tools=tools, tool_choice="auto"
)
msg = first.choices[0].message
if msg.tool_calls:
call = msg.tool_calls[0]
args = json.loads(call.function.arguments)
result = {"order_id": args["order_id"], "status": "shipped"}
messages.append(msg)
messages.append({
"role": "tool",
"tool_call_id": call.id,
"content": json.dumps(result),
})
final = client.chat.completions.create(
model="uncensored", messages=messages, tools=tools
)
print(final.choices[0].message.content)
模型偶爾會產生格式錯誤的參數,因此在實際程式碼中應將 json.loads 包裹在 try 區塊中,如果解析失敗則傳回錯誤作為工具結果。
當發生錯誤時
大多數第一天的問題都是其中之一。
- 401 或驗證錯誤: 金鑰遺失、有錯字,或標頭不是
Bearer KEY的形式。 - 404: Base URL 缺少
/v1,或你呼叫了錯誤的路徑。聊天路徑是/v1/chat/completions。 - 429 且程式碼為
rate_limited: 你超過了每分鐘請求限制(完整金鑰 300,試用金鑰 60)。 - 429 且程式碼為
concurrency: 同時請求過多(完整金鑰 8,試用金鑰 2)。請對你的請求進行排隊。 - 429 且帶有
Retry-After: 5: 暫時過載。等待五秒鐘後重試。 - 請求過大: 請求本文限制為 8 MB,且提示詞加上回覆必須符合 100,000-token 限制。
失敗或拒絕的請求不會計費,因此謹慎重試不會產生額外費用。對於每個錯誤程式碼和更多範例,請閱讀 文件,並查看 定價 以估算在每 1M 輸入 token $0.15 和每 1M 輸出 token $0.50 的情況下的工作負載成本。
在程式碼中禮貌地重試
發送大量請求的腳本最終會遇到 429。解決方法是使用一個小型重試包裝函式,等待並重試。此版本尊重 API 在暫時過載時要求的五秒暫停。
import os, time
from openai import OpenAI, RateLimitError
client = OpenAI(base_url="https://api.bestllmapi.com/v1", api_key=os.environ["LLM_API_KEY"])
def ask(prompt, tries=5):
for attempt in range(tries):
try:
r = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": prompt}],
)
return r.choices[0].message.content
except RateLimitError:
time.sleep(5 * (attempt + 1))
raise RuntimeError("still rate limited after retries")
print(ask("List three uses for a paperclip."))
如果你並行執行許多請求,請將工作程式數量限制在並行限制內。8 個執行緒的執行緒池對應完整金鑰,2 個對應試用金鑰。超過該限制只會產生 concurrency 錯誤。
更多指南
問答
我需要特殊的 SDK 嗎?
否。任何 OpenAI SDK 或 OpenAI 相容的用戶端皆可運作。將 Base URL 設為 https://api.bestllmapi.com/v1,使用你的金鑰,並將模型設為 uncensored。
我可以在付費前試用嗎?
可以。新用戶可在 API 金鑰頁面一鍵領取 $0.50 免費試用額度。無需綁定信用卡,有效期為 7 天。
API 會記住之前的訊息嗎?
否。在每次請求的 messages 清單中傳送對話歷史。提示詞加上回覆必須符合 100,000-token 的上下文視窗限制。
429 錯誤代表什麼意思?
你觸及了速率限制。程式碼 rate_limited 代表每分鐘請求過多,concurrency 代表同時請求過多,Retry-After 標頭代表短暫過載。
只差一張表單,即可取得金鑰
建立帳號、複製金鑰、更改Base URL。這就是整個設定過程。