Best LLM API Przewodnik
Jak korzystać z API LLM: pierwsze zapytanie i strumieniowanie
Korzystanie z LLM API polega na wysyłaniu listy wiadomości JSON przez HTTPS i odczytywaniu odpowiedzi. Ten przewodnik poprowadzi Cię od klucza API przez pierwsze zapytanie, strumieniowanie, wyjście JSON i wywoływanie funkcji.
Aktualizacja:

Kluczowe punkty
- Endpoint jest zgodny z OpenAI: zmień base URL i klucz, zachowaj swoje SDK.
- Użyj ID modelu uncensored i wyślij POST do /v1/chat/completions.
- Wsparcie dla strumieniowania, trybu JSON i wywoływania funkcji.
- Kod 429 oznacza zwolnienie tempa; przeczytaj kod błędu, aby dowiedzieć się dlaczego.
Czym jest zapytanie do API LLM
Jeśli zastanawiasz się jak korzystać z usług LLM API w ogóle, koncepcja jest prosta. Wysyłasz zapytanie HTTPS POST z listą wiadomości. Każda wiadomość ma rolę (system, user lub assistant) i treść. Serwer uruchamia model i zwraca kolejną wiadomość asystenta. To jest cały kontrakt.
Model nie pamięta stanu między zapytaniami. Jeśli chcesz rozmowę, za każdym razem wysyłasz poprzednie wiadomości. Dlatego rośnie długość promptów, rośnie koszt z nimi związany i dlatego okno kontekstu 100 000 tokenów ma znaczenie: to limit na prompt plus odpowiedź razem.
Usługa obsługuje ten sam protokół co API OpenAI Chat Completions. Działa dowolne SDK OpenAI lub kompatybilny klient po zmianie dwóch rzeczy: base URL i klucza. Wchodzi i wychodzi tylko tekst. Nie ma generowania obrazu, audio ani wideo i nie ma endpointu embeddings.
W dalszej części tego przewodnika używa się kilku pojęć. token to fragment tekstu, stanowiący średnio około trzech czwartych angielskiego słowa. Tokeny promptu to wszystko, co wysyłasz, a tokeny odpowiedzi to to, co generuje model. Płacisz za oba rodzaje, po różnych stawkach, a odpowiedź pokazuje dokładnie, ile każdego z nich użyto. Base URL to adres, który Twój klient dołącza do każdej ścieżki, a klucz API to sekret potwierdzający, że zapytanie pochodzi od Ciebie. Jeśli znasz te cztery pojęcia, reszta to rutyna.
Krok 1: uzyskaj klucz i zanotuj trzy wartości
Załóż konto za pomocą Google lub e-maila i hasła, a następnie otwórz stronę klucza API. Możesz tam skopiować swój klucz i jednym kliknięciem odebrać darmowy kredyt próbny o wartości $0,50. Do próby nie jest potrzebna karta.
Potrzebujesz trzech wartości do każdego zapytania:
- Base URL:
https://api.bestllmapi.com/v1 - Identyfikator modelu:
uncensored - Nagłówek Auth:
Authorization: Bearer YOUR_KEY
Trzymaj klucz z dala od systemu kontroli wersji. Umieść go w zmiennej środowiskowej takiej jak LLM_API_KEY i odczytuj stamtąd. Każdy, kto ma klucz, może wydać Twój kredyt.
Krok 2: wyślij pierwsze zapytanie za pomocą curl
Curl to najszybszy sposób sprawdzenia, czy wszystko działa, zanim zaangażujesz jakąkolwiek bibliotekę.
export LLM_API_KEY="paste-your-key-here"
curl https://api.bestllmapi.com/v1/chat/completions \
-H "Authorization: Bearer $LLM_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"model": "uncensored",
"messages": [
{"role": "system", "content": "You are a concise assistant."},
{"role": "user", "content": "Explain what a token is in two sentences."}
],
"temperature": 0.7
}'
Odpowiedź jest w formacie JSON. Tekst znajduje się w choices[0].message.content, a obiekt usage wymienia tokeny promptu i completion, za które jesteś rozliczany. Możesz również wyświetlić listę modeli za pomocą GET https://api.bestllmapi.com/v1/models; powinieneś zobaczyć uncensored.
Pomogą też nagłówki odpowiedzi. X-Request-Id identyfikuje zapytanie, jeśli skontaktujesz się z supportem, a X-Balance-USD pokazuje, co zostało na Twoim koncie.
Odczytywanie odpowiedzi i wybór parametrów
Odpowiedź ma kilka pól wartych poznania przed napisaniem kodu parsującego. choices to lista, i prawie zawsze chcesz pierwszy element. Wewnątrz niego message.content zawiera tekst, a finish_reason mówi, dlaczego model przestał. Wartość stop oznacza naturalne zakończenie. Wartość length oznacza, że osiągnąłeś limit max_tokens lub skończyło się okno, więc odpowiedź może być ucięta w połowie zdania.
Obiekt usage daje tokeny prompt, tokeny completion i sumę. Loguj je dla każdego zapytania od pierwszego dnia. To jedyny wiarygodny sposób, aby dowiedzieć się, ile Twoja aplikacja naprawdę kosztuje, i ułatwia wykrycie błędu, który wysyła ten sam długi prompt dwukrotnie.
Wybór parametrów to głównie kwestia typu zadania. Dla ekstrakcji, klasyfikacji i kodu użyj niskiej temperatury, np. 0,2, aby to samo wejście dawało niemal to samo wyjście. Dla burzy mózgów i opowiadań 0,8 do 1,0 daje więcej różnorodności. Zmieniaj jedną wartość na raz i używaj seed, gdy chcesz powtarzalnych porównań między dwiema wersjami promptu.
Krok 3: użyj SDK OpenAI w Pythonie lub Node
W praktyce użyjesz biblioteki. W Pythonie zainstaluj ją za pomocą pip install openai i wskaż ją na nowy base URL.
import os
from openai import OpenAI
client = OpenAI(
base_url="https://api.bestllmapi.com/v1",
api_key=os.environ["LLM_API_KEY"],
)
resp = client.chat.completions.create(
model="uncensored",
messages=[
{"role": "system", "content": "You are a concise assistant."},
{"role": "user", "content": "Give me three names for a hiking app."},
],
temperature=0.8,
max_tokens=200,
)
print(resp.choices[0].message.content)
print(resp.usage.prompt_tokens, resp.usage.completion_tokens)
Wersja Node jest niemal identyczna. Zainstaluj za pomocą npm install openai.
import OpenAI from "openai";
const client = new OpenAI({
baseURL: "https://api.bestllmapi.com/v1",
apiKey: process.env.LLM_API_KEY,
});
const resp = await client.chat.completions.create({
model: "uncensored",
messages: [{ role: "user", content: "Give me three names for a hiking app." }],
});
console.log(resp.choices[0].message.content);
max_tokens jest opcjonalny. Jeśli go nie podasz, odpowiedź może użyć tego, co zostało z okna 100 000 tokenów, więc ustaw go, gdy chcesz krótkie odpowiedzi. Ustawienia próbkowania temperature, top_p, stop, seed i kary są przekazywane do modelu.
Krok 4: strumieniowanie odpowiedzi
Bez strumieniowania Twój użytkownik patrzy na pusty ekran, aż cała odpowiedź będzie gotowa. Ze stream: true serwer wysyła tokeny przez Server-Sent Events, gdy są generowane, a sumy użycia przychodzą na końcu.
import os
from openai import OpenAI
client = OpenAI(base_url="https://api.bestllmapi.com/v1", api_key=os.environ["LLM_API_KEY"])
stream = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Write a short product description for a desk lamp."}],
stream=True,
)
for chunk in stream:
if chunk.choices and chunk.choices[0].delta.content:
print(chunk.choices[0].delta.content, end="", flush=True)
if getattr(chunk, "usage", None):
print("\nTokens:", chunk.usage.total_tokens)
Pamiętaj jedną rzecz: strumieniowane zapytanie trzyma slot concurrency aż do końca strumienia. Pełny klucz pozwala na 8 równoległych zapytań, klucz próbny na 2. Jeśli użytkownik zamknie kartę, zamknij też strumień po swojej stronie, inaczej slot pozostanie zajęty.
Kontynuowanie konwersacji
Ponieważ API nie ma pamięci, aplikacja czatu to pętla, która dodaje do listy. Poniższy wzorzec jest rdzeniem niemal każdego chatbota.
import os
from openai import OpenAI
client = OpenAI(base_url="https://api.bestllmapi.com/v1", api_key=os.environ["LLM_API_KEY"])
messages = [{"role": "system", "content": "You are a friendly travel planner."}]
while True:
user_text = input("You: ")
if user_text.strip().lower() in ("quit", "exit"):
break
messages.append({"role": "user", "content": user_text})
resp = client.chat.completions.create(model="uncensored", messages=messages)
answer = resp.choices[0].message.content
messages.append({"role": "assistant", "content": answer})
print("Bot:", answer)
Każda iteracja wysyła całą listę, więc koszt na turę rośnie wraz z długością czatu. Cena to $0,15 za 1M tokenów wejściowych i $0,50 za 1M tokenów wyjściowych. Tura z 2000 tokenami wejściowymi i 400 wyjściowymi kosztuje 2000 / 1 000 000 x $0,15 = $0,0003 plus 400 / 1 000 000 x $0,50 = $0,0002, czyli $0,0005. Przy tej stawce kredyt próbny $0,50 starczy na około 1000 tur.
Gdy lista jest długa, usuń najstarsze wiadomości user i assistant, ale zachowaj wiadomość systemową na górze. Albo poproś model o napisanie krótkiego podsumowania wczesnych tur i zamień je na nie.
Krok 5: tryb JSON i wywoływanie funkcji
Gdy Twój kod musi parsować odpowiedź, poproś o JSON. Ustaw response_format na {"type": "json_object"} i również napisz "JSON" w promptie, aby model wiedział, jakiego kształtu oczekujesz.
import os, json
from openai import OpenAI
client = OpenAI(base_url="https://api.bestllmapi.com/v1", api_key=os.environ["LLM_API_KEY"])
resp = client.chat.completions.create(
model="uncensored",
response_format={"type": "json_object"},
messages=[
{"role": "system", "content": "Reply only with JSON."},
{"role": "user", "content": "Extract name and city: 'Maria lives in Lisbon.' Use keys name and city."},
],
)
print(json.loads(resp.choices[0].message.content))
Wywoływanie funkcji pozwala modelowi poprosić Twój kod o uruchomienie funkcji. Opisujesz funkcję w tools; model odpowiada wpisem tool_calls zamiast tekstu; uruchamiasz funkcję i wysyłasz wynik z powrotem z role: "tool".
import os, json
from openai import OpenAI
client = OpenAI(base_url="https://api.bestllmapi.com/v1", api_key=os.environ["LLM_API_KEY"])
tools = [{
"type": "function",
"function": {
"name": "get_order_status",
"description": "Look up an order by its id",
"parameters": {
"type": "object",
"properties": {"order_id": {"type": "string"}},
"required": ["order_id"],
},
},
}]
messages = [{"role": "user", "content": "Where is order A-1042?"}]
first = client.chat.completions.create(
model="uncensored", messages=messages, tools=tools, tool_choice="auto"
)
msg = first.choices[0].message
if msg.tool_calls:
call = msg.tool_calls[0]
args = json.loads(call.function.arguments)
result = {"order_id": args["order_id"], "status": "shipped"}
messages.append(msg)
messages.append({
"role": "tool",
"tool_call_id": call.id,
"content": json.dumps(result),
})
final = client.chat.completions.create(
model="uncensored", messages=messages, tools=tools
)
print(final.choices[0].message.content)
Modele czasami generują niepoprawne argumenty, więc w kodzie produkcyjnym należy opakować json.loads w blok try/catch i zwrócić błąd jako wynik wywoływania funkcji, jeśli parsowanie się nie powiedzie.
Kiedy coś pójdzie nie tak
Większość problemów z pierwszego dnia to jedno z tych.
- 401 lub błąd uwierzytelniania: klucz jest nieobecny, ma literówkę lub nagłówek nie jest w formie
Bearer KEY. - 404: base URL nie ma
/v1lub wywołałeś złą ścieżkę. Ścieżka czatu to/v1/chat/completions. - 429 z kodem
rate_limited: przekroczyłeś limit zapytań na minutę (300 na pełnym kluczu, 60 na kluczu próbnym). - 429 z kodem
concurrency: zbyt wiele zapytań naraz (8 na pełnym kluczu, 2 na kluczu próbnym). Ustaw swoje zapytania w kolejce. - 429 z
Retry-After: 5: tymczasowe przeciążenie. Poczekaj pięć sekund i spróbuj ponownie. - Zapytanie za duże: limit rozmiaru body to 8 MB, a prompt plus odpowiedź muszą zmieścić się w 100 000 tokenach.
Nieudane lub odrzucone zapytania nie są rozliczane, więc ponowne próby z ostrożnością nie generują dodatkowych kosztów. Aby poznać każdy kod błędu i więcej przykładów, przeczytaj dokumentację, a cennik pomoże oszacować koszt obciążenia przy $0.15 za 1 mln tokenów wejściowych i $0,50 za 1 mln tokenów wyjściowych.
Uprzejme ponawianie w kodzie
Skrypt wysyłający wiele zapytań w końcu napotka 429. Rozwiązaniem jest mały wrapper retry, który czeka i próbuje ponownie. Ta wersja szanuje pięciosekundową pauzę, o którą API prosi przy tymczasowym przeciążeniu.
import os, time
from openai import OpenAI, RateLimitError
client = OpenAI(base_url="https://api.bestllmapi.com/v1", api_key=os.environ["LLM_API_KEY"])
def ask(prompt, tries=5):
for attempt in range(tries):
try:
r = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": prompt}],
)
return r.choices[0].message.content
except RateLimitError:
time.sleep(5 * (attempt + 1))
raise RuntimeError("still rate limited after retries")
print(ask("List three uses for a paperclip."))
Jeśli uruchamiasz wiele zapytań równolegle, ogranicz liczbę workerów do limitu concurrency. Pula 8 wątków pasuje do pełnego klucza, a 2 do klucza próbnego. Przekroczenie tego tylko powoduje błędy concurrency.
Więcej przewodników
Pytania i odpowiedzi
Czy potrzebuję specjalnego SDK?
Nie. Działa dowolne SDK OpenAI lub klient zgodny z OpenAI. Ustaw base URL na https://api.bestllmapi.com/v1, użyj swojego klucza i ustaw model na uncensored.
Czy mogę przetestować przed płatnością?
Tak. Nowi użytkownicy mogą otrzymać $0,50 kredytu próbnego jednym kliknięciem na stronie klucza API. Nie wymaga karty i jest ważny przez 7 dni.
Czy API zapamiętuje wcześniejsze wiadomości?
Nie. W każdym zapytaniu przesyłaj historię konwersacji w liście messages. Prompt plus odpowiedź muszą zmieścić się w oknie 100 000 tokenów.
Co oznacza błąd 429?
Osiągnięto limit. Kod rate_limited oznacza zbyt wiele zapytań na minutę, concurrency oznacza zbyt wiele naraz, a nagłówek Retry-After oznacza krótkotrwałe przeciążenie.
Twój klucz jest o jeden formularz stąd
Utwórz konto, skopiuj klucz, zmień base URL. To cała konfiguracja.