Best LLM API Kılavuz
LLM API Kullanımı: İlk İstekten Akışa
Bir LLM API kullanmak, HTTPS üzerinden bir mesaj JSON listesinin gönderilmesi ve yanıtın okunması demektir. Bu kılavuz sizi bir anahtardan ilk isteğe, ardından akışa, JSON çıktısına ve fonksiyon çağrılarına götürür.
Güncelleme:

Temel noktalar
- Uç nokta OpenAI uyumludur: base URL'yi ve anahtarı değiştirin, SDK'nızı koruyun.
- uncensored model ID'sini kullanın ve /v1/chat/completions uç noktasına POST gönderin.
- Akış, JSON modu ve fonksiyon çağırma desteklenir.
- 429 yavaşlamanız gerektiğini gösterir; nedenini anlamak için hata kodunu okuyun.
Bir LLM API çağrısı nedir
LLM API hizmetlerini nasıl kullanacağınızı merak ediyorsanız, fikir küçüktür. Bir mesaj listesini içeren bir HTTPS POST gönderirsiniz. Her mesajın bir rolü (system, user veya assistant) ve bazı metni vardır. Sunucu modeli çalıştırır ve bir sonraki asistan mesajını gönderir. Tüm sözleşme budur.
Model çağrılar arasında hafızaya sahip değildir. Bir konuşma istiyorsanız, önceki mesajları her seferinde tekrar gönderirsiniz. Bu yüzden istemlerin büyüdüğünü, maliyetin onlarla birlikte arttığını ve 100.000 tokenlık bağlam penceresinin neden önemli olduğunu görürsünüz: bu, istem ve yanıtın toplamı için bir sınırdır.
Bu hizmet, OpenAI Chat Completions API ile aynı protokolü kullanır. Base URL'yi ve anahtarı değiştirdiğinizde, herhangi bir OpenAI SDK veya uyumlu istemci çalışır. Sadece metin girer ve çıkar. Resim, ses veya video oluşturma ve bir embedding uç noktası yoktur.
Bu kılavuzun geri kalanında bazı terimler kullanılır. Bir token, ortalama olarak bir İngilizce kelimenin yaklaşık dörtte üçü kadar olan bir metin parçasıdır. Girdi tokenları gönderdiğiniz her şeydir ve çıktı tokenları modelin yazdığı metindir. Her ikisi için de farklı oranlarda ücretlendirilirsiniz ve yanıt, her birinden tam olarak kaç tane kullandığını size bildirir. Bir base URL, istemcinizin her yolun önüne eklediği adrestir ve bir API anahtarı, isteğin size ait olduğunu kanıtlayan gizli anahtardır. Bu dört kelimeyi biliyorsanız, geri kalanı rutin işlemlerdir.
Adım 1: bir anahtar alın ve üç değeri not edin
Google veya e-posta ve şifre ile bir hesap oluşturun ve API anahtarı sayfasını açın. Burada anahtarınızı kopyalayabilir ve tek tıkla $0,50 deneme kredisi talep edebilirsiniz. Deneme için kart gerekmez.
Her istek için üç değere ihtiyacınız var:
- Base URL:
https://api.bestllmapi.com/v1 - Model Kimliği:
uncensored - Auth başlığı:
Authorization: Bearer YOUR_KEY
Anahtarı kaynak kontrolünde tutmayın. LLM_API_KEY gibi bir ortam değişkenine koyun ve oradan okuyun. Anahtarı olan herkes kredinizi harcayabilir.
Adım 2: curl ile ilk isteği gönderinin
Curl, herhangi bir kütüphane devreye girmeden önce her şeyin çalıştığını kontrol etmenin en hızlı yoludur.
export LLM_API_KEY="paste-your-key-here"
curl https://api.bestllmapi.com/v1/chat/completions \
-H "Authorization: Bearer $LLM_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"model": "uncensored",
"messages": [
{"role": "system", "content": "You are a concise assistant."},
{"role": "user", "content": "Explain what a token is in two sentences."}
],
"temperature": 0.7
}'
Yanıt JSON'dur. Metin choices[0].message.content konumundadır ve bir usage nesnesi istek ve tamamlama tokenlarını listeler; bunlar için ücretlendirilirsiniz. GET https://api.bestllmapi.com/v1/models ile modelleri de listeleyebilirsiniz; uncensored görmelisiniz.
Yanıt başlıkları da yardımcı olur. X-Request-Id destekle iletişime geçtiğinizde çağrıyı tanımlar ve X-Balance-USD hesabınızda ne kadar kaldığını gösterir.
Yanıtı okuma ve parametre seçme
Bir yanıtta, ayrıştırma kodu yazmadan önce bilmeniz gereken birkaç alan vardır. choices bir listedir ve neredeyse her zaman ilk öğeyi istersiniz. İçinde, message.content metni içerir ve finish_reason modelin neden durduğunu söyler. stop değeri doğal olarak bittiği anlamına gelir. length değeri max_tokens sınırınıza ulaştığı veya pencerenin dolduğu anlamına gelir, bu nedenle cevap cümle arasında kesilmiş olabilir.
usage nesnesi, istem tokenları, tamamlama tokenları ve toplamı verir. Bu nesneyi ilk günden itibaren her çağrı için günlüğe kaydedin. Uygulamanızın gerçekten neye mal olduğunu öğrenmenin tek güvenilir yolu budur ve aynı uzun istemi iki kez gönderen bir hatayı tespit etmeyi kolaylaştırır.
Parametre seçmek çoğunlukla görev türü meselesidir. Çıkarma, sınıflandırma ve kod için, aynı girdi neredeyse aynı çıktıyı vermesi için 0,2 gibi düşük bir sıcaklık kullanın. Fikir üretme ve hikayeler için 0,8 ile 1,0 daha fazla çeşitlilik sağlar. Bir değeri tek tek değiştirin ve iki istem sürümü arasında tekrarlanabilir karşılaştırmalar istediğinizde seed kullanın.
Adım 3: Python veya Node'da OpenAI SDK'sını kullanın
Pratikte bir kütüphane kullanacaksınız. Python'da pip install openai ile yükleyin ve yeni base URL'ye işaret edin.
import os
from openai import OpenAI
client = OpenAI(
base_url="https://api.bestllmapi.com/v1",
api_key=os.environ["LLM_API_KEY"],
)
resp = client.chat.completions.create(
model="uncensored",
messages=[
{"role": "system", "content": "You are a concise assistant."},
{"role": "user", "content": "Give me three names for a hiking app."},
],
temperature=0.8,
max_tokens=200,
)
print(resp.choices[0].message.content)
print(resp.usage.prompt_tokens, resp.usage.completion_tokens)
Node sürümü neredeyse aynıdır. npm install openai ile yükleyin.
import OpenAI from "openai";
const client = new OpenAI({
baseURL: "https://api.bestllmapi.com/v1",
apiKey: process.env.LLM_API_KEY,
});
const resp = await client.chat.completions.create({
model: "uncensored",
messages: [{ role: "user", content: "Give me three names for a hiking app." }],
});
console.log(resp.choices[0].message.content);
max_tokens isteğe bağlıdır. Bırakırsanız, yanıt 100.000 tokenlık pencerenin kalanını kullanabilir, bu yüzden kısa yanıtlar istediğinizde ayarlayın. temperature, top_p, stop, seed ve cezalar modele geçirilir.
Adım 4: yanıtı akış olarak alın
Akış olmadan, kullanıcı tüm cevap hazır olana kadar boş bir ekrana bakar. stream: true ile sunucu, tokenlar üretildikça Server-Sent Events üzerinden gönderir ve kullanım toplamları sonunda gelir.
import os
from openai import OpenAI
client = OpenAI(base_url="https://api.bestllmapi.com/v1", api_key=os.environ["LLM_API_KEY"])
stream = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Write a short product description for a desk lamp."}],
stream=True,
)
for chunk in stream:
if chunk.choices and chunk.choices[0].delta.content:
print(chunk.choices[0].delta.content, end="", flush=True)
if getattr(chunk, "usage", None):
print("\nTokens:", chunk.usage.total_tokens)
Unutulmaması gereken bir şey: akışlı bir istek, akış bitene kadar eşzamanlılık slotunu tutar. Tam bir anahtar 8 eşzamanlı isteğe, bir deneme anahtarı 2'ye izin verir. Bir kullanıcı sekmeyi kapatırsa, tarafınızda da akışı kapatın, yoksa slot meşgul kalır.
Bir konuşmayı sürdürme
API'nin hafızası olmadığından, bir sohbet uygulaması bir listeye ekleyen bir döngüdür. Aşağıdaki desen neredeyse her sohbet botunun çekirdeğidir.
import os
from openai import OpenAI
client = OpenAI(base_url="https://api.bestllmapi.com/v1", api_key=os.environ["LLM_API_KEY"])
messages = [{"role": "system", "content": "You are a friendly travel planner."}]
while True:
user_text = input("You: ")
if user_text.strip().lower() in ("quit", "exit"):
break
messages.append({"role": "user", "content": user_text})
resp = client.chat.completions.create(model="uncensored", messages=messages)
answer = resp.choices[0].message.content
messages.append({"role": "assistant", "content": answer})
print("Bot:", answer)
Her geçiş tüm listeyi yeniden gönderir, bu nedenle dönüş başına maliyet sohbet uzadıkça artar. Fiyat 1M girdi tokenı başına $0,15 ve 1M çıktı tokenı başına $0,50'dir. 2.000 girdi tokenı ve 400 çıktı tokenı içeren bir dönüş, 2.000 / 1.000.000 x $0,15 = $0,0003 artı 400 / 1.000.000 x $0,50 = $0,0002, yani $0,0005 eder. Bu oranda, $0,50 deneme yaklaşık 1.000 dönüşü kapsar.
Liste uzun olduğunda, en eski kullanıcı ve asistan mesajlarını kaldırın ancak sistem mesajını en üstte tutun. Veya modeli erken dönüşlerin kısa bir özetini yazmasını isteyin ve bunlarla değiştirin.
Adım 5: JSON modu ve fonksiyon çağırma
Kodunuzun cevabı ayrıştırması gerektiğinde JSON isteyin. response_format değerini {"type": "json_object"} olarak ayarlayın ve modele ne şekil istediğinizi bildirmek için istemde "JSON" da yazın.
import os, json
from openai import OpenAI
client = OpenAI(base_url="https://api.bestllmapi.com/v1", api_key=os.environ["LLM_API_KEY"])
resp = client.chat.completions.create(
model="uncensored",
response_format={"type": "json_object"},
messages=[
{"role": "system", "content": "Reply only with JSON."},
{"role": "user", "content": "Extract name and city: 'Maria lives in Lisbon.' Use keys name and city."},
],
)
print(json.loads(resp.choices[0].message.content))
Fonksiyon çağırma, modelin kodunuzun bir fonksiyonu çalıştırmasını sağlar. Fonksiyonu tools içinde tanımlarsınız; model metin yerine bir tool_calls girdisiyle yanıt verir; fonksiyonu çalıştırırsınız ve sonucu role: "tool" ile geri gönderirsiniz.
import os, json
from openai import OpenAI
client = OpenAI(base_url="https://api.bestllmapi.com/v1", api_key=os.environ["LLM_API_KEY"])
tools = [{
"type": "function",
"function": {
"name": "get_order_status",
"description": "Look up an order by its id",
"parameters": {
"type": "object",
"properties": {"order_id": {"type": "string"}},
"required": ["order_id"],
},
},
}]
messages = [{"role": "user", "content": "Where is order A-1042?"}]
first = client.chat.completions.create(
model="uncensored", messages=messages, tools=tools, tool_choice="auto"
)
msg = first.choices[0].message
if msg.tool_calls:
call = msg.tool_calls[0]
args = json.loads(call.function.arguments)
result = {"order_id": args["order_id"], "status": "shipped"}
messages.append(msg)
messages.append({
"role": "tool",
"tool_call_id": call.id,
"content": json.dumps(result),
})
final = client.chat.completions.create(
model="uncensored", messages=messages, tools=tools
)
print(final.choices[0].message.content)
Modeller zaman zaman hatalı argümanlar üretebilir, bu nedenle gerçek kodda json.loads'i bir try bloğu içine alın ve ayrıştırma başarısız olursa hatayı araç sonucu olarak gönderin.
Bir şeyler ters gittiğinde
İlk gün sorunlarının çoğu bunlardan biridir.
- 401 veya kimlik doğrulama hatası: anahtar eksik, yazım hatası içeriyor veya başlık
Bearer KEYbiçiminde değil. - 404: base URL'de
/v1eksik veya yanlış yolu çağırdınız. Sohbet yolu/v1/chat/completions'dir. - Kodu
rate_limitedile 429: dakikadaki istek sınırını aştınız (tam anahtarda 300, deneme anahtarında 60). - Kodu
concurrencyile 429: aynı anda çok fazla istek (tam anahtarda 8, deneme anahtarında 2). Çağrılarınızı kuyruğa alın. Retry-After: 5ile 429: geçici aşırı yüklenme. Beş saniye bekleyin ve tekrar deneyin.- İstek çok büyük: gövde sınırı 8 MB'tır ve istem ile yanıt 100.000 tokena sığmalıdır.
Başarısız veya reddedilen istekler ücretlendirilmez, bu nedenle dikkatli bir şekilde yeniden denemenin ek maliyeti yoktur. Her hata kodu ve daha fazla örnek için dokümantasyonu okuyun ve 1M girdi tokenı başına $0,15 ve 1M çıktı tokenı başına $0,50 ile bir iş yükünün neye mal olacağını tahmin etmek için fiyatlandırma sayfasına bakın.
Kodda kibarca yeniden deneme
Çok fazla istek gönderen bir betik nihayet bir 429 ile karşılaşacaktır. Çözüm, bekleyip tekrar deneyecek küçük bir yeniden deneme sarmalayıcısıdır. Bu sürüm, geçici aşırı yüklenme sırasında API'nin istediği beş saniyelik bekleme süresine saygı duyar.
import os, time
from openai import OpenAI, RateLimitError
client = OpenAI(base_url="https://api.bestllmapi.com/v1", api_key=os.environ["LLM_API_KEY"])
def ask(prompt, tries=5):
for attempt in range(tries):
try:
r = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": prompt}],
)
return r.choices[0].message.content
except RateLimitError:
time.sleep(5 * (attempt + 1))
raise RuntimeError("still rate limited after retries")
print(ask("List three uses for a paperclip."))
Eşzamanlı olarak çok fazla istek çalıştırırsanız, worker sayısını eşzamanlılık sınırınızla sınırlayın. 8'lik bir iş parçacığı havuzu tam bir anahtara, 2'lik bir deneme anahtarına uyar. Onun üzerine çıkmak yalnızca concurrency hataları üretir.
Daha fazla kılavuz
Sorular ve cevaplar
Özel bir SDK'ya ihtiyacım var mı?
Hayır. Herhangi bir OpenAI SDK'sı veya OpenAI uyumlu istemci çalışır. Base URL'yi https://api.bestllmapi.com/v1, olarak ayarlayın, anahtarınızı kullanın ve modeli uncensored olarak ayarlayın.
Ödeme yapmadan önce deneyebilir miyim?
Evet. Yeni kullanıcılar API anahtarı sayfasında tek tıkla $0,50 ücretsiz deneme kredisi alabilir. Kart gerekmez ve 7 gün geçerlidir.
API önceki mesajları hatırlıyor mu?
Hayır. Her istekte mesaj listesine konuşma geçmişini gönderin. İstem ve yanıt 100.000 tokenlık pencereye sığmalıdır.
429 hatası ne anlama gelir?
Bir limite ulaştınız. rate_limited kodu dakikada çok fazla istek anlamına gelir, concurrency aynı anda çok fazla istek anlamına gelir ve bir Retry-After başlığı kısa bir aşırı yüklenmeyi gösterir.
Anahtarınız tek bir formun uzağında
Bir hesap oluşturun, anahtarı kopyalayın ve base URL'yi değiştirin. Kurulum bu kadar basit.