TR ▾
API anahtarı al

Best LLM API Kılavuz

LLM API Kullanımı: İlk İstekten Akışa

Bir LLM API kullanmak, HTTPS üzerinden bir mesaj JSON listesinin gönderilmesi ve yanıtın okunması demektir. Bu kılavuz sizi bir anahtardan ilk isteğe, ardından akışa, JSON çıktısına ve fonksiyon çağrılarına götürür.

Güncelleme:

Terminalden sunucuya giden parlayan istek paketi ve geri dönen akış tokenları

Temel noktalar

  • Uç nokta OpenAI uyumludur: base URL'yi ve anahtarı değiştirin, SDK'nızı koruyun.
  • uncensored model ID'sini kullanın ve /v1/chat/completions uç noktasına POST gönderin.
  • Akış, JSON modu ve fonksiyon çağırma desteklenir.
  • 429 yavaşlamanız gerektiğini gösterir; nedenini anlamak için hata kodunu okuyun.

Bir LLM API çağrısı nedir

LLM API hizmetlerini nasıl kullanacağınızı merak ediyorsanız, fikir küçüktür. Bir mesaj listesini içeren bir HTTPS POST gönderirsiniz. Her mesajın bir rolü (system, user veya assistant) ve bazı metni vardır. Sunucu modeli çalıştırır ve bir sonraki asistan mesajını gönderir. Tüm sözleşme budur.

Model çağrılar arasında hafızaya sahip değildir. Bir konuşma istiyorsanız, önceki mesajları her seferinde tekrar gönderirsiniz. Bu yüzden istemlerin büyüdüğünü, maliyetin onlarla birlikte arttığını ve 100.000 tokenlık bağlam penceresinin neden önemli olduğunu görürsünüz: bu, istem ve yanıtın toplamı için bir sınırdır.

Bu hizmet, OpenAI Chat Completions API ile aynı protokolü kullanır. Base URL'yi ve anahtarı değiştirdiğinizde, herhangi bir OpenAI SDK veya uyumlu istemci çalışır. Sadece metin girer ve çıkar. Resim, ses veya video oluşturma ve bir embedding uç noktası yoktur.

Bu kılavuzun geri kalanında bazı terimler kullanılır. Bir token, ortalama olarak bir İngilizce kelimenin yaklaşık dörtte üçü kadar olan bir metin parçasıdır. Girdi tokenları gönderdiğiniz her şeydir ve çıktı tokenları modelin yazdığı metindir. Her ikisi için de farklı oranlarda ücretlendirilirsiniz ve yanıt, her birinden tam olarak kaç tane kullandığını size bildirir. Bir base URL, istemcinizin her yolun önüne eklediği adrestir ve bir API anahtarı, isteğin size ait olduğunu kanıtlayan gizli anahtardır. Bu dört kelimeyi biliyorsanız, geri kalanı rutin işlemlerdir.

Adım 1: bir anahtar alın ve üç değeri not edin

Google veya e-posta ve şifre ile bir hesap oluşturun ve API anahtarı sayfasını açın. Burada anahtarınızı kopyalayabilir ve tek tıkla $0,50 deneme kredisi talep edebilirsiniz. Deneme için kart gerekmez.

Her istek için üç değere ihtiyacınız var:

  • Base URL: https://api.bestllmapi.com/v1
  • Model Kimliği: uncensored
  • Auth başlığı: Authorization: Bearer YOUR_KEY

Anahtarı kaynak kontrolünde tutmayın. LLM_API_KEY gibi bir ortam değişkenine koyun ve oradan okuyun. Anahtarı olan herkes kredinizi harcayabilir.

Adım 2: curl ile ilk isteği gönderinin

Curl, herhangi bir kütüphane devreye girmeden önce her şeyin çalıştığını kontrol etmenin en hızlı yoludur.

export LLM_API_KEY="paste-your-key-here"

curl https://api.bestllmapi.com/v1/chat/completions \
  -H "Authorization: Bearer $LLM_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [
      {"role": "system", "content": "You are a concise assistant."},
      {"role": "user", "content": "Explain what a token is in two sentences."}
    ],
    "temperature": 0.7
  }'

Yanıt JSON'dur. Metin choices[0].message.content konumundadır ve bir usage nesnesi istek ve tamamlama tokenlarını listeler; bunlar için ücretlendirilirsiniz. GET https://api.bestllmapi.com/v1/models ile modelleri de listeleyebilirsiniz; uncensored görmelisiniz.

Yanıt başlıkları da yardımcı olur. X-Request-Id destekle iletişime geçtiğinizde çağrıyı tanımlar ve X-Balance-USD hesabınızda ne kadar kaldığını gösterir.

Yanıtı okuma ve parametre seçme

Bir yanıtta, ayrıştırma kodu yazmadan önce bilmeniz gereken birkaç alan vardır. choices bir listedir ve neredeyse her zaman ilk öğeyi istersiniz. İçinde, message.content metni içerir ve finish_reason modelin neden durduğunu söyler. stop değeri doğal olarak bittiği anlamına gelir. length değeri max_tokens sınırınıza ulaştığı veya pencerenin dolduğu anlamına gelir, bu nedenle cevap cümle arasında kesilmiş olabilir.

usage nesnesi, istem tokenları, tamamlama tokenları ve toplamı verir. Bu nesneyi ilk günden itibaren her çağrı için günlüğe kaydedin. Uygulamanızın gerçekten neye mal olduğunu öğrenmenin tek güvenilir yolu budur ve aynı uzun istemi iki kez gönderen bir hatayı tespit etmeyi kolaylaştırır.

Parametre seçmek çoğunlukla görev türü meselesidir. Çıkarma, sınıflandırma ve kod için, aynı girdi neredeyse aynı çıktıyı vermesi için 0,2 gibi düşük bir sıcaklık kullanın. Fikir üretme ve hikayeler için 0,8 ile 1,0 daha fazla çeşitlilik sağlar. Bir değeri tek tek değiştirin ve iki istem sürümü arasında tekrarlanabilir karşılaştırmalar istediğinizde seed kullanın.

Adım 3: Python veya Node'da OpenAI SDK'sını kullanın

Pratikte bir kütüphane kullanacaksınız. Python'da pip install openai ile yükleyin ve yeni base URL'ye işaret edin.

import os
from openai import OpenAI

client = OpenAI(
    base_url="https://api.bestllmapi.com/v1",
    api_key=os.environ["LLM_API_KEY"],
)

resp = client.chat.completions.create(
    model="uncensored",
    messages=[
        {"role": "system", "content": "You are a concise assistant."},
        {"role": "user", "content": "Give me three names for a hiking app."},
    ],
    temperature=0.8,
    max_tokens=200,
)

print(resp.choices[0].message.content)
print(resp.usage.prompt_tokens, resp.usage.completion_tokens)

Node sürümü neredeyse aynıdır. npm install openai ile yükleyin.

import OpenAI from "openai";

const client = new OpenAI({
  baseURL: "https://api.bestllmapi.com/v1",
  apiKey: process.env.LLM_API_KEY,
});

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Give me three names for a hiking app." }],
});

console.log(resp.choices[0].message.content);

max_tokens isteğe bağlıdır. Bırakırsanız, yanıt 100.000 tokenlık pencerenin kalanını kullanabilir, bu yüzden kısa yanıtlar istediğinizde ayarlayın. temperature, top_p, stop, seed ve cezalar modele geçirilir.

Adım 4: yanıtı akış olarak alın

Akış olmadan, kullanıcı tüm cevap hazır olana kadar boş bir ekrana bakar. stream: true ile sunucu, tokenlar üretildikça Server-Sent Events üzerinden gönderir ve kullanım toplamları sonunda gelir.

import os
from openai import OpenAI

client = OpenAI(base_url="https://api.bestllmapi.com/v1", api_key=os.environ["LLM_API_KEY"])

stream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Write a short product description for a desk lamp."}],
    stream=True,
)

for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)
    if getattr(chunk, "usage", None):
        print("\nTokens:", chunk.usage.total_tokens)

Unutulmaması gereken bir şey: akışlı bir istek, akış bitene kadar eşzamanlılık slotunu tutar. Tam bir anahtar 8 eşzamanlı isteğe, bir deneme anahtarı 2'ye izin verir. Bir kullanıcı sekmeyi kapatırsa, tarafınızda da akışı kapatın, yoksa slot meşgul kalır.

Bir konuşmayı sürdürme

API'nin hafızası olmadığından, bir sohbet uygulaması bir listeye ekleyen bir döngüdür. Aşağıdaki desen neredeyse her sohbet botunun çekirdeğidir.

import os
from openai import OpenAI

client = OpenAI(base_url="https://api.bestllmapi.com/v1", api_key=os.environ["LLM_API_KEY"])

messages = [{"role": "system", "content": "You are a friendly travel planner."}]

while True:
    user_text = input("You: ")
    if user_text.strip().lower() in ("quit", "exit"):
        break
    messages.append({"role": "user", "content": user_text})
    resp = client.chat.completions.create(model="uncensored", messages=messages)
    answer = resp.choices[0].message.content
    messages.append({"role": "assistant", "content": answer})
    print("Bot:", answer)

Her geçiş tüm listeyi yeniden gönderir, bu nedenle dönüş başına maliyet sohbet uzadıkça artar. Fiyat 1M girdi tokenı başına $0,15 ve 1M çıktı tokenı başına $0,50'dir. 2.000 girdi tokenı ve 400 çıktı tokenı içeren bir dönüş, 2.000 / 1.000.000 x $0,15 = $0,0003 artı 400 / 1.000.000 x $0,50 = $0,0002, yani $0,0005 eder. Bu oranda, $0,50 deneme yaklaşık 1.000 dönüşü kapsar.

Liste uzun olduğunda, en eski kullanıcı ve asistan mesajlarını kaldırın ancak sistem mesajını en üstte tutun. Veya modeli erken dönüşlerin kısa bir özetini yazmasını isteyin ve bunlarla değiştirin.

Adım 5: JSON modu ve fonksiyon çağırma

Kodunuzun cevabı ayrıştırması gerektiğinde JSON isteyin. response_format değerini {"type": "json_object"} olarak ayarlayın ve modele ne şekil istediğinizi bildirmek için istemde "JSON" da yazın.

import os, json
from openai import OpenAI

client = OpenAI(base_url="https://api.bestllmapi.com/v1", api_key=os.environ["LLM_API_KEY"])

resp = client.chat.completions.create(
    model="uncensored",
    response_format={"type": "json_object"},
    messages=[
        {"role": "system", "content": "Reply only with JSON."},
        {"role": "user", "content": "Extract name and city: 'Maria lives in Lisbon.' Use keys name and city."},
    ],
)
print(json.loads(resp.choices[0].message.content))

Fonksiyon çağırma, modelin kodunuzun bir fonksiyonu çalıştırmasını sağlar. Fonksiyonu tools içinde tanımlarsınız; model metin yerine bir tool_calls girdisiyle yanıt verir; fonksiyonu çalıştırırsınız ve sonucu role: "tool" ile geri gönderirsiniz.

import os, json
from openai import OpenAI

client = OpenAI(base_url="https://api.bestllmapi.com/v1", api_key=os.environ["LLM_API_KEY"])

tools = [{
    "type": "function",
    "function": {
        "name": "get_order_status",
        "description": "Look up an order by its id",
        "parameters": {
            "type": "object",
            "properties": {"order_id": {"type": "string"}},
            "required": ["order_id"],
        },
    },
}]

messages = [{"role": "user", "content": "Where is order A-1042?"}]
first = client.chat.completions.create(
    model="uncensored", messages=messages, tools=tools, tool_choice="auto"
)
msg = first.choices[0].message

if msg.tool_calls:
    call = msg.tool_calls[0]
    args = json.loads(call.function.arguments)
    result = {"order_id": args["order_id"], "status": "shipped"}
    messages.append(msg)
    messages.append({
        "role": "tool",
        "tool_call_id": call.id,
        "content": json.dumps(result),
    })
    final = client.chat.completions.create(
        model="uncensored", messages=messages, tools=tools
    )
    print(final.choices[0].message.content)

Modeller zaman zaman hatalı argümanlar üretebilir, bu nedenle gerçek kodda json.loads'i bir try bloğu içine alın ve ayrıştırma başarısız olursa hatayı araç sonucu olarak gönderin.

Bir şeyler ters gittiğinde

İlk gün sorunlarının çoğu bunlardan biridir.

  • 401 veya kimlik doğrulama hatası: anahtar eksik, yazım hatası içeriyor veya başlık Bearer KEY biçiminde değil.
  • 404: base URL'de /v1 eksik veya yanlış yolu çağırdınız. Sohbet yolu /v1/chat/completions'dir.
  • Kodu rate_limited ile 429: dakikadaki istek sınırını aştınız (tam anahtarda 300, deneme anahtarında 60).
  • Kodu concurrency ile 429: aynı anda çok fazla istek (tam anahtarda 8, deneme anahtarında 2). Çağrılarınızı kuyruğa alın.
  • Retry-After: 5 ile 429: geçici aşırı yüklenme. Beş saniye bekleyin ve tekrar deneyin.
  • İstek çok büyük: gövde sınırı 8 MB'tır ve istem ile yanıt 100.000 tokena sığmalıdır.

Başarısız veya reddedilen istekler ücretlendirilmez, bu nedenle dikkatli bir şekilde yeniden denemenin ek maliyeti yoktur. Her hata kodu ve daha fazla örnek için dokümantasyonu okuyun ve 1M girdi tokenı başına $0,15 ve 1M çıktı tokenı başına $0,50 ile bir iş yükünün neye mal olacağını tahmin etmek için fiyatlandırma sayfasına bakın.

Kodda kibarca yeniden deneme

Çok fazla istek gönderen bir betik nihayet bir 429 ile karşılaşacaktır. Çözüm, bekleyip tekrar deneyecek küçük bir yeniden deneme sarmalayıcısıdır. Bu sürüm, geçici aşırı yüklenme sırasında API'nin istediği beş saniyelik bekleme süresine saygı duyar.

import os, time
from openai import OpenAI, RateLimitError

client = OpenAI(base_url="https://api.bestllmapi.com/v1", api_key=os.environ["LLM_API_KEY"])

def ask(prompt, tries=5):
    for attempt in range(tries):
        try:
            r = client.chat.completions.create(
                model="uncensored",
                messages=[{"role": "user", "content": prompt}],
            )
            return r.choices[0].message.content
        except RateLimitError:
            time.sleep(5 * (attempt + 1))
    raise RuntimeError("still rate limited after retries")

print(ask("List three uses for a paperclip."))

Eşzamanlı olarak çok fazla istek çalıştırırsanız, worker sayısını eşzamanlılık sınırınızla sınırlayın. 8'lik bir iş parçacığı havuzu tam bir anahtara, 2'lik bir deneme anahtarına uyar. Onun üzerine çıkmak yalnızca concurrency hataları üretir.

Sorular ve cevaplar

Özel bir SDK'ya ihtiyacım var mı?

Hayır. Herhangi bir OpenAI SDK'sı veya OpenAI uyumlu istemci çalışır. Base URL'yi https://api.bestllmapi.com/v1, olarak ayarlayın, anahtarınızı kullanın ve modeli uncensored olarak ayarlayın.

Ödeme yapmadan önce deneyebilir miyim?

Evet. Yeni kullanıcılar API anahtarı sayfasında tek tıkla $0,50 ücretsiz deneme kredisi alabilir. Kart gerekmez ve 7 gün geçerlidir.

API önceki mesajları hatırlıyor mu?

Hayır. Her istekte mesaj listesine konuşma geçmişini gönderin. İstem ve yanıt 100.000 tokenlık pencereye sığmalıdır.

429 hatası ne anlama gelir?

Bir limite ulaştınız. rate_limited kodu dakikada çok fazla istek anlamına gelir, concurrency aynı anda çok fazla istek anlamına gelir ve bir Retry-After başlığı kısa bir aşırı yüklenmeyi gösterir.

Anahtarınız tek bir formun uzağında

Bir hesap oluşturun, anahtarı kopyalayın ve base URL'yi değiştirin. Kurulum bu kadar basit.

API anahtarı al