TR ▾
API anahtarı al

Best LLM API Kılavuz

LLM API Fiyat Karşılaştırması: Nasıl Adil Karşılaştırılır

Bir LLM API fiyat karşılaştırması, tüm sağlayıcılar aynı iş yüküne göre fiyatlandırıldığında geçerlidir; sadece başlıktaki sayıya göre değil. Bu makale size kısa bir yöntem sunar, ardından 1M giriş tokenı başına $0,15 ve 1M çıkış tokenı başına $0,50 ile bu yöntemi uygular.

Güncelleme:

Giriş ve çıkış token maliyetlerini temsil eden parlayan küpler yığınlarıyla tartım terazisi
Bir sunucuya token bloklarının akışını besleyen izometrik paralar, bir LLM API'si için ücretsiz deneme kredisini gösterir

Temel noktalar

  • Gerçek bir istek şeklini (giriş tokenları, çıkış tokenları, dönüşler) fiyatlandırın, başlıkta belirtilen milyon başına fiyatı değil.
  • Çıkış tokenları genellikle giriş tokenlarından daha pahalıdır, bu nedenle konuşkan bir iş yükü sıralamayı değiştirir.
  • Minimum bakiye yükleme, sona erme ve başarısız istek faturalandırması, bir doların aslında ne alabileceğini değiştirir.
  • Giriş $0,15 ve çıkış $0,50 iken, 1.500 giriş / 400 çıkış içeren bir istek $0,000425 tutarındadır.

Her fiyat listesinde gizlenen dört sayı

Çoğu fiyat sayfası iki rakam gösterir: milyon giriş tokenı başına dolar ve milyon çıkış tokenı başına dolar. Bu iki sayı sağlayıcıları karşılaştırmak için yeterlidir, ancak kendi uygulamanızdan gelen iki sayıyı ekledikten sonra: istek başına gönderdiğiniz token sayısı ve geri aldığınız token sayısı.

  1. Giriş fiyatı 1M token başına. Bu, sistem isteminizi, sohbet geçmişinizi ve yapıştırdığınız tüm belgeleri kapsar.
  2. 1M token başına çıkış fiyatı. Bu, modelin geri yazdığı her şeyi kapsar.
  3. İstek başına giriş boyutunuz, her dönüşte yeniden gönderilen geçmişi de içerir.
  4. İstek başına çıkış boyutunuz, cevapların ne kadar uzun çalışmasına izin verdiğinize bağlıdır.

İstek başına maliyet input_tokens x input_price / 1,000,000 + output_tokens x output_price / 1,000,000 şeklindedir. Bu makaledeki diğer tüm bilgiler bu satırın bir iyileştirmesidir.

Adım 1: Bir istek şekli yazın

Ürününüzün gerçekten gönderdiği üç veya dört istek türünü seçin. Bir destek botu, bir hikaye yazarı ve bir toplu sınıflandırıcı çok farklı şekillere sahiptir ve bir sağlayıcı birinde kazanırken diğerinde kaybedebilir.

ŞekilGiriş tokenlarıÇıktı tokenları
Kısa sohbet dönüşü1.500400
Uzun belge özeti50.0001.000
Sınıflandırıcı çağrısı30020
Uzun formatlı yazım8003.000

Henüz loglarınız yoksa, birkaç gerçek konuşma alın ve herhangi bir tokenizasyon aracıyla token sayısını yapın. Kabaca bir kural olarak bir token İngilizce için dört karaktere denk gelir, ancak kod ve İngilizce olmayan metinler daha yüksek değer verir. Kurala güvenmeden önce ölçüm yapın.

Adım 2: $0,15 ve $0,50 ile hesaplamayı yapın

Bu hizmet 1M giriş tokenı başına $0,15 ve 1M çıkış tokenı başına $0,50 ücretlendirir. Bu, 1.000 giriş tokenı başına $0,00015 ve 1.000 çıkış tokenı başına $0,0005 demektir. Yukarıdaki şekiller için uygulandığında:

ŞekilGiriş maliyetiÇıktı maliyetiİstek başına
Kısa sohbet dönüşü$0.000225$0.0002$0.000425
Uzun belge özeti$0.0075$0.0005$0,008
Sınıflandırıcı çağrısı$0,000045$0,00001$0,000055
Uzun formatlı yazım$0,00012$0,0015$0,00162

Paranın nereye gittiğine dikkat edin. Belge özetinde giriş, faturanın %94'ünü oluşturur. Uzun formatlı yazımda ise çıkış %93'tür. Ucuz giriş fiyatı ve pahalı çıkış fiyatına sahip bir sağlayıcı, ilk iş yükünde harika görünür ancak ikincide kötüdür. Bu nedenle tek bir "milyon başına fiyat" rakamı yanıltıcıdır.

Bunu bir aya ölçeklendirin. Günde 1.000 kısa dönüş gönderen bir sohbet uygulaması, 30 gün boyunca 45M giriş tokenı ($6,75) ve 12M çıkış tokenı ($6,00) gönderir; toplam $12,75 eder.

Adım 3: artan geçmişi hesaba katın

Sohbet API'leri durum bilgisi taşımaz. Her dönüşte sistem istemini ve her önceki mesajı yeniden gönderirsiniz, bu nedenle giriş konuşma uzunluğuyla birlikte büyürken, dönüş başına çıkış düz kalır.

1.000 tokenlık bir sistem istemi ile 10 dönüşlü bir konuşma alın. Her dönüş, kullanıcıdan yaklaşık 300 token ve modelden 200 token ekler; yani dönüş başına 500 token yeni geçmiş ekler. 1. dönüş 1.000 giriş tokenı gönderir, 2. dönüş 1.500 gönderir ve 10. dönüş 5.500 gönderir. 10 dönüş üzerindeki toplam 32.500 giriş tokenı ve toplam 2.000 çıkış tokenı eder.

input_tokens = sum(1000 + 500 * k for k in range(10))   # 32,500
output_tokens = 10 * 200                                # 2,000
cost = input_tokens * 0.15 / 1e6 + output_tokens * 0.50 / 1e6
print(round(cost, 6))   # 0.005875

Bu, tüm konuşma için $0,005875 eder. Sadece bir dönüşü on ile çarpsaydınız, girişi yarısından fazla eksik saymış olurdunuz. Geçmişi kısaltın, eski dönüşleri özetleyin veya sayı sizin için önemliyse pencereyi sınırlandırın. bir LLM API'si kullanma kılavuzu mesaj geçmişinin nasıl gönderildiğini kapsar.

Adım 4: fiyat etrafındaki kuralları kontrol edin

Aynı token fiyatlarına sahip iki sağlayıcı, hala faydalı bir cevap başına farklı maliyetlere sahip olabilir. Karar vermeden önce bunları kontrol edin:

  • Bağlam penceresi. Daha büyük bir pencere, parçalama işlemini atlamayı sağlar, ancak gönderdiğiniz her token için giriş fiyatını ödersiniz. Bu hizmet, istem ve tamamlama tarafından paylaşılan 100.000 tokenlık bir pencereye sahiptir.
  • Minimum satın alma. Burada $20 ile $500 arasında herhangi bir tam miktarı yükleyebilirsiniz. $20'lik minimum, yukarıdaki oranda yaklaşık 47.000 kısa sohbet dönüşü satın alır ($20 / $0,000425).
  • Son kullanma tarihi. Buradaki kredi hiç sona ermez. Bazı sağlayıcılar ön ödemeli bakiyeleri sona erdirebilir veya abonelik gerektirebilir, bu yüzden mevcut şartlarını kontrol edin.
  • Başarısız istekler. Başarısız veya reddedilen istekler burada ücretlendirilmez. Aynı ifadeyi başka yerlerde arayın.
  • Hız limitleri. Tam bir anahtar 8 eşzamanlı istek ve dakikada 300 istek izni verir. Düşük bir fiyat, toplu işinizin tamamlanamaması durumunda işe yaramaz.

Hacim bonusları da etkili fiyatı düşürür. $200 bakiye yüklemek +%15 bonus verir, böylece $230 kredi alırsınız ve etkili oranlarınız 1M başına yaklaşık $0,13 giriş ve $0,43 çıkış olur. $100 yükleme +%10, $50 yükleme +%5 bonus verir. Tam detaylar fiyatlandırma sayfasında yer alır.

En ucuz fiyat doğru seçim değilse

Token başına fiyat kaliteyi göz ardı eder. Doğru cevabı almak için iki deneme gerektiren bir model, her yararlı sonuç için iki kat daha pahalıya mal olur ve isteğinizi reddeden bir model, fatura sıfır olsa bile size zaman kaybettirir. Her aday için aynı 20 ila 50 gerçek istemi çalıştırın ve aslında göndereceğiniz cevap sayısını hesaplayın. Toplam harcamayı bu sayıya bölün.

Buradaki model, yasal yetişkin kullanımı için içerik reddi olmadan cevap vermeye göre ayarlanmış tek bir açık ağırlıklı modeldir. Bir yönlendirici değildir ve herhangi bir model satıcısının resmi API'si değildir. Göreviniz en güçlü mantığı gerektiriyorsa ve reddetmeler bir sorun değilse, başka bir sağlayıcıdan daha büyük bir model, daha yüksek token fiyatına rağmen kabul edilen bir cevap başına daha iyi maliyet verebilir. Mevcut fiyatlandırmalarını kontrol edin ve aynı şekilde test edin.

Sayıları kendiniz test etmenin hızlı bir yolu

Tahmin etmenize gerek yok. Her yanıt X-Balance-USD başlığını taşır ve API token kullanımını da bildirir, bu yüzden gerçek istemlerinizi gönderebilir ve gerçek maliyeti okuyabilirsiniz. Aşağıdaki Python kodu, bu hizmete karşı OpenAI SDK'sını kullanarak kullanım bloğunu yazdırır.

from openai import OpenAI

client = OpenAI(base_url="https://api.bestllmapi.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarize the pros and cons of prepaid API credit."}],
)
u = resp.usage
cost = u.prompt_tokens * 0.15 / 1e6 + u.completion_tokens * 0.50 / 1e6
print(u.prompt_tokens, u.completion_tokens, round(cost, 6))

Yeni hesaplar, API anahtarı sayfasında tek tıkla $0,50 değerinde ücretsiz deneme kredisi talep edebilir. 1.500 giriş / 400 çıkış şeklindeki bu kullanım, yaklaşık 1.170 isteği kapsar ve dürüst bir benchmark için yeterlidir. Ücretsiz bir katmanın size yeterli olup olmadığını görmek isterseniz, ücretsiz LLM API seçenekleri hakkında okuyun.

Herhangi bir ücretsiz katman için sorulacak sorular

Ücretsiz teklifler büyük ölçüde farklılık gösterir ve başlık genellikle önemli olanı söylemez. Birinin üzerine inşa etmeden önce bu soruları sorun ve cevapları sağlayıcının kendi belgelerinde bulun.

  • Hangi model bu? Bazı ücretsiz katmanlar, ücretli olanın daha küçük bir modelini kullanır. Zayıf bir modelde yapılan bir test, üretim hakkında çok şey söylemez.
  • Hız limitleri neler? Dakikada birkaç istek sınırı bir betik için iyidir ve birkaç kullanıcıya sahip bir sohbet uygulaması için kullanışsızdır.
  • Son kullanma tarihi var mı? Son kullanma tarihi olan tek seferlik bir hibe, tekrarlayan aylık bir haktan farklı bir şeydir.
  • İstemlerinizle ne olur? Veriler eğitim için kullanılıyorsa, özel bir şey yapıştırmayın. Burada istemler eğitim için kullanılmaz.
  • Ödemeli yol nasıl görünür? Ücretsizden ödemeliye geçiş bir hesap durumu değişikliği olmalı, bir yeniden yazma değil.

Açık ağırlıklı bir modeli kendi başınıza barındırmak ücretsiz yol olarak bazen önerilir. Yazılım ücretsiz olabilir, ancak yetenekli bir modeli çalıştırmak için ihtiyacınız olan GPU, saatlik kiralasanız da satın alsanız da ücretlidir. Küçük bir proje için aritmetik, yalnızca kullandığınız şey için ödeme yaptığınız ve boşta olduğunuzda hiçbir şey ödemediğiniz için token başına ödemeyi tercih eder.

Denemeyi bir test bütçesi olarak okumak

Deneme süresini ücretsiz bir ürün yerine bir test bütçesi olarak değerlendirmek faydalıdır. Bütçeyi sabit bir sırayla harcayın: önce bağlantıyı doğrulamak için birkaç düz istek, sonra çeşitli girdiler üzerinde gerçek isteminizi deneyin, ardından bir akış çalıştırması yapın ve son olarak modelin uzun bağlamı nasıl işlediğini görmek için kasıtlı olarak büyük bir istek gönderin. usage bloğundaki sayıları bir not defterinde tutun.

Bundan sonra ortalama giriş boyutunuzu, ortalama çıktı boyutunuzu ve görev başına gerçek maliyetinizi bilirsiniz. Beklediğiniz trafiğe çarpın ve tahminlere değil ölçümlere dayanan bir aylık rakama sahip olursunuz. Figür kabul edilebilirse, bir sonraki adım $20'lik bir bakiye yükleme yapmaktır. Değilse, birkaç sent karşılığında bunu öğrendiniz.

Deneme süresinden sonra: ödemeli kullanımı nasıl görürsünüz

Deneme biter veya sona erdiğinde, ön ödemeli kredi eklersiniz. $20 ile $500 arasında herhangi bir tam tutar işe yarar. Daha büyük yüklemeler bonus taşır: $50'den +%5, $100'den +%10, $200'den +%15. $100 yükleme $110 krediye dönüşür ve $200 $230'a dönüşür.

Kripto (TRC20 üzerinde USDT, Base üzerinde USDC) ile ödeme yapabilirsiniz. Abonelik ve aylık minimum yoktur. Kredi hiç sona ermez, bu nedenle yavaşça kullandığınız $20'lik bir yükleme boşa gitmez. Her yanıt, kendi kodunuzun bir gösterge paneli olmadan bakiyeyi izlemesini sağlayan X-Balance-USD başlığını içerir.

Başarısız veya reddedilen istekler için ücret alınmaz. Bir istek hata verirse, bunun için ödeme yapmazsınız. İstemler eğitim için kullanılmaz. Tam tablo için fiyatlandırma sayfasına bakın.

Krediyi uzun süre kullanmanın ucuz yolları

Triklere ihtiyacınız yok, sadece birkaç alışkanlık.

  1. Geçmişi kısaltın. Her şeyi yeniden göndermek yerine son N dönüşü ve daha eskilerinin kısa bir özetini tutun.
  2. Kısa yanıtların yeterli olduğu görevlerde max_tokens üst sınırı belirleyin. Burası isteğe bağlıdır, ancak çıktı tarafını (token başına daha pahalı olanı) sınırlar.
  3. JSON modu kullanın (response_format ile json_object) konuşkan girişler için ödeme yapmamak amacıyla çıkarma görevlerinde.
  4. Önce küçük girdilerle test yapın. İstemi on örnek üzerinde deneyin, on binini çalıştırmadan önce.
  5. Geri çekilme ile 429 hatalarını yönetin. Sıkı bir döngüde bir deneme anahtarında (2 eşzamanlı, dakikada 60) yeniden denemek kendi zamanınızı boşa harcar. Varsa Retry-After başlığını bekleyin.

Herhangi bir şey harcamadan önce seçenekleri karşılaştırıyorsanız, Hugging Face Inference API ile bu uç nokta arasındaki sayfası ilgili bir kararı ele alır.

Deneme süresini harcamak için ilk çağrı

İşte minimal bir istek. Anahtarınızı panonuzdaki ile değiştirin.

curl https://api.bestllmapi.com/v1/chat/completions \
  -H "Authorization: Bearer YOUR_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model": "uncensored", "messages": [{"role": "user", "content": "Say hello in five words."}]}'

Yanıt, istem ve tamamlama token sayıları içeren bir kullanım bloğu içerir. Bunları yukarıdaki fiyatlarla çarpın ve çağrının kesin maliyetini elde edersiniz. Bunu birkaç kez yaparsanız, kendi iş yükünüz hakkında bir fikir edineceksinizdir; bu, herhangi bir tahminden daha değerlidir. hızlı başlangıç dokümantasyonu akış, araçlar ve hata kodlarını kapsar.

Sorular ve cevaplar

Giriş fiyatını mı yoksa çıkış fiyatını mı karşılaştırmalıyım?

İkisi de, kendi iş yükünüze göre ağırlıklandırılır. Belge ağırlıklı işler giriş fiyatı tarafından, yazma ağırlıklı işler ise çıkış fiyatı tarafından belirlenir.

Satın almadan önce tokenları nasıl sayarım?

Gerçek istemlerin bir örneğini bir token ayırıcıdan geçirin veya bunları API'ye gönderin ve yanıtta bulunan kullanım bloğunu okuyun. Kullanım sayıları, faturalandırmanızın temelini oluşturur.

Başarısız istekler için burada ücretlendirilir misiniz?

Hayır. Başarısız veya reddedilen istekler bu hizmette ücretlendirilmez. Karşılaştırdığınız diğer sağlayıcıların şartlarını kontrol edin.

Abonelik var mı?

Hayır. Ön ödemeli krediden kullandıkça öde sistemiyle çalışılır ve kredi süresi dolmaz.

Anahtarınız tek bir formun uzağında

Bir hesap oluşturun, anahtarı kopyalayın, base URL'yi değiştirin. Kurulum bu kadar.

API anahtarı al