TR ▾
API anahtarı al

Best LLM API Kılavuz

Herhangi bir LLM API'si ücretsiz mi? Gerçekte ne alırsınız

İyi bir modeli uzun süre ücretsiz kullandıran barındırılan bir LLM API'si yoktur. Alabileceğiniz şey küçük bir ücretsiz hakediştir; asıl soru bununla ne kadar ileri gidebileceğinizdir.

Güncelleme:

Bir sunucuya token bloklarının akışını besleyen izometrik paralar, bir LLM API'si için ücretsiz deneme kredisini gösterir

Temel noktalar

  • Burada ücretsiz sınırsız bir katman yok. Yeni kullanıcılar 7 gün geçerli, kart gerektirmeyen $0.50'lık deneme alır.
  • 1M giriş için $0.15 ve 1M çıktı için $0.50 fiyatla, $0.50 yaklaşık 1.000 kısa sohbet dönüşünü karşılar.
  • Deneme süresinden sonra ön ödemeli krediden kullandıkça ödersiniz, başlangıç $20'dir ve kredi süresi dolmaz.
  • Başarısız veya reddedilen istekler için ücret alınmaz.

Kısa cevap

herhangi bir llm api ücretsiz arıyorsanız, büyük olasılıkla iki şeyden birini arıyorsunuz: bir fikri ödemeden test etmenin bir yolu veya bir şeyi ücretsiz olarak aylarca çalıştırmanın bir yolu. İlki gerçekçidir. İkincisi değildir ve bunu vaat eden herkes ya sizi ağır biçimde kısıtlar, istemlerinizi eğitim verisi olarak kullanır ya da daha sonra ücret talep etmeyi planlar.

Büyük bir dil modelini çalıştırmak GPU'lar ve elektrik için gerçek para demektir, bu nedenle her barındırılmış API üç biçimden birine bürünür: küçük bir ücretsiz hakediş, daha zayıf bir modelde hız limiti olan ücretsiz katman veya ödemeli kredi. Bu site ilk biçimi kullanır. Tek seferlik bir deneme alırsınız, ardından abonelik olmadan token başına ödeme yaparsınız.

Diğer sağlayıcılar kendi ücretsiz katmanlarını yönetir ve bunlar sık sık değişir. Onlar hakkında her şey için bir blog gönderisine güvenmek yerine, mevcut fiyatlandırma sayfalarını kontrol edin; bu yazı da dahil.

Denemenin kapsadığı özellikler

Google veya e-posta ve şifre ile kaydolduktan sonra, API anahtarı sayfası $0.50 deneme kredisi talep etmek için bir düğme gösterir. Tek tık, kart yok, kişi başı bir talep. Kredi 7 gün geçerlidir.

Deneme anahtarı bilinçli olarak tam anahtardan biraz daha sıkıdır:

  • Eşzamanlı 2 istek ve dakika başına 60 istek, tam anahtarda 8 ve 300'e karşılık gelir.
  • Aynı model, aynı uncensored model kimliği, aynı 100.000 token bağlam penceresi.
  • Akış, fonksiyon çağırma ve JSON modu çalışır.

Bu, basitleştirilmiş bir demo yerine, aslında oluşturmayı planladığınız şeyi test edebileceğiniz anlamına gelir. Uygulamanız uzun bir sistem isteminde veya bir araç çağrısında bozulursa, bunu deneme süresinde bulursunuz, ödemeden sonra değil. Bunu almak için API anahtarı sayfasına gidin.

$0,50 ile kaç token alınır

Fiyatlandırma 1M giriş tokeni başına $0.15 ve 1M çıktı tokeni başına $0.50'dir. Giriş, gönderdiğiniz şeydir (sistem istemi, geçmiş, mesajınız). Çıktı, modelin size yazdığı şeydir. Matematik basit bir bölmedir, işte tüm detaylar.

BütçeTamamen giriş iseTamamen çıktı ise
$0.50 deneme3.333.333 token1.000.000 token
$20 bakiye yükleme133.333.333 token40.000.000 token

Gerçek trafik bir karışımdır, bu nedenle çözülmüş bir örnek kullanın. 1.500 tokenlik bir istem (sistem mesajı ve kısa bir geçmiş) ve 500 tokenlik bir yanıt ile bir sohbet dönüşü şuna mal olur:

  • Girdi: 1.500 / 1.000.000 x $0,15 = $0,000225
  • Çıktı: 500 / 1.000.000 x $0.50 = $0.000250
  • Toplam: Dönüş başına $0.000475

$0.50'u $0.000475'e bölerseniz yaklaşık 1.052 dönüş elde edersiniz. Bu, deneme için çok fazla test demektir: bir istem yazmak, birkaç yüz test konuşması çalıştırmak ve modelin uç durumlarınızda nasıl davrandığını kontrol etmek için yeterlidir. Bir halka açık uygulamayı bir hafta boyunca çalıştırmak için yeterli değildir.

Ücretsiz kredinin gerçekten nerede bittiği

Kısa sohbet dönüşleri ucuzdur. Üç kalıp beklediğinizden daha hızlı kredi tüketir ve başlamadan önce bunları bilmek faydalıdır.

Her dönüşte büyüyen uzun istemler

Tüm geçmişi yeniden gönderen bir istemci, bu geçmişi her dönüşte öder. 20.000 tokenlik bir geçmiş ve 500 tokenlik bir yanıt ile 40. dönüşte, bir istek girdi için 20.000 / 1.000.000 x $0,15 = $0,003 ve çıktı için $0,00025 mal olur, yani $0,00325. Hala küçük, ancak yukarıdaki 1.500 tokenlik dönüşün maliyetinin neredeyse yedi katıdır. $0,50'lik bir deneme yaklaşık 153 böyle dönüşü karşılar.

Ajanlar ve araç döngüleri

Araç çağıran bir ajan, her kullanıcı görevi için birkaç istek yapar ve her biri artan bağlamı taşır. Bir görev ortalama 8.000 giriş tokeni ve 300 çıktı tokeni ile 6 çağrı alıyorsa, bu 48.000 giriş tokeni ($0.0072) ve 1.800 çıktı tokeni ($0.0009) eder, yani görev başına $0.0081. Deneme yaklaşık 61 böyle görevi karşılar.

Maksimum boyutlu istemler

Tam 100.000 tokenlik pencereyi girişle doldurmak, herhangi bir çıktıdan önce istek başına $0.015'e mal olur. Birkaç belge analizi çalıştırması için iyidir, ancak bir betik bunu bin kez döngüye sokarsa pahalıdır ($15).

Herhangi bir ücretsiz katman için sorulacak sorular

Ücretsiz teklifler büyük ölçüde farklılık gösterir ve başlık genellikle önemli olanı söylemez. Birinin üzerine inşa etmeden önce bu soruları sorun ve cevapları sağlayıcının kendi belgelerinde bulun.

  • Hangi model? Bazı ücretsiz katmanlar, ücretli olandan daha küçük bir model kullanır. Zayıf bir modelde yapılan bir test, üretim hakkında çok az şey söyler.
  • Hız limitleri neler? Dakikada birkaç istek sınırı bir betik için iyidir ve birkaç kullanıcıya sahip bir sohbet uygulaması için kullanışsızdır.
  • Süresi doluyor mu? Bir son tarihi olan tek seferlik bir hakediş, tekrarlayan aylık bir olandan farklı bir şeydir.
  • İstemlerinizle ne olur? Veriler eğitim için kullanılıyorsa, özel bir şey yapıştırmayın. Burada istemler eğitim için kullanılmaz.
  • Ödemeli yol nasıl görünür? Ücretsizden ödemeliye geçiş bir hesap durumu değişikliği olmalı, bir yeniden yazma değil.

Açık ağırlıklı bir modeli kendi başınıza barındırmak ücretsiz yol olarak bazen önerilir. Yazılım ücretsiz olabilir, ancak yetenekli bir modeli çalıştırmak için ihtiyacınız olan GPU, saatlik kiralasanız da satın alsanız da ücretlidir. Küçük bir proje için aritmetik, yalnızca kullandığınız şey için ödeme yaptığınız ve boşta olduğunuzda hiçbir şey ödemediğiniz için token başına ödemeyi tercih eder.

Denemeyi bir test bütçesi olarak okumak

Denemeyi ücretsiz bir ürün yerine bir test bütçesi olarak değerlendirmek faydalıdır. Sabit bir sırayla harcayın: önce bağlantıyı doğrulamak için az sayıda düz istek, sonra çeşitli girdiler üzerinde gerçek isteminiz, sonra bir akış çalıştırması ve ardından modelin uzun bağlamı nasıl işlediğini görmek için kasıtlı olarak büyük bir istem. usage bloğundaki sayıları bir notta tutun.

Bundan sonra ortalama giriş boyutunuzu, ortalama çıktı boyutunuzu ve görev başına gerçek maliyetinizi bilirsiniz. Beklediğiniz trafiğe çarpın ve ölçümlere dayanmayan tahminlere değil, ölçümlere dayanan bir aylık rakama sahip olursunuz. Rakam kabul edilebilirse, bir sonraki adım $20'lik bir bakiye yükleme yapmaktır. Değilse, birkaç sent karşılığında bunu öğrendiniz.

Deneme süresinden sonra: ödemeli kullanımı nasıl görürsünüz

Deneme bittiğinde veya süresi dolduğunda, ön ödemeli kredi eklersiniz. $20 ile $500 arasındaki herhangi bir tam miktar işe yarar. Daha büyük bakiye yükleme işlemleri bonus taşır: $50'den +%5, $100'den +%10, $200'den +%15. $100'lük bir bakiye yükleme $110 krediye dönüşür ve $200 $230'a dönüşür.

Kripto (TRC20 üzerinde USDT, Base üzerinde USDC) ile ödeme yapabilirsiniz. Abonelik ve aylık minimum yoktur. Kredi hiç sona ermez, bu nedenle yavaşça kullandığınız $20'lik bir yükleme boşa gitmez. Her yanıt, kendi kodunuzun bir gösterge paneli olmadan bakiyeyi izlemesini sağlayan X-Balance-USD başlığını içerir.

Başarısız veya reddedilen istekler için ücret alınmaz. Bir istek hata verirse, bunun için ödeme yapmazsınız. İstemler eğitim için kullanılmaz. Tam tablo için fiyatlandırma sayfasına bakın.

Krediyi uzun süre kullanmanın ucuz yolları

Triklere ihtiyacınız yok, sadece birkaç alışkanlık.

  1. Geçmişi kısaltın. Her şeyi yeniden göndermek yerine son N dönüşü ve daha eskilerinin kısa bir özetini tutun.
  2. Kısa yanıtların yeterli olduğu görevlerde bir max_tokens üst sınırını belirleyin. Bu burada isteğe bağlıdır, ancak çıktı tarafını, token başına daha pahalı olanı, sınırlar.
  3. JSON modunu (response_format ile json_object) ayıklama görevleri için kullanın böylece konuşkan giriş metinleri için ödeme yapmazsınız.
  4. Önce küçük girdilerle test yapın. On bin istek göndermeden önce istemi on örnek üzerinde kanıtlayın.
  5. 429 hatalarını backoff ile yönetin. Bir deneme anahtarında (eşzamanlı 2, dakika başına 60) sıkı bir döngüde yeniden denemek kendi zamanınızı boşa harcar. Retry-After başlığı varsa bekleyin.

Herhangi bir şey harcamadan önce seçenekleri karşılaştırıyorsanız, Hugging Face Inference API ile bu uç nokta arasındaki sayfası ilgili bir kararı ele alır.

Deneme süresini harcamak için ilk çağrı

İşte minimal bir istek. Anahtarınızı kontrol panelinizdeki anahtarla değiştirin.

curl https://api.bestllmapi.com/v1/chat/completions \
  -H "Authorization: Bearer YOUR_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model": "uncensored", "messages": [{"role": "user", "content": "Say hello in five words."}]}'

Yanıt, istem ve tamamlama token sayıları içeren bir kullanım bloğu içerir. Bunları yukarıdaki fiyatlarla çarpın ve çağrının tam maliyetine sahip olursunuz. Bunu birkaç kez yaparsanız, kendi iş yükünüz hakkında bir fikir edineceksiniz, bu herhangi bir tahminden daha değerlidir. hızlı başlangıç dokümanları akış, araçlar ve hata kodlarını kapsar.

Sorular ve cevaplar

Sınırsız ücretsiz bir LLM API'si var mı?

Burada değil ve uzun süre kendi GPU maliyetlerini karşılayan herhangi bir yerde değil. 7 gün geçerli bir $0,50 deneme kredisi alırsınız, ardından $20'den başlayan ön ödemeli kredi.

Deneme süresi için kredi kartı gerekli mi?

Hayır. Google veya e-posta ve şifre ile kayıttan sonra, API anahtarı sayfasında tek tıkla $0,50'yi talep edersiniz. Kişi başı bir tane.

$0,50 ile kaç istek yapılabilir?

1.500 token'lık bir istem ve 500 token'lık bir yanıt için yaklaşık 1.052 istek. Daha uzun istemler veya ajan döngüleri bunu daha hızlı tüketir.

Başarısız istekler için ücretlendirilir miyim?

Hayır. Başarısız veya reddedilen istekler için ücret alınmaz ve kullanılmayan kredi süresi dolmaz.

Anahtarınız tek bir formun uzağında

Bir hesap oluşturun, anahtarı kopyalayın ve base URL'yi değiştirin. Kurulum bu kadar basit.

API anahtarı al