PL ▾
Pobierz klucz API

Best LLM API Przewodnik

Porównanie cen LLM API: Jak porównywać uczciwie

Porównanie cen LLM API działa tylko wtedy, gdy każdy dostawca jest wyceniany na tym samym obciążeniu, a nie na tej samej liczbie z nagłówka. Ten artykuł podaje krótką metodę, a następnie przeprowadza ją przy $0,15 za 1M tokenów input i $0,50 za 1M tokenów output.

Aktualizacja:

Waga równowagi z kupami świecących sześcianów, reprezentująca koszty tokenów input i output
Izometryczne monety zasypujące strumień bloków tokenów do serwera, ilustrujące darmowy kredyt próbny do API LLM

Kluczowe punkty

  • Wyceniaj rzeczywisty kształt zapytania (tokeny input, tokeny output, tury), a nie nagłówkową cenę za milion.
  • Tokeny output zwykle kosztują więcej niż tokeny input, więc rozmowne obciążenie zmienia ranking.
  • Minimalne doładowania, wygaśnięcie i rozliczanie nieudanych zapytań zmieniają to, co kupuje dolar.
  • Przy cenie $0,15 input i $0,50 output, zapytanie z 1500 tokenami wejściowymi i 400 wyjściowymi kosztuje $0,000425.

Cztery liczby ukryte w każdej liście cen

Większość stron z cenami pokazuje dwie wartości: dolary za milion tokenów wejściowych i dolary za milion tokenów wyjściowych. Te dwie liczby wystarczają do porównania dostawców, ale dopiero po dodaniu dwóch kolejnych, które pochodzą z Twojej aplikacji: ile tokenów wysyłasz w jednym zapytaniu i ile zwraca Ci system.

  1. Cena za tokeny wejściowe za 1M tokenów. Obejmuje Twój prompt systemowy, historię czatu i dowolne dokumenty, które wklejasz.
  2. Cena za tokeny wyjściowe za 1M tokenów. Obejmuje wszystko, co model pisze z powrotem.
  3. Twój rozmiar danych wejściowych na zapytanie, wliczając historię, która jest ponownie wysyłana w każdej turze.
  4. Twój rozmiar danych wyjściowych na zapytanie, który zależy od tego, jak długo pozwalasz na generowanie odpowiedzi.

Koszt na zapytanie to input_tokens x input_price / 1,000,000 + output_tokens x output_price / 1,000,000. Wszystko inne w tym artykule to ulepszenie tej linii.

Krok 1: zapisz kształt zapytania

Wybierz trzy lub cztery typy zapytań, które faktycznie wysyła Twój produkt. Bot wsparcia, generator opowiadań i klasyfikator wsadowy mają bardzo różne kształty, a dostawca, który wygrywa na jednym, może przegrać na drugim.

ScenariuszTokeny wejścioweTokeny wyjściowe
Krótka tura czatu1,500400
Podsumowanie długiego dokumentu50,0001 000
Wywołanie klasyfikatora30020
Pisanie długich tekstów8003 000

Jeśli jeszcze nie masz logów, weź kilka prawdziwych rozmów i policz tokeny dowolnym tokenizatorem. Przybliżona zasada mówi, że jeden token to około cztery znaki angielskiego, ale kod i teksty nieangielskie zużywają więcej. Zmierz przed zaufaniem do tej reguły.

Krok 2: wykonaj obliczenia przy $0,15 i $0,50

Ta usługa pobiera $0,15 za 1M tokenów input i $0,50 za 1M tokenów output. To $0,00015 za 1000 tokenów input i $0,0005 za 1000 tokenów output. Zastosowane do powyższych kształtów:

ScenariuszKoszt tokenów wejściowychKoszt tokenów wyjściowychZa zapytanie
Krótka tura czatu$0,000225$0,0002$0,000425
Podsumowanie długiego dokumentu$0,0075$0,0005$0,008
Wywołanie klasyfikatora$0,000045$0,00001$0,000055
Pisanie długich tekstów$0,00012$0,0015$0,00162

Zwróć uwagę, gdzie idą pieniądze. W podsumowaniu dokumentów dane wejściowe stanowią 94% rachunku. Przy pisaniu tekstów długich dane wyjściowe stanowią 93%. Dostawca z tanim kosztem danych wejściowych i drogim kosztem danych wyjściowych wygląda świetnie przy pierwszym zadaniu, a słabo przy drugim. Dlatego pojedyncza liczba „cena za milion” myli.

Skaluj to na miesiąc. Aplikacja czatu, która wysyła 1000 krótkich tur dziennie przez 30 dni, wysyła 45M tokenów input ($6,75) i 12M tokenów output ($6,00), łącznie $12,75.

Krok 3: uwzględnij historię, która rośnie

API czatu są bezstanowe. Każdą turę ponownie wysyłasz prompt systemowy i każdą wcześniejszą wiadomość, więc dane wejściowe rosną wraz z długością rozmowy, podczas gdy dane wyjściowe na turę pozostają stałe.

Weź rozmowę 10-tur z 1000-tokenowym promptem systemowym. Każda tura dodaje około 300 tokenów od użytkownika i 200 od modelu, czyli 500 tokenów nowej historii na turę. Tura 1 wysyła 1000 tokenów wejściowych, tura 2 wysyła 1500, a tura 10 wysyła 5500. Suma przez 10 tur to 32500 tokenów wejściowych, plus 2000 tokenów wyjściowych łącznie.

input_tokens = sum(1000 + 500 * k for k in range(10))   # 32,500
output_tokens = 10 * 200                                # 2,000
cost = input_tokens * 0.15 / 1e6 + output_tokens * 0.50 / 1e6
print(round(cost, 6))   # 0.005875

To $0.005875 za całą rozmowę. Gdybyś tylko pomnożył jedną turę przez dziesięć, niedoszacowałbyś danych wejściowych o więcej niż połowę. Ogranicz historię, podsumuj stare tury lub ogranicz okno, jeśli liczba ma dla Ciebie znaczenie. przewodnik po używaniu LLM API omawia, jak wysyłana jest historia wiadomości.

Krok 4: sprawdź zasady dotyczące ceny

Dwóch dostawców z takimi samymi cenami tokenów nadal może kosztować różnie za użyteczną odpowiedź. Sprawdź to przed decyzją:

  • Okno kontekstu. Większe okno pozwala pominąć chunking, ale płacisz cenę danych wejściowych za każdy wysłany token. Ta usługa ma okno 100 000 tokenów dzielone między prompt a odpowiedź.
  • Minimalny zakup. Tutaj doładowujesz dowolną kwotę całkowitą od $20 do $500. Minimalna kwota $20 kupuje około 47,000 krótkich tur czatu po powyższej stawce ($20 / $0.000425).
  • Wygaśnięcie. Kredyt tutaj nigdy nie wygasa. Niektórzy dostawcy wygaszają salda przedpłacone lub wymagają subskrypcji, więc sprawdź ich aktualne warunki.
  • Nieudane zapytania. Nieudane lub odrzucone zapytania nie są tutaj rozliczane. Szukaj tego samego stwierdzenia gdzie indziej.
  • Limity szybkości. Pełny klucz pozwala na 8 równoległych zapytań i 300 na minutę. Tania cena nie jest użyteczna, jeśli Twoje zadanie wsadowe nie może się ukończyć.

Dodatkowe rabaty za wolumen obniżają również efektywną cenę. Doładowanie za $200 daje +15%, więc otrzymujesz $230 kredytu, a efektywne stawki spadają do około $0,13 za wejście i $0,43 za wyjście na 1M tokenów. Doładowanie za $100 daje +10%, a za $50 daje +5%. Pełne szczegóły znajdziesz na stronie z cenami.

Kiedy najniższa cena nie jest właściwym wyborem

Cena za token ignoruje jakość. Model, który potrzebuje dwóch prób, aby uzyskać poprawną odpowiedź, kosztuje dwa razy więcej za użyteczny wynik, a model, który odrzuca Twoje zapytanie, kosztuje Cię czas, nawet gdy rachunek wynosi zero. Uruchom te same 20 do 50 prawdziwych promptów przez każdego kandydata i policz, ile odpowiedzi faktycznie wyślesz. Podziel całkowite wydatki przez tę liczbę.

Model tutaj to pojedynczy model o otwartych wagach dostrojony do odpowiadania bez odrzuceń treści dla prawnego użytku dorosłego. Nie jest to router i nie jest oficjalnym API żadnego dostawcy modeli. Jeśli Twoje zadanie wymaga najsilniejszego dostępnego rozumowania, a odrzucenia nie są problemem, większy model od innego dostawcy może dać lepszy koszt na przyjętą odpowiedź nawet przy wyższej cenie tokenów. Sprawdź ich aktualne ceny i przetestuj w ten sam sposób.

Szybki sposób na samodzielne przetestowanie liczb

Nie musisz zgadywać. Każda odpowiedź zawiera nagłówek X-Balance-USD, a API raportuje również zużycie tokenów, więc możesz wysłać swoje prawdziwe prompty i odczytać rzeczywisty koszt. Poniższy kod Pythona używa SDK OpenAI do tego serwisu i wypisuje blok zużycia.

from openai import OpenAI

client = OpenAI(base_url="https://api.bestllmapi.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarize the pros and cons of prepaid API credit."}],
)
u = resp.usage
cost = u.prompt_tokens * 0.15 / 1e6 + u.completion_tokens * 0.50 / 1e6
print(u.prompt_tokens, u.completion_tokens, round(cost, 6))

Nowe konta mogą zebrać $0,50 darmowego kredytu próbnego jednym kliknięciem na stronie kluczy API. Przy 1500 tokenach wejściowych i 400 wyjściowych pokrywa to około 1170 zapytań, co wystarcza do uczciwego benchmarku. Jeśli chcesz najpierw zobaczyć, czy darmowy tier wystarczy dla Ciebie, przeczytaj o opcjach darmowych API LLM.

Pytania do zadania o dowolnej darmowej warstwie

Darmowe oferty różnią się znacznie, a nagłówek rzadko mówi o tym, co istotne. Zanim zbudujesz coś na jednej z nich, zadaj te pytania i znajdź odpowiedzi we własnej dokumentacji dostawcy.

  • Jaki to model? Niektóre darmowe plany używają mniejszego modelu niż płatny. Test na słabym modelu mówi Ci mało o produkcji.
  • Jakie są limity zapytań? Limit kilku zapytań na minutę jest OK dla skryptu i bezużyteczny dla aplikacji czatu z kilkoma użytkownikami.
  • Czy wygasa? Jednorazowa kwota z terminem to inna rzecz niż cykliczne miesięczne.
  • Co się dzieje z Twoimi promptami? Jeśli dane są używane do trenowania, nie wklejaj tam nic prywatnego. Tutaj prompty nie są używane do trenowania.
  • Jak wygląda ścieżka płatna? Przejście z darmowego na płatne powinno być zmianą stanu konta, a nie przepisywaniem.

Samodzielne hostowanie modelu o otwartych wagach jest czasem sugerowane jako darmowa ścieżka. Oprogramowanie może nic nie kosztować, ale GPU potrzebne do uruchomienia zdolnego modelu kosztuje, czy wynajmujesz go na godzinę, czy kupujesz. Dla małego projektu matematyka zwykle faworyzuje płacenie za token, ponieważ płacisz tylko za to, czego używasz i nic w stanie bezczynności.

Traktowanie kredytu próbnego jako budżetu testowego

Warto traktować kredyt próbny jako budżet testowy, a nie jako darmowy produkt. Wydaj go w ustalonej kolejności: najpierw garstkę zwykłych zapytań, aby potwierdzić połączenie, potem swój prawdziwy prompt na dziesięciu zróżnicowanych danych wejściowych, następnie strumieniowanie, a na końcu jedno celowo duże zapytanie, aby sprawdzić, jak model radzi sobie z długim kontekstem. Zapisz liczby z bloku usage w notatce.

Po tym znasz swój średni rozmiar wejścia, średni rozmiar wyjścia i swój rzeczywisty koszt zadania. Pomnóż przez ruch, którego się spodziewasz, i otrzymasz miesięczną kwotę opartą na pomiarach, a nie domysłach. Jeśli kwota jest akceptowalna, kolejnym krokiem jest doładowanie za $20. Jeśli nie, nauczyłeś się tego za kilka centów.

Po zakończeniu okresu próbnego: jak wygląda płatność

Kiedy próba się skończy lub wygaśnie, dodajesz przedpłacony kredyt. Działa dowolna kwota całkowita od $20 do $500. Większe doładowania niosą bonus: +5% od $50, +10% od $100, +15% od $200. Doładowanie $100 staje się $110 kredytu, a $200 staje się $230.

Możesz zapłacić kryptowalutami (USDT na TRC20, USDC na Base). Nie ma subskrypcji ani miesięcznego minimum. Kredyt nie wygasa, więc doładowanie za $20, które wykorzystujesz powoli, nie marnuje się. Każda odpowiedź zawiera nagłówek X-Balance-USD, który pozwala Twojemu kodowi śledzić stan konta bez konieczności korzystania z panelu.

Zapytania nieudane lub odrzucone nie są rozliczane. Jeśli zapytanie zwróci błąd, nie płacisz za nie. Prompty nie są używane do trenowania. Pełną tabelę cen znajdziesz na cenniku.

Tanie sposoby na wydłużenie kredytu

Nie potrzebujesz sztuczek, tylko kilku nawyków.

  1. Ogranicz historię. Zachowaj ostatnie N tur plus krótkie podsumowanie starszych zamiast ponownego wysyłania wszystkiego.
  2. Ustal limit max_tokens dla zadań, w których wystarczają krótkie odpowiedzi. Jest to opcjonalne, ale ogranicza stronę wyjściową, która jest droższa w przeliczeniu na token.
  3. Użyj trybu JSON (response_format z json_object) w zadaniach ekstrakcji, aby nie płacić za gadatliwe preambuły.
  4. Przetestuj najpierw małymi inputami. Udowodnij prompt na dziesięciu przykładach, zanim uruchomisz dziesięć tysięcy.
  5. Obsługuj błędy 429 z backoffem. Ponawianie w ścisłej pętli przy kluczu próbnym (2 równoległe, 60 na minutę) marnuje Twój czas. Poczekaj na nagłówek Retry-After, gdy jest dostępny.

Jeśli porównujesz opcje przed wydaniem jakichkolwiek środków, strona porównania Hugging Face Inference API z tym endpointem omawia pokrewne decyzje.

Pierwsze zapytanie, aby wykorzystać kredyt próbny

Oto minimalne zapytanie. Zastąp klucz tym z Twojego panelu.

curl https://api.bestllmapi.com/v1/chat/completions \
  -H "Authorization: Bearer YOUR_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model": "uncensored", "messages": [{"role": "user", "content": "Say hello in five words."}]}'

W odpowiedzi znajduje się blok użycia z liczbą tokenów w prompcie i uzupełnienia. Pomnóż je przez ceny powyżej i otrzymasz dokładny koszt zapytania. Powtórz to kilka razy i zyskasz wyczucie własnego obciążenia, które jest warte więcej niż dowolna estymacja. Dokumentacja quickstart obejmuje strumieniowanie, narzędzia i kody błędów.

Pytania i odpowiedzi

Czy porównać cenę wejścia, czy wyjścia?

Obie, ważone według własnego obciążenia. Zadania wymagające dużej ilości dokumentów są zdominowane przez cenę wejścia, a zadania wymagające generowania tekstu – przez cenę wyjścia.

Jak policzyć tokeny przed zakupem?

Uruchom próbkę rzeczywistych promptów przez tokenizator lub wyślij je do API i odczytaj blok użycia w odpowiedzi. To właśnie na podstawie tych liczb naliczane są opłaty.

Czy nieudane zapytania kosztują tutaj pieniądze?

Nie. Nieudane lub odrzucone zapytania nie są rozliczane w tej usłudze. Sprawdź warunki dowolnego innego dostawcy, z którym porównujesz.

Czy jest subskrypcja?

Nie. Płacisz za zużycie z przedpłaconego kredytu, a kredyt nigdy nie wygasa.

Twój klucz jest o jeden formularz dalej

Utwórz konto, skopiuj klucz, zmień endpoint. To cała konfiguracja.

Pobierz klucz API