Best LLM API Przewodnik
Najtańsze API LLM do kodowania: koszt na pull request
Najtańsze API LLM do kodowania to to z najniższym kosztem na zaakceptowaną zmianę, a nie najniższą linią na stronie cen. Poniżej szacunki tokenów dla typowych zadań kodowania, wycenione na $0,15 za 1 mln tokenów wejściowych i $0,50 za 1 mln tokenów wyjściowych.
Aktualizacja:


Kluczowe punkty
- Autouzupełnianie jest tanie na wywołanie, ale częste; pętla agenta ponownie odczytuje bazę kodu i kosztuje znacznie więcej na zadanie.
- Przejrzany pull request z promptem 10 000 tokenów kosztuje około $0,0021 przy tych stawkach.
- Jedno uruchomienie agenta z 15 krokami, około 375 000 tokenów wejściowych, kosztuje około $0,06.
- Tani model ogólny dobrze sprawdza się w rutynowej pracy; trudne debugowanie może uzasadnić użycie mocniejszego modelu.
Obciążenia kodowania to głównie tokeny wejściowe
Zadania kodowe mają asymetryczny kształt. Wysyłasz dużo kontekstu (plik, diff, błąd, otaczające moduły) i otrzymujesz krótki patch lub krótki komentarz. Wejście to zwykle 70–95 procent tokenów, co sprawia, że cena wejścia jest najważniejsza dla kodowania.
Po $0,15 za 1 mln tokenów wejściowych, prompt 10 000 tokenów kosztuje $0,0015. Po $0,50 za 1 mln tokenów wyjściowych, odpowiedź 1 000 tokenów kosztuje $0,0005. Asystent kodujący, który dużo czyta i mało pisze, wyda większość budżetu na czytanie. Wyjątkiem jest pełne nadpisanie pliku, gdzie wyjście jest tak duże jak plik.
To też wyjaśnia, dlaczego cena strony wyjściowej jest łatwa do przecenienia w kodowaniu. Jeśli narzędzie żąda wyjaśnień przy każdym patchu, wyjście rośnie i proporcja się zmienia, więc zdecyduj wcześniej, czy chcesz tylko kod, czy kod z rozumowaniem, i ustaw prompt systemowy tak, aby mu odpowiadał. Linia typu „zwróć tylko unified diff” to darmowa oszczędność.
Cztery zadania, wycenione jedno po drugim
Poniższe liczby to szacunki, które możesz zastąpić własnymi. Zmierz kilka prawdziwych promptów tokenizatorem przed zaplanowaniem budżetu.
| Zadanie | Wejście | Wyjście | Koszt na wywołanie |
|---|---|---|---|
| Autouzupełnianie inline | 800 | 60 | $0,00015 |
| Przegląd pull requesta | 10 000 | 1 200 | $0,0021 |
| Refaktoryzuj jeden plik o rozmiarze 8 000 tokenów | 8 500 | 8 000 | $0,005275 |
| Uruchomienie agenta, 15 kroków | 375 000 | 12 000 | $0,06225 |
Obliczenia dla wiersza z recenzją: 10 000 x 0,15 / 1M = $0,0015, plus 1 200 x 0,50 / 1M = $0,0006, razem $0,0021. Dla refaktoryzacji: $0,001275 za tokeny wejściowe plus $0,004 za tokeny wyjściowe. Zauważ, że refaktoryzacja wydaje trzy czwarte kosztu na tokeny wyjściowe, ponieważ model przepisuje cały plik.
Warto obserwować wiersz agenta. Agent, który czyta pliki, uruchamia testy i ponawia działania, wysyła ponownie rosnący kontekst na każdym kroku. Piętnaście kroków ze średnio 25 000 tokenami wejściowymi daje łącznie 375 000 tokenów wejściowych, co kosztuje $0,05625, plus $0,006 za 12 000 tokenów wyjściowych.
Jak wygląda miesiąc dla jednego developera
Załóżmy, że developer pracuje 22 dni w miesiącu i wykonuje następujące czynności każdego miesiąca: 600 wywołań autouzupełniania dziennie, 40 przeglądów pull requestów, 40 uruchomień agenta i 20 refaktoryzacji pojedynczych plików.
- Autouzupełnianie: 13 200 wywołań x $0,00015 = $1,98
- Przeglądy: 40 x $0,0021 = $0,084
- Uruchomienia agenta: 40 x $0,06225 = $2,49
- Refaktoryzacje: 20 x $0,005275 = $0,1055
Łącznie wychodzi około $4,66 na programistę miesięcznie. Zespół dziesięciu osób to około $47. Nawet jeśli szacunki różnią się trzykrotnie, rachunek nie przekracza $15 na osobę. Możesz sprawdzić stawki i bonusy za doładowanie na stronie z cenami; doładowanie o $100 daje 10% bonusu, czyli $110 kredytu.
Słabym punktem nie jest rachunek, ale limity. Pełny klucz pozwala na 300 zapytań na minutę i 8 równoległych zapytań. Edytor, który wysyła zapytanie przy każdej pauzie w pisaniu, może szybko osiągnąć ten limit, jeśli cały zespół dzieli jeden klucz. Przydziel każdemu osobny klucz lub oddebouncuj autouzupełnianie.
Podłącz go do edytora lub skryptu
API jest zgodne z OpenAI, więc każde narzędzie akceptujące niestandardowy bazowy URL i klucz może go używać. Wiele rozszerzeń edytorów i agentów CLI ma te dwa ustawienia. Ustaw bazowy URL na https://api.bestllmapi.com/v1, model na uncensored i wklej swój klucz.
Dla skryptu, który przegląda diff i wypisuje koszt, użyj Python SDK OpenAI:
import subprocess
from openai import OpenAI
client = OpenAI(base_url="https://api.bestllmapi.com/v1", api_key="YOUR_KEY")
diff = subprocess.run(["git", "diff", "main...HEAD"], capture_output=True, text=True).stdout
resp = client.chat.completions.create(
model="uncensored",
messages=[
{"role": "system", "content": "You are a strict code reviewer. List bugs first, then style notes."},
{"role": "user", "content": diff},
],
temperature=0.2,
)
print(resp.choices[0].message.content)
u = resp.usage
print("cost: $%.6f" % (u.prompt_tokens * 0.15 / 1e6 + u.completion_tokens * 0.50 / 1e6))
Ustaw temperature na niską wartość przy pracy nad recenzją i refaktoryzacją. Dokumentacja API wymienia parametry przekazywane dalej, w tym seed, który pomaga, gdy potrzebujesz powtarzalnych wyników w CI.
Sposoby na utrzymanie niskiego rachunku za kodowanie
- Wysyłaj diffy, nie całe repozytoria. Powyższy przegląd zużywa 10 000 tokenów, ponieważ wysyła diff wraz z pewnym kontekstem.
- Ogranicz kroki agenta. Pętla, która nigdy się nie zatrzymuje, jest najczęstszą przyczyną niespodziewanych rachunków. Zatrzymaj się po ustalonej liczbie kroków.
- Ogranicz wyjścia narzędzi. Dziennik testów z 5 000 liniami jest wklejany do każdego kolejnego kroku. Zachowaj tylko linie, które nie przeszły testów.
- Proś o patche. Żądanie unified diff zamiast pełnego pliku zmniejsza wyjście w przykładzie refaktoryzacji o około 90 procent, gdy zmiana jest mała.
- Użyj trybu JSON dla strukturalnego wyjścia.
response_formatzjson_objectunika pętli ponownych prób spowodowanych niepoprawnymi odpowiedziami.
Nieudane lub odrzucone zapytania nie są rozliczane, więc zapytanie, które zwraca błąd, nic nie kosztuje.
Kiedy tańszy model nie jest odpowiednim wyborem
To jest jeden ogólny model o otwartych wagach dostrojony do odpowiadania bez odmów treści dla prawnego użytku przez osoby dorosłe. Nie jest to model specjalistyczny do kodowania i nie jest oficjalnym API żadnego dostawcy. Do rutynowych zadań, takich jak szablony, testy, docstringi, drobne refaktoryzacje i komentarze do przeglądu, jest rozsądną opcją o niskim koszcie. Do głębokiego debugowania w nieznanej bazie kodu lub dużych zmianach architektonicznych silniejszy model może zaoszczędzić więcej czasu programisty niż kosztuje w tokenach.
Sposób na podjęcie decyzji to uruchomienie 20 rzeczywistych zadań z Twojego backlogu przez każdego kandydata, policzenie patchy, które połączyłbyś, i podzielenie kosztów przez tę liczbę. Kredyt próbny za $0,50, dostępny na stronie klucza API po zalogowaniu się, pokryje kilka setek recenzji przy powyższych stawkach, co jest wystarczające do tego testu. Inni dostawcy ustalają własne ceny, więc sprawdź ich aktualne cenniki. Podstawy konfiguracji znajdziesz w przewodniku po użyciu API LLM.
Więcej przewodników
Pytania, które warto zadać o dowolnej darmowej warstwie
Darmowe oferty różnią się znacznie, a nagłówek rzadko mówi o tym, co istotne. Zanim zbudujesz coś na jednej z nich, zadaj te pytania i znajdź odpowiedzi we własnej dokumentacji dostawcy.
- Jaki to model? Niektóre darmowe warstwy używają mniejszego modelu niż płatny. Test na słabszym modelu niewiele mówi o wersji produkcyjnej.
- Jakie są limity zapytań? Limit kilku zapytań na minutę jest wystarczający dla skryptu, ale bezużyteczny dla aplikacji czatu z kilkoma użytkownikami.
- Czy wygasa? Jednorazowy limit z terminem to coś innego niż cykliczny miesięczny limit.
- Co się dzieje z Twoimi promptami? Jeśli dane są używane do trenowania, nie wklejaj tam nic prywatnego. Tutaj prompty nie są używane do trenowania.
- Jak wygląda ścieżka płatna? Przejście z darmowej na płatną powinno być zmianą stanu konta, a nie przepisaniem.
Samodzielne hostowanie modelu o otwartych wagach jest czasem sugerowane jako darmowa opcja. Oprogramowanie może być za darmo, ale GPU potrzebne do uruchomienia wydajnego modelu kosztuje, niezależnie od tego, czy wynajmujesz je godzinowo, czy kupujesz. W przypadku małego projektu rachunek zwykle opłaca się płacić za tokeny, ponieważ płacisz tylko za to, czego używasz, a w stanie spoczynku nie ponosisz żadnych kosztów.
Traktowanie kredytu próbnego jako budżetu testowego
Warto traktować kredyt próbny jako budżet testowy, a nie jako darmowy produkt. Wydaj go w ustalonej kolejności: najpierw kilka zwykłych zapytań, aby potwierdzić połączenie, potem swój prawdziwy prompt na dziesięciu zróżnicowanych danych wejściowych, następnie strumieniowanie, a na końcu jedno celowo duże zapytanie, aby sprawdzić, jak model radzi sobie z długim kontekstem. Zapisz liczby z bloku usage w notatce.
Po tym znasz swój średni rozmiar wejścia, średni rozmiar wyjścia i swój rzeczywisty koszt zadania. Pomnóż przez ruch, którego się spodziewasz, i otrzymasz miesięczną kwotę opartą na pomiarach, a nie domysłach. Jeśli kwota jest akceptowalna, kolejnym krokiem jest doładowanie za $20. Jeśli nie, nauczyłeś się tego za kilka centów.
Po zakończeniu okresu próbnego: jak wygląda płatność
Kiedy kredyt próbny się skończy lub wygaśnie, dodajesz przedpłacony kredyt. Działa dowolna kwota całkowita od $20 do $500. Większe doładowania mają bonus: +5% od $50, +10% od $100, +15% od $200. Doładowanie $100 staje się $110 kredytu, a $200 staje się $230.
Możesz zapłacić kryptowalutami (USDT w sieci TRC20, USDC na Base). Nie ma subskrypcji ani miesięcznego minimum. Kredyt nie wygasa, więc doładowanie za $20, które wykorzystujesz powoli, nie marnuje się. Każda odpowiedź zawiera nagłówek X-Balance-USD, który pozwala Twojemu kodowi śledzić stan konta bez konieczności korzystania z panelu.
Zapytania nieudane lub odrzucone nie są rozliczane. Jeśli zapytanie zwróci błąd, nie płacisz za nie. Prompty nie są używane do trenowania modeli. Pełną tabelę cen znajdziesz w cenniku.
Tanie sposoby na wydłużenie kredytu
Nie potrzebujesz sztuczek, tylko kilku nawyków.
- Ogranicz historię. Zostaw ostatnie N rozmów plus krótkie podsumowanie starszych zamiast wysyłania wszystkiego ponownie.
- Ustaw limit
max_tokensw zadaniach, gdzie wystarczają krótkie odpowiedzi. Jest to opcjonalne, ale ogranicza stronę wyjściową, która jest droższa na token. - Użyj trybu JSON (
response_formatzjson_object) dla zadań ekstrakcji, aby nie płacić za gadatliwe wstępy. - Testuj najpierw na małych danych wejściowych. Sprawdź prompt na dziesięciu przykładach, zanim uruchomisz dziesięć tysięcy.
- Obsługuj 429 z backoffem. Ponawianie w ścisłej pętli na kluczu próbnym (2 równoległe, 60 na minutę) marnuje Twój własny czas. Czekaj na nagłówek
Retry-After, gdy jest dostępny.
Jeśli porównujesz opcje przed wydaniem jakichkolwiek środków, strona Hugging Face Inference API vs. ten endpoint omawia pokrewną decyzję.
Pierwsze zapytanie, aby wykorzystać kredyt próbny
Oto minimalne zapytanie. Zastąp klucz tym z Twojego panelu.
curl https://api.bestllmapi.com/v1/chat/completions \
-H "Authorization: Bearer YOUR_KEY" \
-H "Content-Type: application/json" \
-d '{"model": "uncensored", "messages": [{"role": "user", "content": "Say hello in five words."}]}'
Odpowiedź zawiera blok użycia z liczbą tokenów promptu i completion. Pomnóż te liczby przez ceny powyżej, a uzyskasz dokładny koszt wywołania. Zrób to kilka razy, a zyskasz wyczucie własnego obciążenia, co jest warte więcej niż dowolna estymacja. Dokumentacja quickstart obejmuje strumieniowanie, narzędzia i kody błędów.
Więcej przewodników
Pytania i odpowiedzi
Ile tokenów zużywa typowe code review?
Różnica wraz z otaczającym kontekstem to często 5 000 do 15 000 tokenów wejściowych, a komentarz z recenzji to 500 do 1 500 tokenów wyjściowych. Przy tych stawkach koszt wynosi około $0,001 do $0,003.
Czy mogę użyć tego API w swoim edytorze?
Tak, jeśli edytor lub rozszerzenie pozwala na ustawienie niestandardowego bazowego URL-a zgodnego z OpenAI oraz klucza. Użyj bazowego URL-a ze swojego konta, nazwy modelu uncensored oraz swojego klucza API.
Czy okno kontekstu jest wystarczająco duże dla dużych plików?
Okno kontekstu wynosi 100 000 tokenów, dzielonych między prompt a completion. Pasuje to do wielu plików naraz, ale bardzo duże repozytoria nadal trzeba dzielić.
Czy potrzebuję karty, żeby spróbować?
Nie. Nowi użytkownicy mogą odebrać $0,50 kredytu próbnego jednym kliknięciem na stronie klucza API, bez karty, ważny przez 7 dni.
Twój klucz jest o jeden formularz stąd
Utwórz konto, skopiuj klucz, zmień bazowy URL. To cała konfiguracja.