PT ▾
Obter chave de API

Best LLM API Guia

API LLM mais barata para código: custo por pull request

A API LLM mais barata para código é a que tem o menor custo por alteração aceita, não a menor linha na página de preços. Abaixo estão estimativas de tokens para tarefas comuns de código, com preço de $0,15 por 1M de tokens de entrada e $0,50 por 1M de tokens de saída.

Atualizado:

Pilha de blocos de código e um branch que se funde à linha principal ao lado de um pequeno slot de moeda
Moedas isométricas alimentando um fluxo de blocos de tokens para um servidor, ilustrando crédito de teste gratuito para uma API LLM

Pontos principais

  • O autocompletar é barato por chamada, mas frequente; um loop de agente relê a base de código e custa muito mais por tarefa.
  • Um pull request revisado com um prompt de 10.000 tokens custa cerca de $0,0021 a esses preços.
  • Uma execução de agente de 15 etapas, cerca de 375.000 tokens de entrada, custa cerca de $0,06.
  • Um modelo geral barato é uma boa opção para trabalho rotineiro; depuração difícil pode justificar um mais forte.

Cargas de trabalho de código são principalmente tokens de entrada

Tarefas de código têm uma forma desproporcional. Você envia muito contexto (o arquivo, o diff, o erro, os módulos ao redor) e recebe de volta um patch curto ou um comentário curto. A entrada geralmente representa de 70 a 95 por cento dos tokens, o que faz do preço de entrada o número mais importante para codificação.

A $0,15 por 1M de tokens de entrada, um prompt de 10.000 tokens custa $0,0015. A $0,50 por 1M de tokens de saída, uma resposta de 1.000 tokens custa $0,0005. Um assistente de código que lê muito e escreve pouco gastará a maior parte do orçamento lendo. A exceção é uma reescrita de arquivo inteiro, onde a saída é tão grande quanto o arquivo.

Isso também explica por que o preço do lado da saída é fácil de superestimar na codificação. Se uma ferramenta pedir explicações junto com cada patch, a saída cresce e a proporção muda, então decida cedo se você quer apenas código ou código com raciocínio, e defina o prompt do sistema para corresponder. Uma linha como "retornar apenas um diff unificado" é uma economia gratuita.

Quatro tarefas, precificadas uma por uma

Os números abaixo são estimativas que você pode substituir pelas suas. Meça alguns prompts reais com um tokenizer antes de planejar um orçamento.

TarefaEntradaSaídaCusto por chamada
Autocompletar inline80060$0.00015
Revisão de pull request10,0001,200$0.0021
Refatorar um arquivo de 8.000 tokens8,5008,000$0.005275
Execução de agente, 15 etapas375,00012,000$0.06225

O cálculo da linha de revisão: 10.000 x 0,15 / 1M = $0,0015, mais 1.200 x 0,50 / 1M = $0,0006, total $0,0021. Para a refatoração: $0,001275 de entrada mais $0,004 de saída. Note que a refatoração gasta três quartos de seu custo na saída, porque o modelo reescreve o arquivo inteiro.

A linha do agente é a que deve ser observada. Um agente que lê arquivos, executa testes e tenta novamente envia o contexto crescente novamente em cada etapa. Quinze etapas com média de 25.000 tokens de entrada cada somam 375.000 tokens de entrada, que são $0,05625, mais $0,006 por 12.000 tokens de saída.

Como parece um mês para um desenvolvedor

Suponha que um desenvolvedor trabalhe 22 dias por mês e faça o seguinte cada mês: 600 chamadas de autocompletar por dia, 40 pull requests revisados, 40 execuções de agente e 20 refatorações de arquivo único.

  • Autocompletar: 13.200 chamadas x $0,00015 = $1,98
  • Revisões: 40 x $0.0021 = $0.084
  • Execuções de agente: 40 x $0,06225 = $2,49
  • Refatorações: 20 x $0.005275 = $0.1055

O total é de cerca de $4,66 por desenvolvedor por mês. Uma equipe de dez pessoas fica perto de $47. Mesmo que suas estimativas estejam erradas por um fator de três, a conta fica abaixo de $15 por pessoa. Você pode usar a página de preços para verificar as taxas e os bônus de recarga; uma recarga de $100 adiciona 10%, que é $110 de crédito.

O ponto fraco não é a conta, são os limites. Uma chave completa permite 300 requisições por minuto e 8 requisições simultâneas. Um editor que dispara uma requisição a cada pausa na digitação pode atingir isso rapidamente se toda uma equipe compartilhar uma chave. Dê a cada pessoa uma chave ou aplique debounce ao autocompletar.

Conecte-o a um editor ou script

A API é compatível com OpenAI, então qualquer ferramenta que aceite uma URL base e chave personalizadas pode usá-la. Muitas extensões de editor e agentes de CLI têm essas duas configurações. Defina a URL base para https://api.bestllmapi.com/v1, o modelo para uncensored e cole sua chave.

Para um script que revisa um diff e imprime o custo, use o SDK Python da OpenAI:

import subprocess
from openai import OpenAI

client = OpenAI(base_url="https://api.bestllmapi.com/v1", api_key="YOUR_KEY")
diff = subprocess.run(["git", "diff", "main...HEAD"], capture_output=True, text=True).stdout

resp = client.chat.completions.create(
    model="uncensored",
    messages=[
        {"role": "system", "content": "You are a strict code reviewer. List bugs first, then style notes."},
        {"role": "user", "content": diff},
    ],
    temperature=0.2,
)
print(resp.choices[0].message.content)
u = resp.usage
print("cost: $%.6f" % (u.prompt_tokens * 0.15 / 1e6 + u.completion_tokens * 0.50 / 1e6))

Mantenha temperature baixo para trabalho de revisão e refatoração. A documentação da API lista os parâmetros que são passados, incluindo seed, que ajuda quando você quer saída repetível em CI.

Formas de manter a conta de código baixa

  • Envie diffs, não repositórios inteiros. A revisão acima usa 10.000 tokens porque envia um diff mais algum contexto.
  • Limite as etapas do agente. Um loop que nunca para é a causa mais comum de contas surpresa. Pare após um número fixo de etapas.
  • Reduza a saída da ferramenta. Um log de teste com 5.000 linhas é colado em cada etapa posterior. Mantenha apenas as linhas falhas.
  • Peça patches. Solicitar um diff unificado em vez do arquivo inteiro corta a saída no exemplo de refatoração em cerca de 90 por cento quando a alteração é pequena.
  • Use o modo JSON para saída estruturada. response_format com json_object evita loops de retry causados por respostas malformadas.

Requisições falhas ou recusadas não são cobradas, então uma requisição que falha não custa nada.

Quando um modelo mais barato não é a escolha certa

Este é um modelo de pesos abertos geral ajustado para responder sem recusas de conteúdo para uso adulto legal. Não é um modelo de codificação especialista, e não é a API oficial de nenhum fornecedor. Para tarefas rotineiras como boilerplate, testes, docstrings, pequenas refatorações e comentários de revisão, é uma opção de baixo custo sensata. Para depuração profunda em uma base de código desconhecida ou uma grande mudança arquitetural, um modelo mais forte pode economizar mais tempo de desenvolvedor do que custa em tokens.

A maneira de decidir é executar 20 tarefas reais do seu backlog em cada candidato, contar os patches que você mesclaria e dividir o gasto por essa contagem. Um crédito de teste de $0,50, reivindicado na página da chave de API após o login, cobre algumas centenas de revisões nas taxas acima, o que é mais do que suficiente para esse teste. Outros provedores definem seus próprios preços, então verifique seus preços atuais. Para os fundamentos da configuração, consulte como usar uma API LLM.

Perguntas a fazer sobre qualquer plano gratuito

Ofertas gratuitas variam muito, e o título raramente diz o que importa. Antes de construir sobre uma, faça essas perguntas e encontre as respostas na documentação própria do provedor.

  • Qual é o modelo? Alguns planos gratuitos usam um modelo menor que o pago. Um teste em um modelo fraco diz pouco sobre a produção.
  • Quais são os limites de requisições? Um limite de algumas requisições por minuto é bom para um script e inútil para um aplicativo de chat com vários usuários.
  • Ele expira? Uma cota única com prazo é uma coisa diferente de uma recorrente mensal.
  • O que acontece com seus prompts? Se os dados forem usados para treinamento, não cole nada privado nele. Aqui, os prompts não são usados para treinamento.
  • Como é o caminho pago? Mover de gratuito para pago deve ser uma mudança de estado de conta, não uma reescrita.

Hospedar um modelo de pesos abertos é às vezes sugerido como a rota gratuita. O software pode custar nada, mas a GPU que você precisa para executar um modelo capaz custa, seja você a alugá-la por hora ou comprá-la. Para um projeto pequeno, a matemática geralmente favorece pagar por token, porque você paga apenas pelo que usa e nada enquanto ocioso.

Lendo o teste como um orçamento de teste

Ajuda tratar o teste como um orçamento de teste em vez de um produto gratuito. Gaste-o em uma ordem fixa: primeiro algumas requisições simples para confirmar a conexão, depois seu prompt real em dez entradas variadas, depois uma execução de streaming, depois um prompt deliberadamente grande para ver como o modelo lida com contexto longo. Mantenha os números do bloco usage em uma nota.

Depois disso, você conhece seu tamanho médio de entrada, seu tamanho médio de saída e seu custo real por tarefa. Multiplique pelo tráfego que você espera e você tem uma figura mensal que se baseia em medições, não em suposições. Se a figura for aceitável, uma recarga de $20 é o próximo passo. Se não, você aprendeu isso por alguns centavos.

Após o teste: como funciona o pagamento

Quando o teste acaba ou expira, você adiciona crédito pré-pago. Qualquer valor inteiro de $20 a $500 funciona. Recargas maiores têm bônus: +5% a partir de $50, +10% a partir de $100, +15% a partir de $200. Uma recarga de $100 se torna $110 de crédito, e $200 se torna $230.

Você pode pagar com cripto (USDT na TRC20, USDC na Base). Não há assinatura nem mínimo mensal. O crédito nunca expira, então uma recarga de $20 que você usa lentamente não é desperdiçada. Cada resposta inclui um cabeçalho X-Balance-USD, que permite que seu próprio código monitore o saldo sem um painel.

Requisições falhas ou recusadas não são cobradas. Se uma requisição gerar erro, você não paga por ela. Os prompts não são usados para treinamento. Consulte preços para a tabela completa.

Maneiras baratas de fazer o crédito durar

Você não precisa de truques, apenas de alguns hábitos.

  1. Recorte o histórico. Mantenha as últimas N rodadas mais um resumo curto das anteriores em vez de reenviar tudo.
  2. Defina um limite máximo de max_tokens para tarefas em que respostas curtas são suficientes. É opcional aqui, mas limita o lado da saída, que é o mais caro por token.
  3. Use o modo JSON (response_format com json_object) para tarefas de extração para que você não pague por introduções verbosas.
  4. Teste com entradas pequenas primeiro. Valide o prompt em dez exemplos antes de executar dez mil.
  5. Trate 429s com backoff. Tentar novamente em um loop contínuo com uma chave de teste (2 simultâneas, 60 por minuto) desperdiça seu tempo. Aguarde o cabeçalho Retry-After quando ele estiver presente.

Se você está comparando opções antes de gastar qualquer coisa, a página sobre Hugging Face Inference API versus este endpoint cobre uma decisão relacionada.

Uma primeira chamada para gastar o crédito de teste

Aqui está uma solicitação mínima. Substitua a chave pela que está no seu painel.

curl https://api.bestllmapi.com/v1/chat/completions \
  -H "Authorization: Bearer YOUR_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model": "uncensored", "messages": [{"role": "user", "content": "Say hello in five words."}]}'

A resposta inclui um bloco de uso com contagens de tokens de prompt e conclusão. Multiplique esses valores pelos preços acima e você terá o custo exato da chamada. Faça isso algumas vezes e você desenvolverá uma noção da sua própria carga de trabalho, o que vale mais do que qualquer estimativa. A documentação quickstart cobre streaming, ferramentas e códigos de erro.

Perguntas e respostas

Quantos tokens uma revisão de código típica usa?

Um diff mais algum contexto adjacente costuma ter de 5.000 a 15.000 tokens de entrada, e o comentário da revisão tem de 500 a 1.500 tokens de saída. A esses preços, isso custa cerca de $0,001 a $0,003.

Posso usar esta API no meu editor?

Sim, se o editor ou extensão permitir definir uma URL base compatível com OpenAI personalizada e uma chave. Use a URL base da sua conta, o nome do modelo uncensored e sua chave de API.

A janela de contexto é grande o suficiente para arquivos grandes?

A janela é de 100.000 tokens, compartilhada pelo prompt e pela resposta. Isso cabe muitos arquivos de uma vez, mas repositórios muito grandes ainda precisam ser divididos.

Preciso de um cartão para testar?

Não. Novos usuários podem obter $0,50 de crédito de teste com um clique na página da chave de API, sem cartão, válido por 7 dias.

Sua chave está a um formulário de distância

Crie uma conta, copie a chave e altere a URL base. Essa é toda a configuração.

Obter chave de API