RU ▾
Получить API-ключ

Best LLM API Гид

Как использовать LLM API: от первого запроса до потоковой передачи

Использование LLM API означает отправку списка сообщений по HTTPS и получение ответа. Это руководство проведёт вас от получения ключа к первому запросу, а затем к потоковой передаче, JSON-выводу и вызову функций.

Обновлено:

Светящийся пакет данных, передаваемый из терминала на сервер, и потоковая передача токенов обратно

Ключевые моменты

  • Эндпоинт совместим с OpenAI: измените базовый URL и ключ, оставив свой SDK.
  • Используйте ID модели uncensored и отправляйте POST-запрос на /v1/chat/completions.
  • Поддерживаются потоковая передача, JSON-режим и вызов функций.
  • Код 429 означает необходимость замедлиться; прочитайте код ошибки, чтобы понять причину.

Что представляет собой вызов LLM API

Если вы задаетесь вопросом, как использовать сервисы LLM API, идея проста. Вы отправляете HTTPS POST-запрос со списком сообщений. Каждое сообщение имеет роль (system, user или assistant) и некоторый текст. Сервер запускает модель и возвращает следующее сообщение от ассистента. Это и есть весь контракт.

У модели нет памяти между вызовами. Если вам нужен диалог, каждый раз нужно отправлять предыдущие сообщения заново. Именно поэтому промпты растут, растут расходы и важно контекстное окно на 100 000 токенов: это лимит на сумму промпта и ответа.

Этот сервис использует тот же протокол, что и Chat Completions API от OpenAI. Любой SDK OpenAI или совместимый клиент работает после изменения двух вещей: базового URL и ключа. Ввод и вывод — только текст. Генерации изображений, аудио или видео нет, также нет эндпоинта для эмбеддингов.

В остальной части этого руководства используются несколько терминов. Токен — это фрагмент текста, в среднем примерно три четверти английского слова. Входные токены — это всё, что вы отправляете, а выходные токены — то, что пишет модель. Вы платите за оба типа по разным ставкам, и в ответе указано точное количество каждого. Базовый URL — это адрес, который ваш клиент добавляет к каждому пути, а API-ключ — это секрет, подтверждающий, что запрос ваш. Если вы знаете эти четыре слова, остальное — рутина.

Шаг 1: получите ключ и запишите три значения

Создайте аккаунт через Google или с помощью электронной почты и пароля и откройте страницу API-ключа. Там вы можете скопировать свой ключ и одним кликом получить пробный баланс $0,50. Для пробного периода карта не нужна.

Для каждого запроса вам понадобятся три значения:

  • Базовый URL: https://api.bestllmapi.com/v1
  • Идентификатор модели: uncensored
  • Заголовок авторизации: Authorization: Bearer YOUR_KEY

Храните ключ вне системы контроля версий. Поместите его в переменную окружения, например LLM_API_KEY, и читайте её оттуда. Любой, у кого есть ключ, может потратить ваш баланс.

Шаг 2: отправьте первый запрос с помощью curl

Curl — это самый быстрый способ проверить работоспособность до подключения любых библиотек.

export LLM_API_KEY="paste-your-key-here"

curl https://api.bestllmapi.com/v1/chat/completions \
  -H "Authorization: Bearer $LLM_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [
      {"role": "system", "content": "You are a concise assistant."},
      {"role": "user", "content": "Explain what a token is in two sentences."}
    ],
    "temperature": 0.7
  }'

Ответ — JSON. Текст находится в choices[0].message.content, а объект usage содержит токены промпта и завершения, за которые вы платите. Список моделей: GET https://api.bestllmapi.com/v1/models; вы должны увидеть uncensored.

Заголовки ответа также полезны. X-Request-Id идентифицирует вызов при обращении в поддержку, а X-Balance-USD показывает остаток на вашем аккаунте.

Чтение ответа и выбор параметров

В ответе есть несколько полей, которые стоит знать перед написанием кода парсинга. choices — это список, и вам почти всегда нужен первый элемент. Внутри него message.content содержит текст, а finish_reason объясняет, почему модель остановилась. Значение stop означает естественное завершение. Значение length означает, что вы достигли лимита max_tokens или исчерпали окно, поэтому ответ может быть обрезан на полуслове.

Объект usage предоставляет токены промпта, токены завершения и общую сумму. Логируйте их для каждого вызова с первого дня. Это единственный надёжный способ узнать реальную стоимость вашего приложения и легко обнаружить ошибку, при которой один и тот же длинный промпт отправляется дважды.

Выбор параметров зависит в основном от типа задачи. Для извлечения данных, классификации и кода используйте низкую температуру, например 0,2, чтобы одинаковый ввод давал почти одинаковый вывод. Для мозгового штурма и историй значение от 0,8 до 1,0 даёт больше разнообразия. Изменяйте одно значение за раз и используйте seed, когда хотите повторяемые сравнения двух версий промпта.

Шаг 3: используйте SDK OpenAI в Python или Node

На практике вы будете использовать библиотеку. В Python установите её с помощью pip install openai и укажите новый базовый URL.

import os
from openai import OpenAI

client = OpenAI(
    base_url="https://api.bestllmapi.com/v1",
    api_key=os.environ["LLM_API_KEY"],
)

resp = client.chat.completions.create(
    model="uncensored",
    messages=[
        {"role": "system", "content": "You are a concise assistant."},
        {"role": "user", "content": "Give me three names for a hiking app."},
    ],
    temperature=0.8,
    max_tokens=200,
)

print(resp.choices[0].message.content)
print(resp.usage.prompt_tokens, resp.usage.completion_tokens)

Версия для Node практически идентична. Установите с помощью npm install openai.

import OpenAI from "openai";

const client = new OpenAI({
  baseURL: "https://api.bestllmapi.com/v1",
  apiKey: process.env.LLM_API_KEY,
});

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Give me three names for a hiking app." }],
});

console.log(resp.choices[0].message.content);

max_tokens — необязательный параметр. Если его не указать, ответ может использовать всё оставшееся место в окне на 100 000 токенов, поэтому устанавливайте его, когда нужны короткие ответы. Параметры сэмплирования temperature, top_p, stop, seed и штрафы передаются модели.

Шаг 4: потоковая передача ответа

Без потоковой передачи пользователь смотрит на пустой экран, пока не будет готов весь ответ. С параметром stream: true сервер отправляет токены через Server-Sent Events по мере их генерации, а итоговые данные об использовании приходят в конце.

import os
from openai import OpenAI

client = OpenAI(base_url="https://api.bestllmapi.com/v1", api_key=os.environ["LLM_API_KEY"])

stream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Write a short product description for a desk lamp."}],
    stream=True,
)

for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)
    if getattr(chunk, "usage", None):
        print("\nTokens:", chunk.usage.total_tokens)

Одна вещь, которую нужно помнить: потоковый запрос удерживает слот параллельных запросов до завершения потока. Полный ключ позволяет 8 параллельных запросов, пробный ключ — 2. Если пользователь закрывает вкладку, закройте поток и на своей стороне, иначе слот останется занятым.

Продолжение разговора

Поскольку API не имеет памяти, приложение чата — это цикл, добавляющий данные в список. Приведённый ниже шаблон является основой почти каждого чат-бота.

import os
from openai import OpenAI

client = OpenAI(base_url="https://api.bestllmapi.com/v1", api_key=os.environ["LLM_API_KEY"])

messages = [{"role": "system", "content": "You are a friendly travel planner."}]

while True:
    user_text = input("You: ")
    if user_text.strip().lower() in ("quit", "exit"):
        break
    messages.append({"role": "user", "content": user_text})
    resp = client.chat.completions.create(model="uncensored", messages=messages)
    answer = resp.choices[0].message.content
    messages.append({"role": "assistant", "content": answer})
    print("Bot:", answer)

Каждый проход отправляет весь список заново, поэтому стоимость одного хода растёт по мере удлинения чата. Цена составляет $0.15 за 1M входных токенов и $0,50 за 1M выходных токенов. Ход с 2000 входными токенами и 400 выходными токенами стоит 2000 / 1 000 000 x $0,15 = $0,0003 плюс 400 / 1,000,000 x $0,50 = $0.0002, итого $0.0005. При такой ставке пробный баланс $0,50 покроет около 1,000 ходов.

Когда список становится длинным, удаляйте самые старые сообщения пользователя и ассистента, но оставляйте системное сообщение вверху. Или попросите модель написать краткое резюме ранних ходов и замените ими эти ходы.

Шаг 5: JSON-режим и вызов функций

Когда вашему коду нужно распарсить ответ, запросите JSON. Установите response_format в значение {"type": "json_object"} и также укажите «JSON» в промпте, чтобы модель знала, какой формат вам нужен.

import os, json
from openai import OpenAI

client = OpenAI(base_url="https://api.bestllmapi.com/v1", api_key=os.environ["LLM_API_KEY"])

resp = client.chat.completions.create(
    model="uncensored",
    response_format={"type": "json_object"},
    messages=[
        {"role": "system", "content": "Reply only with JSON."},
        {"role": "user", "content": "Extract name and city: 'Maria lives in Lisbon.' Use keys name and city."},
    ],
)
print(json.loads(resp.choices[0].message.content))

Вызов функций позволяет модели попросить ваш код запустить функцию. Вы описываете функцию в tools; модель отвечает записью tool_calls вместо текста; вы запускаете функцию и отправляете результат обратно с помощью role: "tool".

import os, json
from openai import OpenAI

client = OpenAI(base_url="https://api.bestllmapi.com/v1", api_key=os.environ["LLM_API_KEY"])

tools = [{
    "type": "function",
    "function": {
        "name": "get_order_status",
        "description": "Look up an order by its id",
        "parameters": {
            "type": "object",
            "properties": {"order_id": {"type": "string"}},
            "required": ["order_id"],
        },
    },
}]

messages = [{"role": "user", "content": "Where is order A-1042?"}]
first = client.chat.completions.create(
    model="uncensored", messages=messages, tools=tools, tool_choice="auto"
)
msg = first.choices[0].message

if msg.tool_calls:
    call = msg.tool_calls[0]
    args = json.loads(call.function.arguments)
    result = {"order_id": args["order_id"], "status": "shipped"}
    messages.append(msg)
    messages.append({
        "role": "tool",
        "tool_call_id": call.id,
        "content": json.dumps(result),
    })
    final = client.chat.completions.create(
        model="uncensored", messages=messages, tools=tools
    )
    print(final.choices[0].message.content)

Модели иногда генерируют некорректные аргументы, поэтому в реальном коде оборачивайте json.loads в блок try-catch и отправляйте ошибку в качестве результата функции при сбое парсинга.

Когда что-то идёт не так

Большинство проблем первого дня относятся к одной из этих категорий.

  • 401 или ошибка аутентификации: ключ отсутствует, содержит опечатку или заголовок не в формате Bearer KEY.
  • 404: в базовом URL отсутствует /v1, или вы обратились к неверному пути. Путь для чата — /v1/chat/completions.
  • 429 с кодом rate_limited: вы превысили лимит запросов в минуту (300 для полного ключа, 60 для пробного).
  • 429 с кодом concurrency: слишком много запросов одновременно (8 для полного ключа, 2 для пробного). Ставьте вызовы в очередь.
  • 429 с Retry-After: 5: временная перегрузка. Подождите пять секунд и повторите попытку.
  • Запрос слишком большой: лимит тела запроса составляет 8 МБ, а промпт и ответ должны помещаться в 100 000 токенов.

Неудачные или отклонённые запросы не оплачиваются, поэтому повторные попытки не стоят ничего лишнего. Для каждого кода ошибки и дополнительных примеров прочитайте документацию и посмотрите цены, чтобы оценить стоимость нагрузки при $0.15 за 1M входных токенов и $0,50 за 1M выходных токенов.

Вежливое повторное выполнение запросов в коде

Скрипт, отправляющий множество запросов, в итоге столкнётся с 429. Решение — небольшая обёртка для повторных попыток, которая ждёт и пробует снова. Эта версия уважает пятисекундную паузу, которую API запрашивает при временной перегрузке.

import os, time
from openai import OpenAI, RateLimitError

client = OpenAI(base_url="https://api.bestllmapi.com/v1", api_key=os.environ["LLM_API_KEY"])

def ask(prompt, tries=5):
    for attempt in range(tries):
        try:
            r = client.chat.completions.create(
                model="uncensored",
                messages=[{"role": "user", "content": prompt}],
            )
            return r.choices[0].message.content
        except RateLimitError:
            time.sleep(5 * (attempt + 1))
    raise RuntimeError("still rate limited after retries")

print(ask("List three uses for a paperclip."))

Если вы выполняете множество запросов параллельно, ограничьте количество рабочих потоков вашим лимитом параллельных запросов. Пул потоков на 8 соответствует полному ключу, а на 2 — пробному ключу. Превышение этого значения приводит только к ошибкам concurrency.

Вопросы и ответы

Нужен ли мне специальный SDK?

Нет. Подойдёт любой SDK OpenAI или совместимый клиент. Укажите базовый URL https://api.bestllmapi.com/v1, используйте свой ключ и установите модель uncensored.

Могу ли я попробовать перед оплатой?

Да. Новые пользователи могут получить $0,50 пробного баланса в один клик на странице API-ключа. Для этого не нужна карта, а средства действительны в течение 7 дней.

Помнит ли API предыдущие сообщения?

Нет. Отправляйте историю диалога в списке messages при каждом запросе. Промпт и ответ должны помещаться в контекстное окно на 100 000 токенов.

Что означает ошибка 429?

Вы достигли лимита. Код rate_limited означает превышение запросов в минуту, concurrency — превышение одновременных запросов, а заголовок Retry-After указывает на кратковременную перегрузку.

Ваш ключ — всего в одной форме от вас

Создайте аккаунт, скопируйте ключ, измените базовый URL. Это вся настройка.

Получить API-ключ