Best LLM API Гид
Как использовать LLM API: от первого запроса до потоковой передачи
Использование LLM API означает отправку списка сообщений по HTTPS и получение ответа. Это руководство проведёт вас от получения ключа к первому запросу, а затем к потоковой передаче, JSON-выводу и вызову функций.
Обновлено:

Ключевые моменты
- Эндпоинт совместим с OpenAI: измените базовый URL и ключ, оставив свой SDK.
- Используйте ID модели uncensored и отправляйте POST-запрос на /v1/chat/completions.
- Поддерживаются потоковая передача, JSON-режим и вызов функций.
- Код 429 означает необходимость замедлиться; прочитайте код ошибки, чтобы понять причину.
Что представляет собой вызов LLM API
Если вы задаетесь вопросом, как использовать сервисы LLM API, идея проста. Вы отправляете HTTPS POST-запрос со списком сообщений. Каждое сообщение имеет роль (system, user или assistant) и некоторый текст. Сервер запускает модель и возвращает следующее сообщение от ассистента. Это и есть весь контракт.
У модели нет памяти между вызовами. Если вам нужен диалог, каждый раз нужно отправлять предыдущие сообщения заново. Именно поэтому промпты растут, растут расходы и важно контекстное окно на 100 000 токенов: это лимит на сумму промпта и ответа.
Этот сервис использует тот же протокол, что и Chat Completions API от OpenAI. Любой SDK OpenAI или совместимый клиент работает после изменения двух вещей: базового URL и ключа. Ввод и вывод — только текст. Генерации изображений, аудио или видео нет, также нет эндпоинта для эмбеддингов.
В остальной части этого руководства используются несколько терминов. Токен — это фрагмент текста, в среднем примерно три четверти английского слова. Входные токены — это всё, что вы отправляете, а выходные токены — то, что пишет модель. Вы платите за оба типа по разным ставкам, и в ответе указано точное количество каждого. Базовый URL — это адрес, который ваш клиент добавляет к каждому пути, а API-ключ — это секрет, подтверждающий, что запрос ваш. Если вы знаете эти четыре слова, остальное — рутина.
Шаг 1: получите ключ и запишите три значения
Создайте аккаунт через Google или с помощью электронной почты и пароля и откройте страницу API-ключа. Там вы можете скопировать свой ключ и одним кликом получить пробный баланс $0,50. Для пробного периода карта не нужна.
Для каждого запроса вам понадобятся три значения:
- Базовый URL:
https://api.bestllmapi.com/v1 - Идентификатор модели:
uncensored - Заголовок авторизации:
Authorization: Bearer YOUR_KEY
Храните ключ вне системы контроля версий. Поместите его в переменную окружения, например LLM_API_KEY, и читайте её оттуда. Любой, у кого есть ключ, может потратить ваш баланс.
Шаг 2: отправьте первый запрос с помощью curl
Curl — это самый быстрый способ проверить работоспособность до подключения любых библиотек.
export LLM_API_KEY="paste-your-key-here"
curl https://api.bestllmapi.com/v1/chat/completions \
-H "Authorization: Bearer $LLM_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"model": "uncensored",
"messages": [
{"role": "system", "content": "You are a concise assistant."},
{"role": "user", "content": "Explain what a token is in two sentences."}
],
"temperature": 0.7
}'
Ответ — JSON. Текст находится в choices[0].message.content, а объект usage содержит токены промпта и завершения, за которые вы платите. Список моделей: GET https://api.bestllmapi.com/v1/models; вы должны увидеть uncensored.
Заголовки ответа также полезны. X-Request-Id идентифицирует вызов при обращении в поддержку, а X-Balance-USD показывает остаток на вашем аккаунте.
Чтение ответа и выбор параметров
В ответе есть несколько полей, которые стоит знать перед написанием кода парсинга. choices — это список, и вам почти всегда нужен первый элемент. Внутри него message.content содержит текст, а finish_reason объясняет, почему модель остановилась. Значение stop означает естественное завершение. Значение length означает, что вы достигли лимита max_tokens или исчерпали окно, поэтому ответ может быть обрезан на полуслове.
Объект usage предоставляет токены промпта, токены завершения и общую сумму. Логируйте их для каждого вызова с первого дня. Это единственный надёжный способ узнать реальную стоимость вашего приложения и легко обнаружить ошибку, при которой один и тот же длинный промпт отправляется дважды.
Выбор параметров зависит в основном от типа задачи. Для извлечения данных, классификации и кода используйте низкую температуру, например 0,2, чтобы одинаковый ввод давал почти одинаковый вывод. Для мозгового штурма и историй значение от 0,8 до 1,0 даёт больше разнообразия. Изменяйте одно значение за раз и используйте seed, когда хотите повторяемые сравнения двух версий промпта.
Шаг 3: используйте SDK OpenAI в Python или Node
На практике вы будете использовать библиотеку. В Python установите её с помощью pip install openai и укажите новый базовый URL.
import os
from openai import OpenAI
client = OpenAI(
base_url="https://api.bestllmapi.com/v1",
api_key=os.environ["LLM_API_KEY"],
)
resp = client.chat.completions.create(
model="uncensored",
messages=[
{"role": "system", "content": "You are a concise assistant."},
{"role": "user", "content": "Give me three names for a hiking app."},
],
temperature=0.8,
max_tokens=200,
)
print(resp.choices[0].message.content)
print(resp.usage.prompt_tokens, resp.usage.completion_tokens)
Версия для Node практически идентична. Установите с помощью npm install openai.
import OpenAI from "openai";
const client = new OpenAI({
baseURL: "https://api.bestllmapi.com/v1",
apiKey: process.env.LLM_API_KEY,
});
const resp = await client.chat.completions.create({
model: "uncensored",
messages: [{ role: "user", content: "Give me three names for a hiking app." }],
});
console.log(resp.choices[0].message.content);
max_tokens — необязательный параметр. Если его не указать, ответ может использовать всё оставшееся место в окне на 100 000 токенов, поэтому устанавливайте его, когда нужны короткие ответы. Параметры сэмплирования temperature, top_p, stop, seed и штрафы передаются модели.
Шаг 4: потоковая передача ответа
Без потоковой передачи пользователь смотрит на пустой экран, пока не будет готов весь ответ. С параметром stream: true сервер отправляет токены через Server-Sent Events по мере их генерации, а итоговые данные об использовании приходят в конце.
import os
from openai import OpenAI
client = OpenAI(base_url="https://api.bestllmapi.com/v1", api_key=os.environ["LLM_API_KEY"])
stream = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Write a short product description for a desk lamp."}],
stream=True,
)
for chunk in stream:
if chunk.choices and chunk.choices[0].delta.content:
print(chunk.choices[0].delta.content, end="", flush=True)
if getattr(chunk, "usage", None):
print("\nTokens:", chunk.usage.total_tokens)
Одна вещь, которую нужно помнить: потоковый запрос удерживает слот параллельных запросов до завершения потока. Полный ключ позволяет 8 параллельных запросов, пробный ключ — 2. Если пользователь закрывает вкладку, закройте поток и на своей стороне, иначе слот останется занятым.
Продолжение разговора
Поскольку API не имеет памяти, приложение чата — это цикл, добавляющий данные в список. Приведённый ниже шаблон является основой почти каждого чат-бота.
import os
from openai import OpenAI
client = OpenAI(base_url="https://api.bestllmapi.com/v1", api_key=os.environ["LLM_API_KEY"])
messages = [{"role": "system", "content": "You are a friendly travel planner."}]
while True:
user_text = input("You: ")
if user_text.strip().lower() in ("quit", "exit"):
break
messages.append({"role": "user", "content": user_text})
resp = client.chat.completions.create(model="uncensored", messages=messages)
answer = resp.choices[0].message.content
messages.append({"role": "assistant", "content": answer})
print("Bot:", answer)
Каждый проход отправляет весь список заново, поэтому стоимость одного хода растёт по мере удлинения чата. Цена составляет $0.15 за 1M входных токенов и $0,50 за 1M выходных токенов. Ход с 2000 входными токенами и 400 выходными токенами стоит 2000 / 1 000 000 x $0,15 = $0,0003 плюс 400 / 1,000,000 x $0,50 = $0.0002, итого $0.0005. При такой ставке пробный баланс $0,50 покроет около 1,000 ходов.
Когда список становится длинным, удаляйте самые старые сообщения пользователя и ассистента, но оставляйте системное сообщение вверху. Или попросите модель написать краткое резюме ранних ходов и замените ими эти ходы.
Шаг 5: JSON-режим и вызов функций
Когда вашему коду нужно распарсить ответ, запросите JSON. Установите response_format в значение {"type": "json_object"} и также укажите «JSON» в промпте, чтобы модель знала, какой формат вам нужен.
import os, json
from openai import OpenAI
client = OpenAI(base_url="https://api.bestllmapi.com/v1", api_key=os.environ["LLM_API_KEY"])
resp = client.chat.completions.create(
model="uncensored",
response_format={"type": "json_object"},
messages=[
{"role": "system", "content": "Reply only with JSON."},
{"role": "user", "content": "Extract name and city: 'Maria lives in Lisbon.' Use keys name and city."},
],
)
print(json.loads(resp.choices[0].message.content))
Вызов функций позволяет модели попросить ваш код запустить функцию. Вы описываете функцию в tools; модель отвечает записью tool_calls вместо текста; вы запускаете функцию и отправляете результат обратно с помощью role: "tool".
import os, json
from openai import OpenAI
client = OpenAI(base_url="https://api.bestllmapi.com/v1", api_key=os.environ["LLM_API_KEY"])
tools = [{
"type": "function",
"function": {
"name": "get_order_status",
"description": "Look up an order by its id",
"parameters": {
"type": "object",
"properties": {"order_id": {"type": "string"}},
"required": ["order_id"],
},
},
}]
messages = [{"role": "user", "content": "Where is order A-1042?"}]
first = client.chat.completions.create(
model="uncensored", messages=messages, tools=tools, tool_choice="auto"
)
msg = first.choices[0].message
if msg.tool_calls:
call = msg.tool_calls[0]
args = json.loads(call.function.arguments)
result = {"order_id": args["order_id"], "status": "shipped"}
messages.append(msg)
messages.append({
"role": "tool",
"tool_call_id": call.id,
"content": json.dumps(result),
})
final = client.chat.completions.create(
model="uncensored", messages=messages, tools=tools
)
print(final.choices[0].message.content)
Модели иногда генерируют некорректные аргументы, поэтому в реальном коде оборачивайте json.loads в блок try-catch и отправляйте ошибку в качестве результата функции при сбое парсинга.
Когда что-то идёт не так
Большинство проблем первого дня относятся к одной из этих категорий.
- 401 или ошибка аутентификации: ключ отсутствует, содержит опечатку или заголовок не в формате
Bearer KEY. - 404: в базовом URL отсутствует
/v1, или вы обратились к неверному пути. Путь для чата —/v1/chat/completions. - 429 с кодом
rate_limited: вы превысили лимит запросов в минуту (300 для полного ключа, 60 для пробного). - 429 с кодом
concurrency: слишком много запросов одновременно (8 для полного ключа, 2 для пробного). Ставьте вызовы в очередь. - 429 с
Retry-After: 5: временная перегрузка. Подождите пять секунд и повторите попытку. - Запрос слишком большой: лимит тела запроса составляет 8 МБ, а промпт и ответ должны помещаться в 100 000 токенов.
Неудачные или отклонённые запросы не оплачиваются, поэтому повторные попытки не стоят ничего лишнего. Для каждого кода ошибки и дополнительных примеров прочитайте документацию и посмотрите цены, чтобы оценить стоимость нагрузки при $0.15 за 1M входных токенов и $0,50 за 1M выходных токенов.
Вежливое повторное выполнение запросов в коде
Скрипт, отправляющий множество запросов, в итоге столкнётся с 429. Решение — небольшая обёртка для повторных попыток, которая ждёт и пробует снова. Эта версия уважает пятисекундную паузу, которую API запрашивает при временной перегрузке.
import os, time
from openai import OpenAI, RateLimitError
client = OpenAI(base_url="https://api.bestllmapi.com/v1", api_key=os.environ["LLM_API_KEY"])
def ask(prompt, tries=5):
for attempt in range(tries):
try:
r = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": prompt}],
)
return r.choices[0].message.content
except RateLimitError:
time.sleep(5 * (attempt + 1))
raise RuntimeError("still rate limited after retries")
print(ask("List three uses for a paperclip."))
Если вы выполняете множество запросов параллельно, ограничьте количество рабочих потоков вашим лимитом параллельных запросов. Пул потоков на 8 соответствует полному ключу, а на 2 — пробному ключу. Превышение этого значения приводит только к ошибкам concurrency.
Дополнительные руководства
Вопросы и ответы
Нужен ли мне специальный SDK?
Нет. Подойдёт любой SDK OpenAI или совместимый клиент. Укажите базовый URL https://api.bestllmapi.com/v1, используйте свой ключ и установите модель uncensored.
Могу ли я попробовать перед оплатой?
Да. Новые пользователи могут получить $0,50 пробного баланса в один клик на странице API-ключа. Для этого не нужна карта, а средства действительны в течение 7 дней.
Помнит ли API предыдущие сообщения?
Нет. Отправляйте историю диалога в списке messages при каждом запросе. Промпт и ответ должны помещаться в контекстное окно на 100 000 токенов.
Что означает ошибка 429?
Вы достигли лимита. Код rate_limited означает превышение запросов в минуту, concurrency — превышение одновременных запросов, а заголовок Retry-After указывает на кратковременную перегрузку.
Ваш ключ — всего в одной форме от вас
Создайте аккаунт, скопируйте ключ, измените базовый URL. Это вся настройка.