RU ▾
Получить API-ключ

Best LLM API Гид

Сравнение цен LLM API: как сравнивать справедливо

Сравнение цен LLM API работает только если каждый провайдер оценивается по одной и той же нагрузке, а не по заголовочной цифре. В этой статье мы даём короткий метод, а затем применяем его к тарифам $0,15 за 1 млн входных токенов и $0,50 за 1 млн выходных токенов.

Обновлено:

Весы с шкалой баланса, на которых лежат стопки светящихся кубиков, представляющие стоимость входных и выходных токенов
Изометричные монеты, подающие поток токенов на сервер, иллюстрирующие пробный баланс для LLM API

Ключевые моменты

  • Оценивайте реальную форму запроса (входные токены, выходные токены, количество шагов), а не заголовочную цену за миллион.
  • Токены вывода обычно стоят дороже токенов ввода, поэтому большая нагрузка на генерацию меняет расклад.
  • Минимальные пополнения, срок действия и тарификация за неудачные запросы меняют то, что на самом деле покупается за доллар.
  • При тарифах $0,15 на вход и $0,50 на выход запрос с 1500 входными и 400 выходными токенами стоит $0,000425.

Четыре числа, которые скрывает любой прайс-лист

Большинство страниц с ценами показывают две цифры: доллары за миллион входных токенов и доллары за миллион выходных токенов. Этих двух чисел достаточно для сравнения провайдеров, но только после того, как вы добавите ещё два, зависящих от вашего приложения: сколько токенов вы отправляете в одном запросе и сколько получаете обратно.

  1. Цена ввода за 1 млн токенов. Сюда входят системный промпт, история чата и любые документы, которые вы вставляете.
  2. Цена вывода за 1 млн токенов. Сюда входит всё, что модель пишет в ответ.
  3. Размер вашего ввода в одном запросе, включая историю, которая отправляется заново на каждом шаге.
  4. Размер вашего вывода в одном запросе, который зависит от того, насколько длинными вы разрешаете быть ответам.

Стоимость запроса рассчитывается по формуле input_tokens x input_price / 1,000,000 + output_tokens x output_price / 1,000,000. Всё остальное в этой статье — уточнение этой строки.

Шаг 1: запишите форму запроса

Выберите три или четыре типа запросов, которые реально отправляет ваш продукт. Бот поддержки, генератор историй и пакетный классификатор имеют совершенно разные формы, и провайдер, выигрывающий в одном сценарии, может проиграть в другом.

СценарийВходные токеныВыходные токены
Короткая реплика чата1 500400
Краткое изложение длинного документа50 0001 000
Вызов классификатора30020
Длинноформатные тексты8003 000

Если у вас ещё нет логов, возьмите несколько реальных диалогов и подсчитайте токены любым токенизатором. Грубое правило: один токен — это примерно четыре символа английского текста, но код и неанглоязычный текст требуют больше токенов. Измерьте перед тем, как доверять правилу.

Шаг 2: выполните расчёт при $0,15 и $0,50

Этот сервис взимает $0,15 за 1 млн входных токенов и $0,50 за 1 млн выходных токенов. Это $0,00015 за 1000 входных токенов и $0,0005 за 1000 выходных токенов. Применительно к приведённым выше формам:

СценарийСтоимость вводаСтоимость выводаЗа запрос
Короткая реплика чата$0,000225$0,0002$0,000425
Краткое изложение длинного документа$0,0075$0,0005$0,008
Вызов классификатора$0,000045$0,00001$0,000055
Длинноформатные тексты$0,00012$0,0015$0,00162

Обратите внимание, куда уходят деньги. В задаче суммаризации документов на вход уходит 94% счёта. При длинной генерации текста на выход уходит 93%. Провайдер с дешёвой ценой ввода и дорогой ценой вывода выглядит отлично для первой нагрузки и плохо для второй. Именно поэтому одна цифра «цена за миллион» вводит в заблуждение.

Масштабируйте до месяца. Чат-приложение, которое отправляет 1 000 коротких ходов в день в течение 30 дней, отправит 45 млн входных токенов ($6,75) и 12 млн выходных токенов ($6,00), всего $12,75.

Шаг 3: учтите растущую историю

API чата не имеют состояния. Каждый ход вы отправляете заново системный промпт и каждое предыдущее сообщение, поэтому ввод растёт вместе с длиной разговора, а вывод на ход остаётся неизменным.

Возьмите разговор на 10 ходов с системным промптом на 1 000 токенов. Каждый ход добавляет около 300 токенов от пользователя и 200 от модели, то есть 500 токенов новой истории на ход. Ход 1 отправляет 1 000 входных токенов, ход 2 отправляет 1 500, а ход 10 отправляет 5 500. Сумма по 10 ходам составляет 32 500 входных токенов, плюс 2 000 выходных токенов в целом.

input_tokens = sum(1000 + 500 * k for k in range(10))   # 32,500
output_tokens = 10 * 200                                # 2,000
cost = input_tokens * 0.15 / 1e6 + output_tokens * 0.50 / 1e6
print(round(cost, 6))   # 0.005875

Это $0,005875 за весь разговор. Если бы вы умножили только один ход на десять, вы бы недооценили ввод более чем вдвое. Уменьшите историю, суммируйте старые ходы или ограничьте окно, если это число для вас важно. Руководство по использованию LLM API охватывает, как отправляется история сообщений.

Шаг 4: проверьте правила вокруг цены

Два провайдера с одинаковой ценой за токен всё равно могут стоить по-разному за полезный ответ. Проверьте следующее перед принятием решения:

  • Контекстное окно. Большее окно позволяет пропустить разбиение на фрагменты, но вы платите цену за ввод за каждый отправленный токен. У этого сервиса окно на 100 000 токенов, общее для промпта и завершения.
  • Минимальная покупка. Здесь вы пополняете любую целую сумму от $20 до $500. Минимальная покупка в $20 покупает около 47 000 коротких ходов чата по указанной выше ставке ($20 / $0,000425).
  • Срок действия. Кредит здесь никогда не истекает. У некоторых провайдеров предоплаченные балансы истекают или требуется подписка, поэтому проверьте их текущие условия.
  • Неудачные запросы. Неудачные или отклонённые запросы здесь не оплачиваются. Ищите то же заявление в другом месте.
  • Лимиты скорости. Полный ключ позволяет 8 одновременных запросов и 300 в минуту. Дешёвая цена бесполезна, если ваша пакетная задача не может завершиться.

Бонусы за объём также снижают эффективную цену. Пополнение на $200 получает +15%, поэтому вы получаете $230 кредита, и ваши эффективные ставки падают примерно до $0,13 за ввод и $0,43 за вывод на 1 млн. Пополнение на $100 получает +10%, а $50 получает +5%. Полные детали на странице цен.

Когда самая низкая цена — не правильный выбор

Цена за токен игнорирует качество. Модель, которой нужно две попытки для получения правильного ответа, стоит в два раза дороже за полезный результат, а модель, отклоняющая ваш запрос, стоит вам времени, даже если счёт нулевой. Прогоните 20–50 реальных промптов через каждого кандидата и посчитайте, сколько ответов вы реально отправили бы в продакшн. Разделите общие расходы на это количество.

Модель здесь — одна модель с открытыми весами, настроенная на ответы без отказов по контенту для законного использования взрослыми. Это не роутер, и это не официальный API любого поставщика моделей. Если вашей задаче нужны самые сильные рассуждения и отказы не являются проблемой, более крупная модель от другого провайдера может дать лучшую стоимость за принятый ответ даже при более высокой цене за токен. Проверьте их текущие цены и протестируйте тем же способом.

Быстрый способ проверить цифры самостоятельно

Вам не нужно догадываться. Каждый ответ содержит заголовок X-Balance-USD, а API также сообщает об использовании токенов, поэтому вы можете отправить свои реальные промпты и прочитать фактическую стоимость. Приведённый ниже Python использует SDK OpenAI против этого сервиса и выводит блок использования.

from openai import OpenAI

client = OpenAI(base_url="https://api.bestllmapi.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarize the pros and cons of prepaid API credit."}],
)
u = resp.usage
cost = u.prompt_tokens * 0.15 / 1e6 + u.completion_tokens * 0.50 / 1e6
print(u.prompt_tokens, u.completion_tokens, round(cost, 6))

Новые аккаунты могут получить $0,50 пробного кредита в один клик на странице API-ключей. При соотношении 1500 входящих / 400 исходящих этого хватает примерно на 1170 запросов, чего достаточно для честного бенчмарка. Если вы хотите сначала посмотреть, хватит ли вам бесплатного тарифа, прочтите о вариантах бесплатных LLM API.

Вопросы, которые стоит задать о любом бесплатном тарифе

Бесплатные предложения сильно различаются, и заголовок редко говорит о том, что важно. Прежде чем строить что-то на их основе, задайте эти вопросы и найдите ответы в документации самого провайдера.

  • Какая это модель? Некоторые бесплатные тарифы используют более слабую модель, чем платная. Тест на слабой модели мало что скажет о продакшене.
  • Какие лимиты запросов? Лимит в несколько запросов в минуту подходит для скрипта, но бесполезен для чат-приложения с несколькими пользователями.
  • Истекает ли он? Разовый лимит со сроком действия — это не то же самое, что ежемесячный повторяющийся.
  • Что происходит с вашими промптами? Если данные используются для обучения, не вставляйте туда ничего приватного. Здесь промпты не используются для обучения.
  • Как выглядит платный путь? Переход от бесплатного к платному должен быть изменением состояния аккаунта, а не переписыванием.

Самостоятельный хостинг модели с открытыми весами иногда предлагается как бесплатный вариант. Программное обеспечение может быть бесплатным, но GPU, необходимый для запуска производительной модели, стоит денег, будь то аренда почасовая или покупка. Для небольшого проекта арифметика обычно в пользу оплаты за токен, потому что вы платите только за то, что используете, и ничего, пока простаиваете.

Чтение пробного периода как тестового бюджета

Полезно рассматривать пробный период как тестовый бюджет, а не бесплатный продукт. Потратьте его в фиксированном порядке: сначала несколько обычных запросов для подтверждения подключения, затем ваш реальный промпт на десяти различных входах, затем запуск потоковой передачи, затем один намеренно большой промпт, чтобы увидеть, как модель обрабатывает длинный контекст. Сохраните числа из блока usage в заметке.

После этого вы знаете свой средний размер входных данных, средний размер выходных данных и реальную стоимость одной задачи. Умножьте на ожидаемый трафик, и вы получите месячную цифру, основанную на измерениях, а не догадках. Если цифра приемлема, следующим шагом будет пополнение на $20. Если нет, вы узнали это за несколько центов.

После пробного периода: как выглядит оплата

Когда пробный период заканчивается или истекает, вы добавляете предоплаченный баланс. Любая целая сумма от $20 до $500 подходит. Большие пополнения дают бонус: +5% от $50, +10% от $100, +15% от $200. Пополнение на $100 становится балансом на $110, а $200 — на $230.

Вы можете оплатить криптовалютой (USDT на TRC20, USDC на Base). Нет подписки и минимального ежемесячного лимита. Кредит не сгорает, поэтому пополнение на $20, которое вы используете медленно, не пропадёт. Каждый ответ включает заголовок X-Balance-USD, который позволяет вашему коду отслеживать баланс без панели управления.

Неудачные или отклонённые запросы не оплачиваются. Если запрос завершается ошибкой, вы не платите за него. Промпты не используются для обучения. См. цены для полной таблицы.

Дешёвые способы продлить кредит

Вам не нужны трюки, только несколько привычек.

  1. Обрезайте историю. Сохраняйте последние N реплик и краткое резюме предыдущих, а не отправляйте всё заново.
  2. Установите предел max_tokens для задач, где достаточно коротких ответов. Это необязательно, но ограничивает более дорогую сторону — вывод — на токен.
  3. Используйте JSON-режим (response_format со значением json_object) для задач извлечения данных, чтобы не платить за пространные преамбулы.
  4. Сначала тестируйте на небольших входных данных. Проверьте промпт на десяти примерах, прежде чем запускать десять тысяч.
  5. Обрабатывайте 429-е ошибки с помощью backoff. Повторные запросы в плотном цикле для пробного ключа (2 параллельных, 60 в минуту) тратят ваше время. Ждите заголовок Retry-After, когда он присутствует.

Если вы сравниваете варианты перед тем, как что-либо потратить, страница Hugging Face Inference API и этот эндпоинт охватывает смежное решение.

Первый вызов для расходования пробного баланса

Вот минимальный запрос. Замените ключ на тот, что в вашем личном кабинете.

curl https://api.bestllmapi.com/v1/chat/completions \
  -H "Authorization: Bearer YOUR_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model": "uncensored", "messages": [{"role": "user", "content": "Say hello in five words."}]}'

В ответе есть блок использования с количеством токенов промпта и завершения. Умножьте их на цены выше, и вы получите точную стоимость вызова. Сделайте это несколько раз, и вы почувствуете свою рабочую нагрузку, что стоит больше любой оценки. Документация по быстрому старту охватывает потоковую передачу, инструменты и коды ошибок.

Вопросы и ответы

Сравнивать цену ввода или цену вывода?

Обе, с учётом вашей нагрузки. Задачи с большим объёмом документов определяются ценой ввода, а задачи генерации текста — ценой вывода.

Как подсчитать токены перед покупкой?

Прогоните выборку реальных промптов через токенизатор или отправьте их в API и прочитайте блок потребления в ответе. Именно по этим числам вам выставляют счет.

Приходится ли платить за неудачные запросы?

Нет. За неудачные или отклонённые запросы в этом сервисе не взимается плата. Проверьте условия любого другого провайдера, с которым вы сравниваете.

Есть ли подписка?

Нет. Это оплата по факту с предоплаченного баланса, и кредит не сгорает.

Ваш ключ — всего в одной форме

Создайте аккаунт, скопируйте ключ, измените базовый URL. Это вся настройка.

Получить API-ключ