ID ▾
Dapatkan kunci API

Best LLM API Panduan

Perbandingan Harga API LLM: Cara Membandingkan dengan Adil

Perbandingan harga API LLM hanya berfungsi jika setiap penyedia dinilai berdasarkan beban kerja yang sama, bukan angka judul yang sama. Artikel ini memberikan metode singkat, lalu menjalankannya dengan harga $0,15 per 1 juta token input dan $0,50 per 1 juta token output.

Diperbarui:

Timbangan keseimbangan menimbang tumpukan kubus bercahaya, mewakili biaya token input dan output
Koin isometrik memberi makan aliran blok token ke server, mengilustrasikan kredit uji coba gratis untuk LLM API

Poin utama

  • Tentukan harga bentuk permintaan nyata (token input, token output, putaran), bukan angka judul per juta.
  • Token output biasanya lebih mahal daripada token input, sehingga beban kerja yang banyak bicara mengubah peringkat.
  • Minimal top-up, masa kedaluwarsa, dan penagihan permintaan gagal mengubah apa yang sebenarnya dibeli oleh satu dolar.
  • Pada $0,15 input dan $0,50 output, permintaan 1.500 input / 400 output berharga $0,000425.

Empat angka yang disembunyikan setiap daftar harga

Sebagian besar halaman harga menampilkan dua angka: dolar per juta token input dan dolar per juta token output. Dua angka itu cukup untuk membandingkan penyedia, tetapi hanya setelah Anda menambahkan dua lagi yang berasal dari aplikasi Anda sendiri: berapa banyak token yang Anda kirimkan per permintaan dan berapa banyak yang Anda terima kembali.

  1. Harga input per 1M token. Ini mencakup prompt sistem, riwayat obrolan, dan dokumen apa pun yang Anda tempel.
  2. Harga output per 1M token. Ini mencakup semua yang ditulis kembali oleh model.
  3. Ukuran input Anda per permintaan, termasuk riwayat yang dikirim ulang setiap giliran.
  4. Ukuran output Anda per permintaan, yang bergantung pada seberapa lama Anda membiarkan balasan berjalan.

Biaya per permintaan adalah input_tokens x input_price / 1,000,000 + output_tokens x output_price / 1,000,000. Semua hal lain dalam artikel ini adalah penyempurnaan dari baris tersebut.

Langkah 1: tulis bentuk permintaan

Pilih tiga atau empat jenis permintaan yang sebenarnya dikirim oleh produk Anda. Bot dukungan, penulis cerita, dan pengklasifikasi batch memiliki bentuk yang sangat berbeda, dan penyedia yang menang pada satu jenis bisa kalah pada jenis lainnya.

BentukToken inputToken output
Giliran obrolan singkat1.500400
Ringkasan dokumen panjang50.0001.000
Panggilan pengklasifikasi30020
Penulisan panjang8003.000

Jika Anda belum memiliki log, ambil beberapa percakapan nyata dan hitung token dengan tokenizer apa pun. Aturan kasar adalah satu token kira-kira sama dengan empat karakter bahasa Inggris, tetapi kode dan teks non-Inggris memiliki nilai lebih tinggi. Ukur sebelum Anda mempercayai aturan tersebut.

Langkah 2: hitung matematika pada $0,15 dan $0,50

Layanan ini mengenakan biaya $0,15 per 1M token input dan $0,50 per 1M token output. Itu adalah $0,00015 per 1.000 token input dan $0,0005 per 1.000 token output. Diterapkan pada bentuk di atas:

BentukBiaya inputBiaya outputPer permintaan
Giliran obrolan singkat$0,000225$0,0002$0,000425
Ringkasan dokumen panjang$0,0075$0,0005$0,008
Panggilan pengklasifikasi$0,000045$0,00001$0,000055
Penulisan panjang$0,00012$0,0015$0,00162

Perhatikan ke mana uang itu pergi. Dalam ringkasan dokumen, input adalah 94% dari tagihan. Dalam penulisan panjang, output adalah 93%. Penyedia dengan harga input murah dan harga output mahal terlihat bagus pada beban kerja pertama dan buruk pada yang kedua. Inilah mengapa satu angka "harga per juta" menyesatkan.

Skalakan ke satu bulan. Aplikasi obrolan yang mengirim 1.000 giliran pendek per hari selama 30 hari mengirim 45M token input ($6,75) dan 12M token output ($6,00), total $12,75.

Langkah 3: hitung riwayat yang tumbuh

API obrolan bersifat stateless. Setiap putaran Anda mengirim ulang prompt sistem dan setiap pesan sebelumnya, sehingga input bertambah seiring panjang percakapan sementara output per putaran tetap datar.

Ambil percakapan 10 giliran dengan prompt sistem 1.000 token. Setiap giliran menambahkan sekitar 300 token dari pengguna dan 200 dari model, sehingga 500 token riwayat baru per giliran. Giliran 1 mengirim 1.000 token input, giliran 2 mengirim 1.500, dan giliran 10 mengirim 5.500. Jumlahnya selama 10 giliran adalah 32.500 token input, ditambah 2.000 token output secara total.

input_tokens = sum(1000 + 500 * k for k in range(10))   # 32,500
output_tokens = 10 * 200                                # 2,000
cost = input_tokens * 0.15 / 1e6 + output_tokens * 0.50 / 1e6
print(round(cost, 6))   # 0.005875

Itu adalah $0,005875 untuk seluruh percakapan. Jika Anda hanya mengalikan satu putaran dengan sepuluh, Anda akan menghitung kurang input lebih dari setengah. Potong riwayat, ringkas putaran lama, atau batasi jendela jika angka tersebut penting bagi Anda. Panduan tentang penggunaan API LLM mencakup cara riwayat pesan dikirim.

Langkah 4: periksa aturan seputar harga

Dua penyedia dengan harga token yang sama masih bisa memiliki biaya berbeda per jawaban yang berguna. Periksa hal-hal ini sebelum Anda memutuskan:

  • Jendela konteks. Jendela yang lebih besar memungkinkan Anda melewatkan chunking, tetapi Anda membayar harga input untuk setiap token yang Anda kirim. Layanan ini memiliki jendela 100.000 token yang dibagi bersama oleh prompt dan completion.
  • Pembelian minimum. Di sini Anda mengisi saldo dengan jumlah bulat apa pun dari $20 hingga $500. Minimum $20 membeli sekitar 47.000 giliran obrolan pendek pada tarif di atas ($20 / $0,000425).
  • Kedaluwarsa. Saldo di sini tidak pernah kedaluwarsa. Beberapa penyedia kedaluwarsa saldo prabayar atau memerlukan langganan, jadi periksa ketentuan terbaru mereka.
  • Permintaan yang gagal. Permintaan yang gagal atau ditolak tidak dikenakan biaya di sini. Cari pernyataan yang sama di tempat lain.
  • Batas laju. Kunci penuh memungkinkan 8 permintaan konkuren dan 300 per menit. Harga murah tidak berguna jika pekerjaan batch Anda tidak dapat selesai.

Bonus volume juga menurunkan harga efektif. Isi saldo $200 mendapatkan +15%, sehingga Anda menerima kredit $230 dan tarif efektif Anda turun menjadi sekitar $0,13 input dan $0,43 output per 1M. Isi saldo $100 mendapatkan +10%, dan $50 mendapatkan +5%. Detail lengkap ada di halaman harga.

Ketika harga termurah bukan pilihan yang tepat

Harga per token mengabaikan kualitas. Model yang membutuhkan dua upaya untuk mendapatkan jawaban yang benar berharga dua kali lebih mahal per hasil yang berguna, dan model yang menolak permintaan Anda membuat Anda kehilangan waktu bahkan ketika tagihan nol. Jalankan 20 hingga 50 prompt nyata yang sama melalui setiap kandidat dan hitung berapa banyak jawaban yang akan Anda kirimkan. Bagi total pengeluaran dengan jumlah itu.

Model di sini adalah model bobot terbuka tunggal yang disesuaikan untuk menjawab tanpa penolakan konten untuk penggunaan dewasa yang sah. Ini bukan router dan bukan API resmi dari vendor model mana pun. Jika tugas Anda membutuhkan penalaran terkuat yang tersedia dan penolakan bukan masalah, model yang lebih besar dari penyedia lain mungkin memberikan biaya per jawaban yang diterima lebih baik meskipun pada harga token yang lebih tinggi. Periksa harga terbaru mereka dan ujilah dengan cara yang sama.

Cara cepat untuk menguji angka sendiri

Anda tidak perlu menebak. Setiap respons membawa header X-Balance-USD, dan API juga melaporkan penggunaan token, sehingga Anda dapat mengirim prompt nyata Anda dan membaca biaya aktual. Python di bawah ini menggunakan SDK OpenAI terhadap layanan ini dan mencetak blok penggunaan.

from openai import OpenAI

client = OpenAI(base_url="https://api.bestllmapi.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarize the pros and cons of prepaid API credit."}],
)
u = resp.usage
cost = u.prompt_tokens * 0.15 / 1e6 + u.completion_tokens * 0.50 / 1e6
print(u.prompt_tokens, u.completion_tokens, round(cost, 6))

Akun baru dapat mengklaim $0,50 kredit uji coba dengan satu klik di halaman kunci API. Pada bentuk 1.500-in / 400-out yang mencakup sekitar 1.170 permintaan, cukup untuk melakukan benchmark secara jujur. Jika Anda ingin melihat apakah tier gratis cukup untuk Anda terlebih dahulu, baca tentang opsi API LLM gratis.

Pertanyaan untuk ditanyakan tentang tier gratis apa pun

Penawaran gratis sangat berbeda, dan judul utama jarang memberi tahu Anda apa yang penting. Sebelum Anda membangun di atasnya, ajukan pertanyaan ini, dan temukan jawabannya dalam dokumentasi penyedia sendiri.

  • Model apa itu? Beberapa tier gratis menggunakan model yang lebih kecil daripada yang berbayar. Pengujian pada model yang lemah memberi tahu Anda sedikit tentang produksi.
  • Apa batas lajunya? Batas beberapa permintaan per menit bagus untuk skrip dan tidak berguna untuk aplikasi obrolan dengan beberapa pengguna.
  • Apakah itu kedaluwarsa? Alokasi satu kali dengan batas waktu adalah hal yang berbeda dari yang berulang setiap bulan.
  • Apa yang terjadi pada prompt Anda? Jika data digunakan untuk pelatihan, jangan tempelkan apa pun yang pribadi ke dalamnya. Di sini, prompt tidak digunakan untuk pelatihan.
  • Seperti apa jalur berbayarnya? Berpindah dari gratis ke berbayar harus menjadi perubahan status akun, bukan penulisan ulang.

Meng-hosting model bobot terbuka secara mandiri kadang-kadang disarankan sebagai jalur gratis. Perangkat lunak mungkin tidak memerlukan biaya, tetapi GPU yang Anda butuhkan untuk menjalankan model yang mumpuni memerlukan biaya, apakah Anda menyewanya per jam atau membelinya. Untuk proyek kecil, aritmatika biasanya mendukung membayar per token, karena Anda hanya membayar untuk apa yang Anda gunakan dan tidak ada biaya saat menganggur.

Memahami uji coba sebagai anggaran pengujian

Penting untuk memperlakukan uji coba sebagai anggaran tes daripada produk gratis. Habiskan secara berurutan: pertama beberapa permintaan biasa untuk mengonfirmasi koneksi, lalu prompt asli Anda pada sepuluh input yang bervariasi, lalu jalankan streaming, lalu satu prompt besar yang disengaja untuk melihat bagaimana model menangani konteks panjang. Simpan angka dari blok usage dalam catatan.

Setelah itu Anda mengetahui ukuran input rata-rata Anda, ukuran output rata-rata Anda, dan biaya nyata per tugas. Kalikan dengan lalu lintas yang Anda harapkan dan Anda memiliki angka bulanan yang didasarkan pada pengukuran, bukan tebakan. Jika angka tersebut dapat diterima, isi saldo $20 adalah langkah selanjutnya. Jika tidak, Anda belajar bahwa itu hanya beberapa sen.

Setelah uji coba: seperti apa proses pembayarannya

Ketika uji coba habis atau kedaluwarsa, Anda menambahkan saldo prabayar. Jumlah bulat apa pun dari $20 hingga $500 berfungsi. Isi saldo yang lebih besar membawa bonus: +5% dari $50, +10% dari $100, +15% dari $200. Isi saldo $100 menjadi kredit $110, dan $200 menjadi $230.

Anda dapat membayar dengan kripto (USDT pada TRC20, USDC pada Base). Tidak ada langganan dan tidak ada minimum bulanan. Saldo tidak pernah kedaluwarsa, jadi isi saldo $20 yang Anda gunakan perlahan tidak sia-sia. Setiap respons menyertakan header X-Balance-USD, yang memungkinkan kode Anda sendiri mengawasi saldo tanpa dasbor.

Permintaan yang gagal atau ditolak tidak dikenakan biaya. Jika permintaan error, Anda tidak membayarnya. Prompt tidak digunakan untuk pelatihan. Lihat harga untuk tabel lengkap.

Cara murah membuat kredit bertahan

Anda tidak membutuhkan trik, hanya beberapa kebiasaan.

  1. Potong riwayat. Simpan N putaran terakhir beserta ringkasan singkat dari putaran sebelumnya, bukan mengirim ulang semua data.
  2. Atur batas atas max_tokens pada tugas di mana jawaban pendek sudah cukup. Ini opsional di sini, tetapi itu membatasi sisi output, yang merupakan sisi yang lebih mahal per token.
  3. Gunakan mode JSON (response_format dengan json_object) untuk tugas ekstraksi agar Anda tidak membayar untuk pembuka yang bertele-tele.
  4. Uji dengan input kecil terlebih dahulu. Buktikan prompt pada sepuluh contoh sebelum menjalankan sepuluh ribu.
  5. Tangani 429 dengan backoff. Mencoba lagi dalam loop ketat pada kunci uji (2 konkuren, 60 per menit) membuang waktu Anda sendiri. Tunggu header Retry-After jika ada.

Jika Anda membandingkan opsi sebelum mengeluarkan biaya, halaman tentang Hugging Face Inference API versus endpoint ini mencakup keputusan terkait.

Panggilan pertama untuk menghabiskan kredit uji coba pada

Berikut adalah permintaan minimal. Ganti kunci dengan kunci dari dasbor Anda.

curl https://api.bestllmapi.com/v1/chat/completions \
  -H "Authorization: Bearer YOUR_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model": "uncensored", "messages": [{"role": "user", "content": "Say hello in five words."}]}'

Respons mencakup blok penggunaan dengan jumlah token prompt dan completion. Kalikan angka tersebut dengan harga di atas dan Anda akan mendapatkan biaya tepat untuk panggilan tersebut. Lakukan beberapa kali dan Anda akan memiliki gambaran tentang beban kerja Anda sendiri, yang lebih berharga daripada perkiraan apa pun. Dokumen quickstart mencakup streaming, alat, dan kode kesalahan.

Tanya jawab

Haruskah saya membandingkan harga input atau harga output?

Keduanya, dengan bobot sesuai beban kerja Anda. Pekerjaan yang padat dokumen didominasi oleh harga input, sedangkan pekerjaan penulisan didominasi oleh harga output.

Bagaimana saya menghitung token sebelum membeli?

Jalankan sampel prompt nyata melalui tokenizer, atau kirimkan ke API dan baca blok penggunaan dalam respons. Angka penggunaan adalah dasar penagihan Anda.

Apakah permintaan yang gagal dikenakan biaya di sini?

Tidak. Permintaan yang gagal atau ditolak tidak dikenakan biaya pada layanan ini. Periksa ketentuan penyedia lain mana pun yang Anda bandingkan.

Apakah ada langganan?

Tidak. Sistemnya adalah bayar sesuai penggunaan dari kredit prabayar, dan kredit tidak pernah kedaluwarsa.

Kunci Anda hanya selangkah lagi dari satu formulir

Buat akun, salin kunci, ubah URL dasar. Itu saja seluruh setupnya.

Dapatkan kunci API