VI ▾
Lấy khóa API

Best LLM API Hướng dẫn

So sánh giá API LLM: Cách so sánh công bằng

So sánh giá API LLM chỉ có ý nghĩa khi mọi nhà cung cấp được định giá dựa trên cùng một khối lượng công việc, chứ không phải cùng một con số công bố. Bài viết này cung cấp cho bạn một phương pháp ngắn gọn, sau đó áp dụng nó với giá $0,15 cho mỗi 1 triệu token đầu vào và $0,50 cho mỗi 1 triệu token đầu ra.

Cập nhật:

Cân cân bằng các chồng khối phát sáng, đại diện cho chi phí token input và output
Tiền xu đẳng hướng cung cấp dòng khối token vào máy chủ, minh họa tín dụng dùng thử miễn phí cho API LLM

Điểm chính

  • Định giá một cấu trúc yêu cầu thực tế (token đầu vào, token đầu ra, lượt hội thoại), chứ không phải một con số tiêu đề trên mỗi triệu.
  • Token đầu ra thường đắt hơn token đầu vào, vì vậy một khối lượng công việc nhiều lời thoại sẽ thay đổi thứ hạng.
  • Số tiền nạp tối thiểu, thời hạn sử dụng và cách tính phí cho yêu cầu thất bại sẽ thay đổi những gì một đô la thực sự mua được.
  • Ở mức $0,15 cho input và $0,50 cho output, một yêu cầu với 1.500 token input và 400 token output tốn $0,000425.

Bốn con số mà mọi bảng giá đều ẩn đi

Hầu hết các trang giá cả đều hiển thị hai con số: đô la cho mỗi triệu token input và đô la cho mỗi triệu token output. Hai con số đó đủ để so sánh các nhà cung cấp, nhưng chỉ sau khi bạn thêm hai con số nữa đến từ ứng dụng của chính bạn: số token bạn gửi đi mỗi yêu cầu và số token bạn nhận lại.

  1. Giá token đầu vào cho mỗi 1M token. Điều này bao gồm prompt hệ thống, lịch sử trò chuyện và bất kỳ tài liệu nào bạn dán vào.
  2. Giá token đầu ra cho mỗi 1M token. Điều này bao gồm mọi thứ mà mô hình trả lại.
  3. Kích thước input của bạn cho mỗi yêu cầu, bao gồm lịch sử được gửi lại ở mỗi lượt.
  4. Kích thước output của bạn cho mỗi yêu cầu, phụ thuộc vào việc bạn cho phép phản hồi chạy dài đến mức nào.

Chi phí cho mỗi yêu cầu là input_tokens x input_price / 1,000,000 + output_tokens x output_price / 1,000,000. Mọi nội dung khác trong bài viết này là sự điều chỉnh dựa trên công thức đó.

Bước 1: xác định cấu trúc yêu cầu

Chọn ba hoặc bốn loại yêu cầu mà sản phẩm của bạn thực sự gửi. Một bot hỗ trợ, một trình viết truyện và một bộ phân loại hàng loạt có cấu trúc rất khác nhau, và một nhà cung cấp có thể thắng ở tác vụ này nhưng lại thua ở tác vụ khác.

Cấu trúcToken đầu vàoToken đầu ra
Lượt trò chuyện ngắn1,500400
Tóm tắt tài liệu dài50,0001,000
Gọi bộ phân loại30020
Viết văn dài8003,000

Nếu bạn chưa có nhật ký, hãy lấy một vài cuộc hội thoại thực tế và đếm token bằng bất kỳ bộ tokenizer nào. Một quy tắc thô sơ là một token tương đương khoảng bốn ký tự tiếng Anh, nhưng mã và văn bản không phải tiếng Anh có mật độ token cao hơn. Hãy đo lường trước khi tin vào quy tắc đó.

Bước 2: thực hiện phép tính ở mức $0,15 và $0,50

Dịch vụ này tính $0,15 cho mỗi 1M token input và $0,50 cho mỗi 1M token output. Đó là $0,00015 cho mỗi 1.000 token input và $0,0005 cho mỗi 1.000 token output. Áp dụng vào các hình dạng ở trên:

Cấu trúcChi phí đầu vàoChi phí đầu raTheo yêu cầu
Lượt trò chuyện ngắn$0.000225$0.0002$0.000425
Tóm tắt tài liệu dài$0.0075$0.0005$0.008
Gọi bộ phân loại$0.000045$0.00001$0.000055
Viết văn dài$0.00012$0.0015$0.00162

Hãy chú ý nơi tiền được chi. Trong tóm tắt tài liệu, input chiếm 94% hóa đơn. Trong viết văn bản dài, output chiếm 93%. Một nhà cung cấp có giá input rẻ và giá output đắt trông rất tốt cho tác vụ đầu tiên nhưng kém cho tác vụ thứ hai. Đây là lý do tại sao một con số "giá cho mỗi triệu" đơn thuần có thể gây hiểu lầm.

Nhân nó lên cho một tháng. Một ứng dụng chat gửi 1.000 lượt ngắn mỗi ngày trong 30 ngày sẽ gửi 45M token input ($6,75) và 12M token output ($6,00), tổng cộng $12,75.

Bước 3: tính đến lịch sử phát triển

Các API chat là không trạng thái. Ở mỗi lượt, bạn gửi lại prompt hệ thống và mọi tin nhắn trước đó, vì vậy input tăng lên theo độ dài của cuộc hội thoại trong khi output mỗi lượt vẫn giữ nguyên.

Hãy lấy một cuộc hội thoại 10 lượt với prompt hệ thống 1.000 token. Mỗi lượt thêm khoảng 300 token từ người dùng và 200 từ mô hình, tức là 500 token lịch sử mới mỗi lượt. Lượt 1 gửi 1.000 token input, lượt 2 gửi 1.500, và lượt 10 gửi 5.500. Tổng cộng qua 10 lượt là 32.500 token input, cộng thêm 2.000 token output tổng cộng.

input_tokens = sum(1000 + 500 * k for k in range(10))   # 32,500
output_tokens = 10 * 200                                # 2,000
cost = input_tokens * 0.15 / 1e6 + output_tokens * 0.50 / 1e6
print(round(cost, 6))   # 0.005875

Điều đó tương đương $0.005875 cho toàn bộ cuộc hội thoại. Nếu bạn chỉ nhân một lượt tương tác lên mười lần, bạn đã tính thiếu đầu vào hơn một nửa. Cắt ngắn lịch sử, tóm tắt các lượt cũ, hoặc giới hạn cửa sổ nếu con số này quan trọng với bạn. Hướng dẫn sử dụng API LLM bao gồm cách gửi lịch sử tin nhắn.

Bước 4: kiểm tra các quy tắc xung quanh giá cả

Hai nhà cung cấp có cùng giá token vẫn có thể có chi phí khác nhau cho mỗi câu trả lời hữu ích. Hãy kiểm tra những điều này trước khi quyết định:

  • Cửa sổ ngữ cảnh. Cửa sổ lớn hơn cho phép bạn bỏ qua việc phân mảnh, nhưng bạn phải trả giá đầu vào cho mọi token bạn gửi. Dịch vụ này có cửa sổ 100.000 token dùng chung cho prompt và kết quả.
  • Mua tối thiểu. Tại đây bạn có thể nạp tiền với bất kỳ số nguyên nào từ $20 đến $500. Mức tối thiểu $20 mua được khoảng 47.000 lượt hội thoại ngắn với mức giá trên ($20 / $0,000425).
  • Hạn sử dụng. Tín dụng ở đây không bao giờ hết hạn. Một số nhà cung cấp làm hết hạn số dư trả trước hoặc yêu cầu đăng ký, vì vậy hãy kiểm tra các điều khoản hiện tại của họ.
  • Yêu cầu thất bại. Các yêu cầu thất bại hoặc bị từ chối không bị tính phí tại đây. Hãy tìm tuyên bố tương tự ở nơi khác.
  • Giới hạn tốc độ. Khóa đầy đủ cho phép 8 yêu cầu đồng thời và 300 yêu cầu mỗi phút. Giá rẻ là vô ích nếu công việc batch của bạn không thể hoàn thành.

Các khoản giảm giá theo khối lượng cũng làm giảm giá hiệu dụng. Nạp $200 được +15%, nên bạn nhận được $230 tín dụng và mức giá hiệu dụng giảm xuống còn khoảng $0,13 đầu vào và $0,43 đầu ra cho mỗi 1 triệu. Nạp $100 được +10%, và $50 được +5%. Chi tiết đầy đủ có trên trang giá.

Khi mức giá rẻ nhất không phải là lựa chọn đúng

Giá trên mỗi token bỏ qua chất lượng. Một mô hình cần hai lần thử để có câu trả lời đúng sẽ tốn gấp đôi chi phí cho mỗi kết quả hữu ích, và một mô hình từ chối yêu cầu của bạn sẽ tốn thời gian của bạn ngay cả khi hóa đơn bằng không. Hãy chạy cùng 20 đến 50 prompt thực tế qua từng ứng viên và đếm xem bạn sẽ thực sự gửi đi bao nhiêu câu trả lời. Chia tổng chi tiêu cho số lượng đó.

Mô hình ở đây là một mô hình trọng số mở đơn lẻ được tinh chỉnh để trả lời mà không từ chối nội dung cho mục đích người lớn hợp pháp. Nó không phải là bộ định tuyến và không phải là API chính thức của bất kỳ nhà cung cấp mô hình nào. Nếu tác vụ của bạn cần khả năng suy luận mạnh nhất và việc từ chối không phải là vấn đề, một mô hình lớn hơn từ nhà cung cấp khác có thể mang lại chi phí trên mỗi câu trả lời được chấp nhận tốt hơn ngay cả ở mức giá token cao hơn. Hãy kiểm tra giá cả hiện tại của họ và kiểm tra nó theo cách tương tự.

Một cách nhanh chóng để tự kiểm tra các con số

Bạn không cần phải đoán. Mọi phản hồi đều có tiêu đề X-Balance-USD, và API cũng báo cáo việc sử dụng token, vì vậy bạn có thể gửi prompt thực và đọc chi phí thực tế. Python bên dưới sử dụng SDK OpenAI với dịch vụ này và in ra khối usage.

from openai import OpenAI

client = OpenAI(base_url="https://api.bestllmapi.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarize the pros and cons of prepaid API credit."}],
)
u = resp.usage
cost = u.prompt_tokens * 0.15 / 1e6 + u.completion_tokens * 0.50 / 1e6
print(u.prompt_tokens, u.completion_tokens, round(cost, 6))

Tài khoản mới có thể nhận $0,50 tín dụng dùng thử chỉ với một cú nhấp chuột trên trang khóa API. Ở cấu trúc 1.500 token đầu vào / 400 token đầu ra, điều này bao gồm khoảng 1.170 yêu cầu, đủ để đánh giá một cách trung thực. Nếu bạn muốn xem liệu gói miễn phí có đủ cho bạn trước không, hãy đọc về các tùy chọn API LLM miễn phí.

Các câu hỏi cần hỏi về bất kỳ gói miễn phí nào

Các ưu đãi miễn phí khác nhau rất nhiều, và tiêu đề hiếm khi cho bạn biết những gì quan trọng. Trước khi xây dựng dựa trên một gói, hãy đặt những câu hỏi này và tìm câu trả lời trong tài liệu chính thức của nhà cung cấp.

  • Đó là mô hình nào? Một số gói miễn phí sử dụng mô hình nhỏ hơn so với gói trả phí. Một bài kiểm tra trên mô hình yếu cho bạn biết ít về hiệu năng thực tế.
  • Giới hạn tốc độ là gì? Giới hạn vài yêu cầu mỗi phút là tốt cho một tập lệnh và vô dụng cho một ứng dụng chat có nhiều người dùng.
  • Nó có hết hạn không? Một khoản cho phép một lần có thời hạn là một thứ khác với khoản hàng tháng tái phát.
  • Những gì xảy ra với prompt của bạn? Nếu dữ liệu được sử dụng để huấn luyện, đừng dán bất kỳ thông tin riêng tư nào vào API/dịch vụ. Ở đây, prompt không được sử dụng để huấn luyện.
  • Đường dẫn trả phí trông như thế nào? Chuyển từ miễn phí sang trả phí nên là sự thay đổi trạng thái tài khoản, chứ không phải là viết lại.

Tự lưu trữ một mô hình trọng số mở đôi khi được đề xuất như một cách miễn phí. Phần mềm có thể không tốn phí, nhưng GPU bạn cần để chạy một mô hình có khả năng thì có, dù bạn thuê theo giờ hay mua nó. Đối với một dự án nhỏ, phép tính thường nghiêng về việc trả tiền theo token, vì bạn chỉ trả tiền cho những gì mình sử dụng và không tốn gì khi nhàn rỗi.

Đọc gói dùng thử như một ngân sách thử nghiệm

Bạn nên coi gói dùng thử là ngân sách kiểm tra chứ không phải sản phẩm miễn phí. Hãy sử dụng nó theo một thứ tự cố định: đầu tiên là một vài yêu cầu đơn giản để xác nhận kết nối, sau đó là prompt thực của bạn trên mười đầu vào khác nhau, sau đó là một lần chạy truyền phát, rồi một prompt lớn cố ý để xem mô hình xử lý ngữ cảnh dài như thế nào. Hãy ghi lại các số từ khối usage vào một ghi chú.

Sau đó, bạn biết kích thước đầu vào trung bình, kích thước đầu ra trung bình và chi phí thực tế cho mỗi tác vụ. Nhân với lưu lượng bạn dự kiến và bạn có một con số hàng tháng dựa trên các phép đo, không phải phỏng đoán. Nếu con số đó có thể chấp nhận được, việc nạp tiền $20 là bước tiếp theo. Nếu không, bạn đã học được điều đó với vài xu.

Sau khi dùng thử: cách thức thanh toán

Khi gói dùng thử hết hạn hoặc cạn kiệt, bạn sẽ thêm tín dụng trả trước. Bất kỳ số nguyên đô la nào từ $20 đến $500 đều được. Các khoản nạp lớn hơn có thêm phần thưởng: +5% từ $50, +10% từ $100, +15% từ $200. Khoản nạp $100 trở thành $110 tín dụng, và $200 trở thành $230.

Bạn có thể thanh toán bằng tiền mã hóa (USDT trên TRC20, USDC trên Base). Không có đăng ký và không có mức tối thiểu hàng tháng. Tín dụng không bao giờ hết hạn, vì vậy một khoản nạp $20 mà bạn sử dụng chậm rãi sẽ không bị lãng phí. Mỗi phản hồi bao gồm tiêu đề X-Balance-USD, cho phép mã của bạn theo dõi số dư mà không cần bảng điều khiển.

Các yêu cầu thất bại hoặc bị từ chối không bị tính phí. Nếu một yêu cầu bị lỗi, bạn không phải trả tiền cho nó. Các prompt không được sử dụng để huấn luyện. Xem giá để có bảng đầy đủ.

Các cách rẻ để kéo dài tín dụng

Bạn không cần các thủ thuật, chỉ cần một vài thói quen.

  1. Cắt giảm lịch sử. Giữ lại N lượt gần nhất cộng với một tóm tắt ngắn gọn về các lượt cũ thay vì gửi lại mọi thứ.
  2. Đặt giới hạn trên cho max_tokens trong các tác vụ mà câu trả lời ngắn là đủ.
  3. Sử dụng chế độ JSON (response_format với json_object) cho các tác vụ trích xuất để bạn không phải trả tiền cho phần mở đầu dài dòng.
  4. Kiểm thử với dữ liệu đầu vào nhỏ trước. Chứng minh prompt trên mười ví dụ trước khi chạy mười nghìn lần.
  5. Xử lý lỗi 429 bằng cơ chế backoff. Thử lại trong vòng lặp chặt chẽ trên khóa dùng thử (2 yêu cầu đồng thời, 60 mỗi phút) sẽ lãng phí thời gian của bạn. Hãy đợi tiêu đề Retry-After khi có.

Nếu bạn đang so sánh các tùy chọn trước khi chi tiêu bất kỳ khoản nào, trang về Hugging Face Inference API so với endpoint này bao gồm một quyết định liên quan.

Lần gọi đầu tiên để sử dụng tín dụng dùng thử trên

Đây là một yêu cầu tối thiểu. Thay thế khóa bằng khóa từ bảng điều khiển của bạn.

curl https://api.bestllmapi.com/v1/chat/completions \
  -H "Authorization: Bearer YOUR_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model": "uncensored", "messages": [{"role": "user", "content": "Say hello in five words."}]}'

Phản hồi bao gồm một khối usage với số lượng token prompt và kết quả. Nhân những số đó với giá ở trên và bạn có chi phí chính xác của lệnh gọi. Làm điều đó vài lần và bạn sẽ có cảm nhận về khối lượng công việc của mình, điều này có giá trị hơn bất kỳ ước lượng nào. tài liệu quickstart bao gồm truyền phát, công cụ và mã lỗi.

Hỏi đáp

Tôi có nên so sánh giá input hay giá output không?

Cả hai, được cân nặng theo khối lượng công việc của bạn. Các tác vụ nặng về tài liệu chịu ảnh hưởng lớn bởi giá input, trong khi các tác vụ nặng về văn bản chịu ảnh hưởng bởi giá output.

Làm sao để đếm token trước khi mua?

Chạy một mẫu prompt thực tế qua bộ tokenizer, hoặc gửi chúng đến API và đọc khối usage trong phản hồi. Các số usage này là cơ sở để bạn tính phí.

Các yêu cầu thất bại có tốn tiền không?

Không. Các yêu cầu thất bại hoặc bị từ chối không bị tính phí trên dịch vụ này. Hãy kiểm tra điều khoản của bất kỳ nhà cung cấp nào bạn so sánh.

Có gói đăng ký không?

Không. Bạn chỉ trả tiền theo mức sử dụng từ tín dụng trả trước, và tín dụng này không bao giờ hết hạn.

Khóa của bạn chỉ cách một bước

Tạo tài khoản, sao chép khóa, thay đổi URL cơ sở. Đó là toàn bộ thiết lập.

Lấy khóa API