KO ▾
API 키 받기

Best LLM API 가이드

LLM API 사용법: 첫 호출부터 스트리밍까지

LLM API 사용은 HTTPS를 통해 JSON 메시지 목록을 보내고 응답을 읽는 것입니다. 이 가이드는 키 획득부터 첫 요청, 스트리밍, JSON 출력 및 도구 호출까지 안내합니다.

업데이트:

터미널에서 서버로 이동하는 빛나는 요청 패킷과 스트리밍되는 토큰

주요 포인트

  • 이 엔드포인트는 OpenAI 호환입니다: 베이스 URL과 키만 변경하면 SDK를 그대로 사용할 수 있습니다.
  • 모델 ID uncensored를 사용하고 /v1/chat/completions으로 POST합니다.
  • 스트리밍, JSON 모드 및 함수 호출이 모두 지원됩니다.
  • 429는 속도를 줄이라는 의미이며, 오류 코드를 읽어 원인을 확인하세요.

LLM API 호출이란 무엇인가

LLM API 서비스를 어떻게 사용하는지 궁금하시다면, 개념은 간단합니다. 메시지 목록이 포함된 HTTPS POST를 전송합니다. 각 메시지에는 역할(system, user 또는 assistant)과 텍스트가 포함됩니다. 서버는 모델을 실행하고 다음 어시스턴트 메시지를 반환합니다. 이것이 전체 계약입니다.

모델은 호출 간에 메모리를 유지하지 않습니다. 대화를 원한다면 매번 이전 메시지를 다시 보냅니다. 이것이 프롬프트가 길어지고 비용이 증가하며 100,000토큰 컨텍스트 창이 중요한 이유입니다: 프롬프트와 응답의 합계가 한도이기 때문입니다.

이 서비스는 OpenAI Chat Completions API와 동일한 프로토콜을 사용합니다. 베이스 URL과 키만 변경하면 모든 OpenAI SDK 또는 호환 클라이언트가 작동합니다. 텍스트만 입력되고 출력됩니다. 이미지, 오디오 또는 비디오 생성과 임베딩 엔드포인트는 없습니다.

이 가이드의 나머지 부분에서는 몇 가지 용어가 사용됩니다. 토큰은 텍스트의 조각으로, 평균적으로 영어 단어의 약 3/4 정도입니다. 입력 토큰은 당신이 보내는 모든 것이고, 출력 토큰은 모델이 작성하는 것입니다. 당신은 둘 모두에 대해 다른 요금으로 청구되며, 응답은 정확히 각각 몇 개를 사용했는지 알려줍니다. 베이스 URL은 클라이언트가 모든 경로에 붙이는 주소이고, API 키은 요청이 당신의 것임을 증명하는 비밀입니다. 이 네 단어를 알면 나머지는 일상적인 작업입니다.

1단계: 키를 얻고 세 가지 값을 확인하세요

Google 또는 이메일과 비밀번호로 계정을 생성하고 API 키 페이지를 엽니다. 거기서 한 번의 클릭으로 키를 복사하고 $0.50 무료 체험 크레딧을 청구할 수 있습니다. 체험에는 카드가 필요하지 않습니다.

모든 요청에는 세 가지 값이 필요합니다:

  • 베이스 URL: https://api.bestllmapi.com/v1
  • 모델 ID: uncensored
  • 인증 헤더: Authorization: Bearer YOUR_KEY

키를 소스 제어(Git 등)에 커밋하지 마세요. LLM_API_KEY 같은 환경 변수에 넣고 거기서 읽으세요. 키를 가진 사람은 누구나 당신의 크레딧을 사용할 수 있습니다.

2단계: curl로 첫 요청 보내기

curl은 라이브러리 사용 전 모든 것이 작동하는지 확인하는 가장 빠른 방법입니다.

export LLM_API_KEY="paste-your-key-here"

curl https://api.bestllmapi.com/v1/chat/completions \
  -H "Authorization: Bearer $LLM_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [
      {"role": "system", "content": "You are a concise assistant."},
      {"role": "user", "content": "Explain what a token is in two sentences."}
    ],
    "temperature": 0.7
  }'

응답은 JSON입니다. 텍스트는 choices[0].message.content에 있고, usage 객체는 프롬프트 및 완성 토큰을 나열하며, 이것이 청구 대상입니다. GET https://api.bestllmapi.com/v1/models로 모델을 나열할 수도 있습니다. uncensored이 표시되어야 합니다.

응답 헤더도 도움이 됩니다. X-Request-Id은 지원팀에 문의할 때 호출을 식별하고, X-Balance-USD은 계정에 남은 금액을 보여줍니다.

응답 읽기 및 매개변수 선택

응답에는 파싱 코드를 작성하기 전에 알아야 할 몇 가지 필드가 있습니다. choices는 목록이며, 거의 항상 첫 번째 항목이 필요합니다. 그 안에 message.content은 텍스트를 포함하고, finish_reason은 모델이 멈춘 이유를 알려줍니다. stop 값은 자연스럽게 끝났음을 의미합니다. length 값은 max_tokens 한도에 도달했거나 창이 부족해졌음을 의미하므로 답변이 문장 중간에 잘릴 수 있습니다.

usage 객체는 프롬프트 토큰, 완성 토큰 및 합계를 제공합니다. 첫날부터 모든 호출에 대해 이를 로깅하세요. 이는 앱의 실제 비용을 배우는 유일한 신뢰할 수 있는 방법이며, 동일한 긴 프롬프트를 두 번 보내는 버그를 쉽게 찾아낼 수 있게 해줍니다.

매개변수 선택은 주로 작업 유형에 달려 있습니다. 추출, 분류 및 코드의 경우 0.2와 같은 낮은 온도를 사용하여 동일한 입력이 거의 동일한 출력을 얻도록 합니다. 브레인스토밍과 이야기의 경우 0.8에서 1.0은 더 많은 다양성을 제공합니다. 한 번에 하나의 값만 변경하고, 두 프롬프트 버전 간에 반복 가능한 비교가 필요할 때 seed를 사용하세요.

3단계: Python 또는 Node에서 OpenAI SDK 사용

실제로는 라이브러리를 사용할 것입니다. Python에서는 pip install openai로 설치하고 새 베이스 URL을 가리킵니다.

import os
from openai import OpenAI

client = OpenAI(
    base_url="https://api.bestllmapi.com/v1",
    api_key=os.environ["LLM_API_KEY"],
)

resp = client.chat.completions.create(
    model="uncensored",
    messages=[
        {"role": "system", "content": "You are a concise assistant."},
        {"role": "user", "content": "Give me three names for a hiking app."},
    ],
    temperature=0.8,
    max_tokens=200,
)

print(resp.choices[0].message.content)
print(resp.usage.prompt_tokens, resp.usage.completion_tokens)

Node 버전은 거의 동일합니다. npm install openai로 설치합니다.

import OpenAI from "openai";

const client = new OpenAI({
  baseURL: "https://api.bestllmapi.com/v1",
  apiKey: process.env.LLM_API_KEY,
});

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Give me three names for a hiking app." }],
});

console.log(resp.choices[0].message.content);

max_tokens은 선택 사항입니다. 생략하면 응답은 100,000토큰 창에 남은 것을 모두 사용할 수 있으므로 짧은 답변을 원할 때 설정하세요. 샘플링 설정 temperature, top_p, stop, seed 및 페널티는 모델에 전달됩니다.

4단계: 응답 스트리밍

스트리밍 없이 사용자는 전체 답변이 준비될 때까지 빈 화면을 바라봐야 합니다. stream: true를 사용하면 서버는 생성되는 대로 Server-Sent Events를 통해 토큰을 보내고, 사용량 총합은 끝에 도착합니다.

import os
from openai import OpenAI

client = OpenAI(base_url="https://api.bestllmapi.com/v1", api_key=os.environ["LLM_API_KEY"])

stream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Write a short product description for a desk lamp."}],
    stream=True,
)

for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)
    if getattr(chunk, "usage", None):
        print("\nTokens:", chunk.usage.total_tokens)

기억해야 할 한 가지: 스트리밍된 요청은 스트림이 끝날 때까지 동시 요청 슬롯을 유지합니다. 전체 키는 8개의 동시 요청을 허용하고, 체험 키는 2개를 허용합니다. 사용자가 탭을 닫으면 스트림도 직접 닫아야 합니다. 그렇지 않으면 슬롯이 계속 사용 중으로 유지됩니다.

대화 유지하기

API에 메모리가 없으므로 채팅 앱은 목록에 추가하는 루프입니다. 아래 패턴은 거의 모든 채팅봇의 핵심입니다.

import os
from openai import OpenAI

client = OpenAI(base_url="https://api.bestllmapi.com/v1", api_key=os.environ["LLM_API_KEY"])

messages = [{"role": "system", "content": "You are a friendly travel planner."}]

while True:
    user_text = input("You: ")
    if user_text.strip().lower() in ("quit", "exit"):
        break
    messages.append({"role": "user", "content": user_text})
    resp = client.chat.completions.create(model="uncensored", messages=messages)
    answer = resp.choices[0].message.content
    messages.append({"role": "assistant", "content": answer})
    print("Bot:", answer)

각 반복은 전체 목록을 다시 보내므로 채팅이 길어질수록 턴당 비용이 증가합니다. 가격은 입력 토큰 100만 개당 $0.15, 출력 토큰 100만 개당 $0.50입니다. 입력 토큰 2,000개와 출력 토큰 400개로 구성된 턴의 비용은 2,000 / 1,000,000 x $0.15 = $0.0003 + 400 / 1,000,000 x $0.50 = $0.0002로 $0.0005입니다. 이 속도로 $0.50 무료 체험 크레딧은 약 1,000 턴을 커버합니다.

목록이 길어지면 가장 오래된 user 및 assistant 메시지를 삭제하지만 system 메시지를 맨 위에 유지하세요. 또는 모델에게 초기 턴에 대한 짧은 요약을 작성하도록 요청하고 그것으로 대체할 수 있습니다.

5단계: JSON 모드 및 도구 호출

코드에서 응답을 구문 분석해야 할 때 JSON을 요청하세요. response_format을 {"type": "json_object"}로 설정하고 프롬프트에 "JSON"도 명시하여 모델이 원하는 형태를 알도록 합니다.

import os, json
from openai import OpenAI

client = OpenAI(base_url="https://api.bestllmapi.com/v1", api_key=os.environ["LLM_API_KEY"])

resp = client.chat.completions.create(
    model="uncensored",
    response_format={"type": "json_object"},
    messages=[
        {"role": "system", "content": "Reply only with JSON."},
        {"role": "user", "content": "Extract name and city: 'Maria lives in Lisbon.' Use keys name and city."},
    ],
)
print(json.loads(resp.choices[0].message.content))

함수 호출은 모델이 당신의 코드에 함수를 실행하도록 요청할 수 있게 합니다. 함수를 tools에 설명합니다; 모델은 텍스트 대신 tool_calls 항목으로 응답합니다; 당신은 함수를 실행하고 role: "tool"로 결과를 다시 보냅니다.

import os, json
from openai import OpenAI

client = OpenAI(base_url="https://api.bestllmapi.com/v1", api_key=os.environ["LLM_API_KEY"])

tools = [{
    "type": "function",
    "function": {
        "name": "get_order_status",
        "description": "Look up an order by its id",
        "parameters": {
            "type": "object",
            "properties": {"order_id": {"type": "string"}},
            "required": ["order_id"],
        },
    },
}]

messages = [{"role": "user", "content": "Where is order A-1042?"}]
first = client.chat.completions.create(
    model="uncensored", messages=messages, tools=tools, tool_choice="auto"
)
msg = first.choices[0].message

if msg.tool_calls:
    call = msg.tool_calls[0]
    args = json.loads(call.function.arguments)
    result = {"order_id": args["order_id"], "status": "shipped"}
    messages.append(msg)
    messages.append({
        "role": "tool",
        "tool_call_id": call.id,
        "content": json.dumps(result),
    })
    final = client.chat.completions.create(
        model="uncensored", messages=messages, tools=tools
    )
    print(final.choices[0].message.content)

모델은 가끔 잘못된 인수를 생성할 수 있으므로, 실제 코드에서 json.loads를 try 블록으로 감싸고 구문 분석이 실패할 경우 도구 결과로 오류를 보내야 합니다.

문제가 발생했을 때

대부분의 첫날 문제는 이 중 하나입니다.

  • 401 또는 인증 오류: 키가 누락되었거나 오타가 있거나, 헤더가 Bearer KEY 형식이 아닙니다.
  • 404: 베이스 URL에 /v1이 누락되었거나 잘못된 경로를 호출했습니다. 채팅 경로는 /v1/chat/completions입니다.
  • 코드 rate_limited이 포함된 429: 분당 요청 제한(전체 키의 경우 300, 체험 키의 경우 60)을 초과했습니다.
  • 코드 concurrency이 포함된 429: 동시에 너무 많은 요청이 발생했습니다(전체 키의 경우 8, 체험 키의 경우 2). 호출을 큐에 넣으세요.
  • Retry-After: 5이 포함된 429: 일시적인 과부하입니다. 5초 기다렸다가 다시 시도하세요.
  • 요청이 너무 큼: 본문 한도는 8 MB이며 프롬프트와 응답을 합쳐 100,000토큰 이내여야 합니다.

실패하거나 거부된 요청에는 요금이 청구되지 않으므로 신중하게 다시 시도해도 추가 비용이 들지 않습니다. 모든 오류 코드와 더 많은 예제를 보려면 문서를 읽고, 입력 토큰 1M당 $0.15, 출력 토큰 1M당 $0.50으로 작업량 비용이 얼마나 들지 추정하려면 가격 책정을 확인하세요.

코드에서 정중하게 다시 시도하기

많은 요청을 보내는 스크립트는 결국 429를 만나게 됩니다. 해결책은 기다리고 다시 시도하는 작은 재시도 래퍼입니다. 이 버전은 API가 일시적 과부하에 요청하는 5초 대기 시간을 준수합니다.

import os, time
from openai import OpenAI, RateLimitError

client = OpenAI(base_url="https://api.bestllmapi.com/v1", api_key=os.environ["LLM_API_KEY"])

def ask(prompt, tries=5):
    for attempt in range(tries):
        try:
            r = client.chat.completions.create(
                model="uncensored",
                messages=[{"role": "user", "content": prompt}],
            )
            return r.choices[0].message.content
        except RateLimitError:
            time.sleep(5 * (attempt + 1))
    raise RuntimeError("still rate limited after retries")

print(ask("List three uses for a paperclip."))

많은 요청을 병렬로 실행하는 경우, 동시 요청 제한에 따라 작업자 수를 제한하세요. 8개의 스레드 풀은 전체 키와 일치하고, 2는 체험 키와 일치합니다. 그 이상으로 가면 오직 concurrency 오류만 발생합니다.

질문과 답변

특별한 SDK가 필요한가요?

아니요. 모든 OpenAI SDK 또는 OpenAI 호환 클라이언트가 작동합니다. 베이스 URL을 https://api.bestllmapi.com/v1로 설정하고 API 키를 사용한 후, 모델을 uncensored로 설정하세요.

지불하기 전에 사용해 볼 수 있나요?

네. 신규 사용자는 API 키 페이지에서 한 번의 클릭으로 $0.50의 무료 체험 크레딧을 받을 수 있습니다. 카드가 필요 없으며 7일 동안 유효합니다.

API가 이전 메시지를 기억하나요?

아니요. 각 요청에서 메시지 목록에 대화 기록을 보내세요. 프롬프트와 응답의 합계가 100,000 토큰 컨텍스트 창에 들어갈 수 있어야 합니다.

429 오류는 무엇을 의미하나요?

제한에 도달했습니다. rate_limited 코드는 분당 요청 수가 많음을, concurrency는 동시 요청이 많음을, Retry-After 헤더는 일시적 과부하를 의미합니다.

키는 양식 하나만 작성하면 받을 수 있습니다

계정을 생성하고 키를 복사한 후 베이스 URL을 변경하세요. 설정은 이것으로 끝입니다.

API 키 받기