TH ▾
รับคีย์ API

Best LLM API คู่มือ

วิธีใช้ LLM API: การเรียกครั้งแรกจนถึงสตรีมมิง

การใช้ LLM API หมายถึงการส่งรายการข้อความแบบ JSON ผ่าน HTTPS และอ่านคำตอบ คู่มือนี้พาคุณตั้งแต่การรับคีย์ ไปจนถึงคำขอแรก จากนั้นสู่สตรีมมิง ผลลัพธ์ JSON และการเรียกใช้ฟังก์ชัน

อัปเดต:

แพ็กเก็ตคำขอที่เดินทางจากเทอร์มินัลไปยังเซิร์ฟเวอร์และสตรีมโทเคนกลับ

ประเด็นสำคัญ

  • เอนด์พอยต์นี้เข้ากันได้กับ OpenAI: เปลี่ยน base URL และคีย์ รักษา SDK ของคุณไว้
  • ใช้โมเดล ID uncensored และ POST ไปยัง /v1/chat/completions
  • รองรับทั้งสตรีมมิง โหมด JSON และการเรียกใช้ฟังก์ชัน
  • 429 หมายถึงให้ช้าลง อ่านรหัสข้อผิดพลาดเพื่อทราบสาเหตุ

การเรียก LLM API คืออะไร

หากคุณสงสัย วิธีใช้บริการ LLM API แนวคิดคือเรียบง่าย คุณส่ง HTTPS POST พร้อมรายการข้อความ แต่ละข้อความมี role (system, user หรือ assistant) และข้อความบางข้อความ เซิร์ฟเวอร์จะรันโมเดลและส่งข้อความผู้ช่วยถัดไปกลับมา นั่นคือข้อตกลงทั้งหมด

โมเดลไม่มีหน่วยความจำระหว่างการเรียก หากต้องการการสนทนา คุณต้องส่งข้อความก่อนหน้านี้ใหม่ทุกครั้ง นี่คือสาเหตุที่พรอมต์ยาวขึ้น ต้นทุนเพิ่มขึ้นตามพรอมต์ และหน้าต่างบริบท 100,000 โทเคนจึงสำคัญ: มันคือขีดจำกัดของพรอมต์บวกกับคำตอบรวมกัน

บริการนี้ใช้โปรโตคอลเดียวกับ API Chat Completions ของ OpenAI SDK ของ OpenAI หรือไคลเอนต์ที่เข้ากันได้ใช้งานได้ทั้งหมดหลังจากที่คุณเปลี่ยนสองสิ่งคือ base URL และคีย์ มีเพียงข้อความเท่านั้นที่เข้าและออก ไม่มีการสร้างภาพ เสียง หรือวิดีโอ และไม่มีเอนด์พอยต์ embeddings

มีคำศัพท์ไม่กี่คำที่ใช้ตลอดคู่มือนี้ โทเคน คือชิ้นส่วนของข้อความ โดยเฉลี่ยประมาณสามในสี่ของคำภาษาอังกฤษหนึ่งคำ โทเคนอินพุต คือทุกสิ่งที่คุณส่ง และ โทเคนเอาต์พุต คือสิ่งที่โมเดลเขียน คุณถูกคิดเงินทั้งสองแบบในอัตราที่ต่างกัน และการตอบกลับจะบอกจำนวนที่ใช้จริงของแต่ละแบบ Base URL คือที่อยู่ที่ไคลเอนต์ของคุณเติมไว้หน้าทุกเส้นทาง และ คีย์ API คือความลับที่พิสูจน์ว่าคำขอเป็นของคุณ หากรู้จักสี่คำนี้ ที่เหลือก็เป็นเรื่องปกติ

ขั้นตอนที่ 1: รับคีย์และบันทึกค่าสามค่า

สร้างบัญชีด้วย Google หรือด้วยอีเมลและรหัสผ่าน แล้วเปิด หน้าคีย์ API ที่นั่นคุณสามารถคัดลอกคีย์ของคุณและรับเครดิตทดลองใช้ $0.50 ได้ด้วยการคลิกหนึ่งครั้ง ไม่จำเป็นต้องใช้บัตรสำหรับการทดลองใช้

คุณต้องการค่าสามค่าสำหรับทุกคำขอ:

  • Base URL: https://api.bestllmapi.com/v1
  • รหัสโมเดล: uncensored
  • Auth header: Authorization: Bearer YOUR_KEY

เก็บคีย์ API ไว้นอก source control ใส่ไว้ในตัวแปรสภาพแวดล้อมเช่น LLM_API_KEY แล้วอ่านค่าจากที่นั้น ใครที่มีคีย์สามารถใช้จ่ายเครดิตของคุณได้

ขั้นตอนที่ 2: ส่งคำขอแรกด้วย curl, Python และ Node จากนั้นเพิ่มสตรีมมิง โหมด JSON และการเรียกใช้เครื่องมือ

Curl เป็นการตรวจสอบที่เร็วที่สุดว่าทุกอย่างทำงานได้ก่อนจะใช้ไลบรารีอื่น

export LLM_API_KEY="paste-your-key-here"

curl https://api.bestllmapi.com/v1/chat/completions \
  -H "Authorization: Bearer $LLM_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [
      {"role": "system", "content": "You are a concise assistant."},
      {"role": "user", "content": "Explain what a token is in two sentences."}
    ],
    "temperature": 0.7
  }'

การตอบกลับเป็น JSON ข้อความอยู่ที่ choices[0].message.content และออบเจกต์ usage แสดงจำนวนโทเคนของ prompt และ completion ซึ่งเป็นฐานในการคิดค่าบริการของคุณ คุณสามารถดูรายการโมเดลด้วย GET https://api.bestllmapi.com/v1/models; คุณควรเห็น uncensored

ส่วนหัวของการตอบกลับก็ช่วยได้เช่นกัน X-Request-Id ใช้ระบุการเรียกหากติดต่อฝ่ายสนับสนุน และ X-Balance-USD แสดงยอดคงเหลือในบัญชีของคุณ

การอ่านการตอบกลับและการเลือกพารามิเตอร์

การตอบสนองมีฟิลด์ไม่กี่ฟิลด์ที่ควรทราบก่อนเขียนโค้ดการแยกวิเคราะห์ choices เป็นลิสต์ และคุณมักต้องการรายการแรก ภายในนั้น message.content เก็บข้อความ และ finish_reason บอกเหตุผลที่โมเดลหยุด ค่า stop หมายถึงเสร็จสิ้นตามธรรมชาติ ค่า length หมายถึงถึงขีดจำกัด max_tokens หรือหมดหน้าต่างบริบท ทำให้คำตอบอาจถูกตัดกลางประโยค

ออบเจกต์ usage ให้จำนวนโทเคนของ prompt และ completion และยอดรวม บันทึกค่าเหล่านี้สำหรับการเรียกใช้ทุกครั้งนับจากวันแรก วิธีนี้คือวิธีที่เชื่อถือได้เพียงวิธีเดียวในการเรียนรู้ว่าแอปของคุณมีต้นทุนจริงเท่าไหร่ และทำให้ตรวจจับบั๊กที่ส่งพรอมต์ยาวๆ ซ้ำได้ง่าย

การเลือกพารามิเตอร์ส่วนใหญ่ขึ้นอยู่กับประเภทงาน สำหรับการแยกข้อมูล การจำแนกประเภท และโค้ด ให้ใช้ temperature ต่ำเช่น 0.2 เพื่อให้การป้อนข้อมูลเดียวกันให้ผลลัพธ์ที่เกือบเหมือนกัน สำหรับการระดมความคิดและเรื่องราว ใช้ 0.8 ถึง 1.0 เพื่อให้มีความหลากหลายมากขึ้น เปลี่ยนค่าทีละค่า และใช้ seed เมื่อต้องการเปรียบเทียบที่ซ้ำกันได้ระหว่างเวอร์ชันพรอมต์สองเวอร์ชัน

ขั้นตอนที่ 3: ใช้ OpenAI SDK ใน Python หรือ Node

ในทางปฏิบัติคุณจะใช้ไลบรารี ใน Python ให้ติดตั้งด้วย pip install openai และชี้ไปที่ base URL ใหม่

import os
from openai import OpenAI

client = OpenAI(
    base_url="https://api.bestllmapi.com/v1",
    api_key=os.environ["LLM_API_KEY"],
)

resp = client.chat.completions.create(
    model="uncensored",
    messages=[
        {"role": "system", "content": "You are a concise assistant."},
        {"role": "user", "content": "Give me three names for a hiking app."},
    ],
    temperature=0.8,
    max_tokens=200,
)

print(resp.choices[0].message.content)
print(resp.usage.prompt_tokens, resp.usage.completion_tokens)

เวอร์ชัน Node นั้นคล้ายกันมาก ติดตั้งด้วย npm install openai

import OpenAI from "openai";

const client = new OpenAI({
  baseURL: "https://api.bestllmapi.com/v1",
  apiKey: process.env.LLM_API_KEY,
});

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Give me three names for a hiking app." }],
});

console.log(resp.choices[0].message.content);

max_tokens เป็นตัวเลือก หากไม่ระบุ การตอบกลับอาจใช้พื้นที่ที่เหลือของหน้าต่าง 100,000 โทเคน ตั้งค่าเมื่อต้องการคำตอบสั้น การตั้งค่า temperature, top_p, stop, seed และค่าปรับจะถูกส่งต่อไปยังโมเดล

ขั้นตอนที่ 4: สตรีมการตอบกลับ

หากไม่ใช้สตรีมมิง ผู้ใช้จะจ้องหน้าจอว่างจนกว่าคำตอบทั้งหมดจะพร้อม ด้วย stream: true เซิร์ฟเวอร์จะส่งโทเคนผ่าน Server-Sent Events เมื่อผลิตออกมา และยอดรวมการใช้งานจะมาถึงในตอนท้าย

import os
from openai import OpenAI

client = OpenAI(base_url="https://api.bestllmapi.com/v1", api_key=os.environ["LLM_API_KEY"])

stream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Write a short product description for a desk lamp."}],
    stream=True,
)

for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)
    if getattr(chunk, "usage", None):
        print("\nTokens:", chunk.usage.total_tokens)

สิ่งหนึ่งที่ต้องจำไว้: การเรียกแบบสตรีมจะครอบครองช่องการทำงานพร้อมกัน จนกว่าสตรีมจะสิ้นสุด คีย์แบบเต็มอนุญาตให้เรียกพร้อมกัน 8 ครั้ง คีย์ทดลองใช้ 2 ครั้ง หากผู้ใช้ปิดแท็บ ให้ปิดสตรีมฝั่งของคุณด้วย มิฉะนั้นช่องจะยังคงใช้งานอยู่

การสนทนาต่อเนื่อง

เนื่องจาก API ไม่มีหน่วยความจำ แอปแชทจึงเป็นลูปที่เพิ่มข้อความลงในลิสต์ รูปแบบด้านล่างเป็นหัวใจของแชทบอทเกือบทุกตัว

import os
from openai import OpenAI

client = OpenAI(base_url="https://api.bestllmapi.com/v1", api_key=os.environ["LLM_API_KEY"])

messages = [{"role": "system", "content": "You are a friendly travel planner."}]

while True:
    user_text = input("You: ")
    if user_text.strip().lower() in ("quit", "exit"):
        break
    messages.append({"role": "user", "content": user_text})
    resp = client.chat.completions.create(model="uncensored", messages=messages)
    answer = resp.choices[0].message.content
    messages.append({"role": "assistant", "content": answer})
    print("Bot:", answer)

ทุกการวนซ้ำจะส่งลิสต์ทั้งหมดใหม่ ดังนั้นต้นทุนต่อรอบจึงเพิ่มขึ้นเมื่อแชทยาวขึ้น ราคาคือ $0.15 ต่อ 1M input tokens และ $0.50 ต่อ 1M output tokens รอบหนึ่งที่มี input tokens 2,000 และ output tokens 400 มีต้นทุน 2,000 / 1,000,000 x $0.15 = $0.0003 บวก 400 / 1,000,000 x $0.50 = $0.0002 ดังนั้น $0.0005 ในอัตรานี้ เครดิตทดลองใช้ $0.50 จะครอบคลุมประมาณ 1,000 รอบ

เมื่อลิสต์ยาวขึ้น ให้ลบข้อความของผู้ใช้และผู้ช่วยที่เก่าที่สุดออกแต่เก็บข้อความระบบไว้ด้านบน หรือขอให้โมเดลเขียนสรุปสั้นๆ ของรอบแรกๆ แล้วแทนที่ด้วยสรุปนั้น

ขั้นตอนที่ 5: โหมด JSON และการเรียกใช้เครื่องมือ

เมื่อโค้ดของคุณต้องแยกวิเคราะห์คำตอบ ให้ขอเป็น JSON ตั้งค่า response_format เป็น {"type": "json_object"} และระบุ "JSON" ในพรอมต์ด้วยเพื่อให้โมเดลรู้รูปร่างที่คุณต้องการ

import os, json
from openai import OpenAI

client = OpenAI(base_url="https://api.bestllmapi.com/v1", api_key=os.environ["LLM_API_KEY"])

resp = client.chat.completions.create(
    model="uncensored",
    response_format={"type": "json_object"},
    messages=[
        {"role": "system", "content": "Reply only with JSON."},
        {"role": "user", "content": "Extract name and city: 'Maria lives in Lisbon.' Use keys name and city."},
    ],
)
print(json.loads(resp.choices[0].message.content))

การเรียกใช้ฟังก์ชันช่วยให้โมเดลถามโค้ดของคุณให้รันฟังก์ชัน คุณอธิบายฟังก์ชันใน tools; โมเดลตอบกลับด้วยรายการ tool_calls แทนข้อความ; คุณรันฟังก์ชันและส่งผลลัพธ์กลับด้วย role: "tool"

import os, json
from openai import OpenAI

client = OpenAI(base_url="https://api.bestllmapi.com/v1", api_key=os.environ["LLM_API_KEY"])

tools = [{
    "type": "function",
    "function": {
        "name": "get_order_status",
        "description": "Look up an order by its id",
        "parameters": {
            "type": "object",
            "properties": {"order_id": {"type": "string"}},
            "required": ["order_id"],
        },
    },
}]

messages = [{"role": "user", "content": "Where is order A-1042?"}]
first = client.chat.completions.create(
    model="uncensored", messages=messages, tools=tools, tool_choice="auto"
)
msg = first.choices[0].message

if msg.tool_calls:
    call = msg.tool_calls[0]
    args = json.loads(call.function.arguments)
    result = {"order_id": args["order_id"], "status": "shipped"}
    messages.append(msg)
    messages.append({
        "role": "tool",
        "tool_call_id": call.id,
        "content": json.dumps(result),
    })
    final = client.chat.completions.create(
        model="uncensored", messages=messages, tools=tools
    )
    print(final.choices[0].message.content)

โมเดลอาจสร้างอาร์กิวเมนต์ที่ผิดรูปแบบได้เป็นครั้งคราว ดังนั้นในโค้ดจริงให้ห่อ json.loads ด้วย try block และส่งข้อผิดพลาดกลับเป็นผลลัพธ์ของเครื่องมือหากการแยกวิเคราะห์ล้มเหลว

เมื่อเกิดข้อผิดพลาด

ปัญหาส่วนใหญ่ในวันแรกเป็นปัญหาเหล่านี้

  • 401 หรือข้อผิดพลาดการตรวจสอบสิทธิ์: คีย์หายไป มีตัวพิมพ์ผิด หรือเฮดเดอร์ไม่ได้อยู่ในรูปแบบ Bearer KEY
  • 404: base URL ขาด /v1 หรือคุณเรียกใช้ path ผิด Path สำหรับแชทคือ /v1/chat/completions
  • 429 พร้อมโค้ด rate_limited: คุณเกินขีดจำกัดคำขอต่อนาที (300 สำหรับคีย์เต็ม, 60 สำหรับคีย์ทดลอง)
  • 429 พร้อมโค้ด concurrency: คำขอพร้อมกันมากเกินไป (8 สำหรับคีย์เต็ม, 2 สำหรับคีย์ทดลอง) ให้จัดคิวการเรียกใช้ของคุณ
  • 429 พร้อม Retry-After: 5: ระบบมีภาระชั่วคราว รอห้าวินาทีแล้วลองใหม่
  • คำขอใหญ่เกินไป: ขีดจำกัดขนาด body คือ 8 MB และพรอมต์รวมกับการตอบกลับต้องอยู่ใน 100,000 โทเคน

คำขอที่ล้มเหลวหรือถูกปฏิเสธจะไม่ถูกคิดเงิน ดังนั้นการลองใหม่อย่างระมัดระวังจึงไม่เสียค่าใช้จ่ายเพิ่ม สำหรับรหัสข้อผิดพลาดทุกตัวและตัวอย่างเพิ่มเติม อ่าน เอกสารประกอบ และดู ราคา เพื่อประมาณการค่าใช้จ่ายของงานที่ $0.15 ต่อ 1M input tokens และ $0.50 ต่อ 1M output tokens

การลองใหม่อย่างสุภาพในโค้ด

สคริปต์ที่ส่งคำขอจำนวนมากจะพบกับ 429 ในที่สุด วิธีแก้ไขคือ wrapper การลองซ้ำขนาดเล็กที่รอและลองอีกครั้ง เวอร์ชันนี้เคารพการหยุดพักห้าวินาทีที่ API ขอเมื่อเกิดภาวะเกินภาระชั่วคราว

import os, time
from openai import OpenAI, RateLimitError

client = OpenAI(base_url="https://api.bestllmapi.com/v1", api_key=os.environ["LLM_API_KEY"])

def ask(prompt, tries=5):
    for attempt in range(tries):
        try:
            r = client.chat.completions.create(
                model="uncensored",
                messages=[{"role": "user", "content": prompt}],
            )
            return r.choices[0].message.content
        except RateLimitError:
            time.sleep(5 * (attempt + 1))
    raise RuntimeError("still rate limited after retries")

print(ask("List three uses for a paperclip."))

หากส่งคำขอพร้อมกันหลายคำ ให้จำกัดจำนวน worker ที่ขีดจำกัดการทำงานพร้อมกันของคุณ เธรดพูล 8 เส้นใช้กับคีย์เต็ม, 2 เส้นใช้กับคีย์ทดลอง การเกินกว่านั้นจะเกิด concurrency

ถาม-ตอบ

ฉันต้องการ SDK พิเศษหรือไม่?

ไม่ SDK ของ OpenAI หรือไคลเอนต์ที่เข้ากันได้กับ OpenAI ใช้งานได้ทั้งหมด ตั้ง base URL เป็น https://api.bestllmapi.com/v1 ใช้คีย์ของคุณ และตั้งโมเดลเป็น uncensored

ฉันสามารถลองใช้ก่อนจ่ายเงินได้หรือไม่?

ใช่ ผู้ใช้ใหม่สามารถรับเครดิตทดลองใช้ $0.50 ได้เพียงคลิกเดียวที่หน้าคีย์ API ไม่จำเป็นต้องใช้บัตรและใช้งานได้ 7 วัน

API จำข้อความก่อนหน้าหรือไม่?

ไม่ ส่งประวัติการสนทนาในรายการ messages ในแต่ละคำขอ พรอมต์รวมกับคำตอบต้องอยู่ในหน้าต่าง 100,000 โทเคน

ข้อผิดพลาด 429 หมายถึงอะไร?

คุณชนขีดจำกัดแล้ว รหัส rate_limited หมายถึงคำขอต่อนาทีมากเกินไป concurrency หมายถึงคำขอพร้อมกันมากเกินไป และเฮดเดอร์ Retry-After หมายถึงภาระชั่วคราว

คีย์ของคุณอยู่ห่างแค่แบบฟอร์มเดียว

สร้างบัญชี คัดลอกคีย์ และเปลี่ยน base URL นั่นคือการตั้งค่าทั้งหมด

รับคีย์ API