HI ▾
API कुंजी पाएँ

Best LLM API गाइड

LLM API का उपयोग कैसे करें: पहली कॉल से स्ट्रीमिंग तक

LLM API का उपयोग करने का मतलब है HTTPS के माध्यम से संदेशों की JSON सूची भेजना और जवाब पढ़ना। यह गाइड आपको एक कुंजी से लेकर पहले अनुरोध तक, फिर स्ट्रीमिंग, JSON आउटपुट और टूल कॉल्स तक ले जाती है।

अपडेट किया गया:

टर्मिनल से सर्वर की ओर यात्रा करता हुआ चमकता हुआ अनुरोध पैकेट और वापस स्ट्रीम होते टोकन

मुख्य बिंदु

  • एंडपॉइंट OpenAI-संगत है: बेस URL और कुंजी बदलें, अपना SDK रखें।
  • मॉडल ID uncensored का उपयोग करें और /v1/chat/completions पर POST करें।
  • स्ट्रीमिंग, JSON मोड और टूल कॉलिंग सभी समर्थित हैं।
  • 429 का मतलब है धीमे चलें; यह जानने के लिए कि क्यों, त्रुटि कोड पढ़ें।

एक LLM API कॉल क्या है

यदि आप LLM API सेवाओं का उपयोग कैसे करें, इसके बारे में सोच रहे हैं, तो विचार सरल है। आप एक HTTPS POST भेजते हैं जिसमें संदेशों की एक सूची होती है। प्रत्येक संदेश में एक भूमिका (system, user या assistant) और कुछ पाठ होता है। सर्वर मॉडल चलाता है और अगला असिस्टेंट संदेश वापस भेजता है। यही पूरा अनुबंध है।

मॉडल के पास कॉल्स के बीच कोई मेमोरी नहीं है। यदि आप एक संवाद चाहते हैं, तो आपको हर बार पहले के संदेश फिर से भेजने होते हैं। यही कारण है कि प्रॉम्प्ट बढ़ते हैं, यही कारण है कि लागत उनके साथ बढ़ती है, और यही कारण है कि 100,000-टोकन कॉन्टेक्स्ट विंडो महत्वपूर्ण है: यह प्रॉम्प्ट और जवाब दोनों की सीमा है।

यह सेवा OpenAI Chat Completions API के समान प्रोटोकॉल बोलती है। एक बार जब आप दो चीजें बदल देते हैं, बेस URL और कुंजी, तो कोई भी OpenAI SDK या संगत क्लाइंट काम करता है। केवल पाठ अंदर जाता है और बाहर आता है। कोई छवि, ऑडियो या वीडियो जनरेशन नहीं है और न ही कोई एम्बेडिंग एंडपॉइंट है।

इस गाइड के शेष भाग में कुछ शब्दों का उपयोग किया गया है। एक टोकन टेक्स्ट का एक टुकड़ा होता है, जो औसतन एक अंग्रेजी शब्द के लगभग तीन चौथाई होता है। इनपुट टोकन वह सब कुछ है जो आप भेजते हैं, और आउटपुट टोकन वह है जो मॉडल लिखता है। आप दोनों के लिए अलग-अलग दरों पर भुगतान करते हैं, और प्रतिक्रिया बताती है कि उसने प्रत्येक का कितना उपयोग किया है। एक बेस URL वह पता है जो आपका क्लाइंट हर पथ से पहले जोड़ता है, और एक API कुंजी वह गोपनीय कोड है जो यह साबित करता है कि अनुरोध आपका है। यदि आप उन चार शब्दों को जानते हैं, तो बाकी रूटीन है।

चरण 1: एक कुंजी प्राप्त करें और तीन मान नोट करें

Google के साथ, या ईमेल और पासवर्ड के साथ एक खाता बनाएं, और API कुंजी पेज खोलें। वहां आप एक क्लिक के साथ अपनी कुंजी कॉपी कर सकते हैं और $0.50 ट्रायल क्रेडिट दावा कर सकते हैं। ट्रायल के लिए कार्ड की आवश्यकता नहीं है।

प्रत्येक अनुरोध के लिए आपको तीन मानों की आवश्यकता होती है:

  • Base URL: https://api.bestllmapi.com/v1
  • मॉडल ID: uncensored
  • Auth header: Authorization: Bearer YOUR_KEY

कुंजी को स्रोत नियंत्रण से बाहर रखें। इसे LLM_API_KEY जैसे पर्यावरण चर में रखें और वहां से पढ़ें। जिसके पास कुंजी है, वह आपका क्रेडिट खर्च कर सकता है।

चरण 2: curl के साथ पहला अनुरोध भेजें

Curl वह सबसे तेज़ जाँच है कि सब कुछ ठीक चल रहा है, किसी भी लाइब्रेरी के शामिल होने से पहले।

export LLM_API_KEY="paste-your-key-here"

curl https://api.bestllmapi.com/v1/chat/completions \
  -H "Authorization: Bearer $LLM_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [
      {"role": "system", "content": "You are a concise assistant."},
      {"role": "user", "content": "Explain what a token is in two sentences."}
    ],
    "temperature": 0.7
  }'

प्रतिक्रिया JSON है। पाठ choices[0].message.content पर है, और एक usage ऑब्जेक्ट प्रॉम्प्ट और पूर्णता टोकन सूचीबद्ध करता है, जिस पर आपका बिल बनता है। आप GET https://api.bestllmapi.com/v1/models के साथ मॉडल भी सूचीबद्ध कर सकते हैं; आपको uncensored दिखना चाहिए।

प्रतिक्रिया हेडर भी मदद करते हैं। X-Request-Id कॉल की पहचान करता है यदि आप सहायता से संपर्क करते हैं, और X-Balance-USD आपके खाते में बचा हुआ दिखाता है।

प्रतिक्रिया पढ़ना और पैरामीटर चुनना

एक प्रतिक्रिया में कुछ फ़ील्ड होते हैं जिन्हें जानना महत्वपूर्ण है। choices एक सूची है, और आप लगभग हमेशा पहले आइटम चाहते हैं। इसके अंदर, message.content पाठ रखता है, और finish_reason आपको बताता है कि मॉडल क्यों रुका। stop का मान यह दर्शाता है कि यह प्राकृतिक रूप से समाप्त हो गया। length का मान यह दर्शाता है कि यह आपकी max_tokens सीमा पर पहुँच गया या विंडो खत्म हो गई, इसलिए उत्तर वाक्य के बीच में कट सकता है।

usage ऑब्जेक्ट प्रॉम्प्ट टोकन, पूर्ण टोकन और कुल देता है। पहले दिन से प्रत्येक कॉल के लिए इन्हें लॉग करें। ये ही एकमात्र विश्वसनीय तरीका है कि आप जान सकें कि आपके एप्लिकेशन को वास्तव में क्या लागत आती है, और ये ऐसे बग को खोजना आसान बना देते हैं जो एक ही लंबे प्रॉम्प्ट को दो बार भेजता है।

पैरामीटर चुनना मुख्य रूप से कार्य प्रकार का मामला है। निष्कर्षण, वर्गीकरण और कोड के लिए, एक कम तापमान जैसे 0.2 का उपयोग करें, ताकि एक ही इनपुट लगभग एक ही आउटपुट दे। ब्रेनस्टॉर्मिंग और कहानियों के लिए, 0.8 से 1.0 अधिक विविधता देता है। एक समय में एक मान बदलें, और seed का उपयोग करें जब आप दो प्रॉम्प्ट संस्करणों के बीच दोहराए जाने योग्य तुलना चाहते हैं।

चरण 3: Python या Node में OpenAI SDK का उपयोग करें

व्यावहारिक रूप से आप एक लाइब्रेरी का उपयोग करेंगे। Python में, इसे pip install openai के साथ इंस्टॉल करें और इसे नए base URL की ओर इशारा करें।

import os
from openai import OpenAI

client = OpenAI(
    base_url="https://api.bestllmapi.com/v1",
    api_key=os.environ["LLM_API_KEY"],
)

resp = client.chat.completions.create(
    model="uncensored",
    messages=[
        {"role": "system", "content": "You are a concise assistant."},
        {"role": "user", "content": "Give me three names for a hiking app."},
    ],
    temperature=0.8,
    max_tokens=200,
)

print(resp.choices[0].message.content)
print(resp.usage.prompt_tokens, resp.usage.completion_tokens)

Node संस्करण लगभग समान है। npm install openai के साथ इंस्टॉल करें।

import OpenAI from "openai";

const client = new OpenAI({
  baseURL: "https://api.bestllmapi.com/v1",
  apiKey: process.env.LLM_API_KEY,
});

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Give me three names for a hiking app." }],
});

console.log(resp.choices[0].message.content);

max_tokens वैकल्पिक है। यदि आप इसे छोड़ देते हैं, तो प्रतिक्रिया 100,000-टोकन विंडो के बचे हुए हिस्से का उपयोग कर सकती है, इसलिए इसे तब सेट करें जब आप छोटे उत्तर चाहते हैं। सैंपलिंग सेटिंग्स temperature, top_p, stop, seed और पेनल्टी मॉडल को पास की जाती हैं।

चरण 4: प्रतिक्रिया स्ट्रीम करें

स्ट्रीमिंग के बिना, आपका उपयोगकर्ता एक खाली स्क्रीन पर घूरता है जब तक कि पूरा उत्तर तैयार नहीं हो जाता। stream: true के साथ, सर्वर टोकन को Server-Sent Events के माध्यम से भेजता है जैसे ही वे उत्पादित होते हैं, और उपयोग कुल अंत में आते हैं।

import os
from openai import OpenAI

client = OpenAI(base_url="https://api.bestllmapi.com/v1", api_key=os.environ["LLM_API_KEY"])

stream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Write a short product description for a desk lamp."}],
    stream=True,
)

for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)
    if getattr(chunk, "usage", None):
        print("\nTokens:", chunk.usage.total_tokens)

एक बात याद रखें: एक स्ट्रीमिंग अनुरोध स्ट्रीम समाप्त होने तक अपना concurrency स्लॉट रखता है। एक पूर्ण कुंजी 8 समानांतर अनुरोधों की अनुमति देती है, एक ट्रायल कुंजी 2। यदि कोई उपयोगकर्ता टैब बंद कर देता है, तो अपनी ओर से भी स्ट्रीम बंद करें, वरना स्लॉट व्यस्त रहता है।

बातचीत को जारी रखना

चूंकि API में कोई मेमोरी नहीं है, एक चैट एप एक लूप है जो एक सूची में जोड़ता है। नीचे दिया गया पैटर्न लगभग हर चैटबॉट का कोर है।

import os
from openai import OpenAI

client = OpenAI(base_url="https://api.bestllmapi.com/v1", api_key=os.environ["LLM_API_KEY"])

messages = [{"role": "system", "content": "You are a friendly travel planner."}]

while True:
    user_text = input("You: ")
    if user_text.strip().lower() in ("quit", "exit"):
        break
    messages.append({"role": "user", "content": user_text})
    resp = client.chat.completions.create(model="uncensored", messages=messages)
    answer = resp.choices[0].message.content
    messages.append({"role": "assistant", "content": answer})
    print("Bot:", answer)

प्रत्येक पास पूरी सूची को फिर से भेजता है, इसलिए लागत प्रति टर्न बढ़ती है जैसे चैट लंबी होती जाती है। कीमत $0.15 प्रति 1M इनपुट टोकन और $0.50 प्रति 1M आउटपुट टोकन है। 2,000 इनपुट टोकन और 400 आउटपुट टोकन के साथ एक टर्न की लागत 2,000 / 1,000,000 x $0.15 = $0.0003 प्लस 400 / 1,000,000 x $0.50 = $0.0002, इसलिए $0.0005 है। उस दर पर, $0.50 ट्रायल लगभग 1,000 टर्न कवर करता है।

जब सूची लंबी हो जाती है, तो सबसे पुराने उपयोगकर्ता और सहायक संदेशों को हटा दें लेकिन सिस्टम संदेश को शीर्ष पर रखें। या मॉडल से कहें कि वह शुरुआती टर्न का एक छोटा सारांश लिखे और उन्हें इसके साथ बदल दे।

चरण 5: JSON मोड और फ़ंक्शन कॉलिंग

जब आपके कोड को उत्तर को पार्स करने की आवश्यकता हो, तो JSON मांगें। response_format को {"type": "json_object"} पर सेट करें और प्रॉम्प्ट में "JSON" भी कहें ताकि मॉडल को पता चले कि आप क्या आकार चाहते हैं।

import os, json
from openai import OpenAI

client = OpenAI(base_url="https://api.bestllmapi.com/v1", api_key=os.environ["LLM_API_KEY"])

resp = client.chat.completions.create(
    model="uncensored",
    response_format={"type": "json_object"},
    messages=[
        {"role": "system", "content": "Reply only with JSON."},
        {"role": "user", "content": "Extract name and city: 'Maria lives in Lisbon.' Use keys name and city."},
    ],
)
print(json.loads(resp.choices[0].message.content))

फ़ंक्शन कॉलिंग मॉडल को आपके कोड में एक फ़ंक्शन चलाने के लिए कहती है। आप फ़ंक्शन को tools में वर्णित करते हैं; मॉडल पाठ के बजाय एक tool_calls प्रविष्टि के साथ जवाब देता है; आप फ़ंक्शन चलाते हैं और परिणाम को role: "tool" के साथ वापस भेजते हैं।

import os, json
from openai import OpenAI

client = OpenAI(base_url="https://api.bestllmapi.com/v1", api_key=os.environ["LLM_API_KEY"])

tools = [{
    "type": "function",
    "function": {
        "name": "get_order_status",
        "description": "Look up an order by its id",
        "parameters": {
            "type": "object",
            "properties": {"order_id": {"type": "string"}},
            "required": ["order_id"],
        },
    },
}]

messages = [{"role": "user", "content": "Where is order A-1042?"}]
first = client.chat.completions.create(
    model="uncensored", messages=messages, tools=tools, tool_choice="auto"
)
msg = first.choices[0].message

if msg.tool_calls:
    call = msg.tool_calls[0]
    args = json.loads(call.function.arguments)
    result = {"order_id": args["order_id"], "status": "shipped"}
    messages.append(msg)
    messages.append({
        "role": "tool",
        "tool_call_id": call.id,
        "content": json.dumps(result),
    })
    final = client.chat.completions.create(
        model="uncensored", messages=messages, tools=tools
    )
    print(final.choices[0].message.content)

मॉडल कभी-कभी गलत आर्ग्युमेंट उत्पन्न कर सकते हैं, इसलिए वास्तविक कोड में json.loads को एक try ब्लॉक में लपेटें और यदि पार्सिंग विफल हो जाए तो त्रुटि को tool परिणाम के रूप में भेजें।

जब कुछ गलत हो जाए

अधिकतर पहले-दिन की समस्याएं इनमें से एक होती है।

  • 401 या प्रमाणीकरण त्रुटि: कुंजी अनुपस्थित है, इसमें टाइपो है, या हेडर Bearer KEY के रूप में नहीं है।
  • 404: बेस URL में /v1 अनुपस्थित है, या आपने गलत पथ कॉल किया है। चैट पथ /v1/chat/completions है।
  • 429 कोड rate_limited के साथ: आपने प्रति मिनट अनुरोधों की सीमा (पूर्ण कुंजी पर 300, ट्रायल कुंजी पर 60) पार कर दी है।
  • 429 कोड concurrency के साथ: एक साथ बहुत सारे अनुरोध (पूर्ण कुंजी पर 8, ट्रायल कुंजी पर 2)। अपने कॉल को कतार में लगाएं।
  • 429 के साथ Retry-After: 5: अस्थायी ओवरलोड। पाँच सेकंड प्रतीक्षा करें और पुनः प्रयास करें।
  • अनुरोध बहुत बड़ा है: बॉडी की सीमा 8 MB है, और प्रॉम्प्ट प्लस जवाब 100,000 टोकन में फिट होना चाहिए।

असफल या अस्वीकृत अनुरोधों के लिए चार्ज नहीं किया जाता, इसलिए सावधानीपूर्वक पुनः प्रयास करने पर कोई अतिरिक्त लागत नहीं लगती। प्रत्येक त्रुटि कोड और अधिक उदाहरणों के लिए, दस्तावेज़ीकरण पढ़ें, और मूल्य निर्धारण देखें ताकि यह अनुमान लगाया जा सके कि $0.15 प्रति 1M इनपुट टोकन और $0.50 प्रति 1M आउटपुट टोकन पर एक कार्यभार की लागत क्या होगी।

कोड में विनम्रतापूर्वक पुनः प्रयास करना

एक स्क्रिप्ट जो कई अनुरोध भेजती है, वह अंततः 429 से टकराएगी। समाधान एक छोटा रीट्राई रैपर है जो प्रतीक्षा करता है और फिर से कोशिश करता है। यह संस्करण अस्थायी ओवरलोड पर API द्वारा मांगे गए पांच सेकंड के विराम का सम्मान करता है।

import os, time
from openai import OpenAI, RateLimitError

client = OpenAI(base_url="https://api.bestllmapi.com/v1", api_key=os.environ["LLM_API_KEY"])

def ask(prompt, tries=5):
    for attempt in range(tries):
        try:
            r = client.chat.completions.create(
                model="uncensored",
                messages=[{"role": "user", "content": prompt}],
            )
            return r.choices[0].message.content
        except RateLimitError:
            time.sleep(5 * (attempt + 1))
    raise RuntimeError("still rate limited after retries")

print(ask("List three uses for a paperclip."))

यदि आप कई अनुरोध समानांतर चलाते हैं, तो वर्कर की संख्या को अपनी concurrency सीमा तक सीमित रखें। 8 का थ्रेड पूल एक पूर्ण कुंजी से मेल खाता है, और 2 एक ट्रायल कुंजी से मेल खाता है। उससे ऊपर जाना केवल concurrency त्रुटियां उत्पन्न करता है।

प्रश्न और उत्तर

क्या मुझे एक विशेष SDK की आवश्यकता है?

नहीं। कोई भी OpenAI SDK या OpenAI-संगत क्लाइंट काम करता है। अपनी कुंजी का उपयोग करने के लिए बेस URL को https://api.bestllmapi.com/v1, पर सेट करें, और मॉडल को uncensored पर सेट करें।

क्या मैं भुगतान करने से पहले इसे आज़मा सकता हूँ?

हाँ। नए उपयोगकर्ता API कुंजी पेज पर एक क्लिक से $0.50 का मुफ़्त ट्रायल क्रेडिट प्राप्त कर सकते हैं। इसके लिए कार्ड की आवश्यकता नहीं है और यह 7 दिनों के लिए मान्य है।

क्या API पहले के संदेशों को याद रखता है?

नहीं। प्रत्येक अनुरोध पर संदेश सूची में संवाद इतिहास भेजें। प्रॉम्प्ट प्लस जवाब 100,000-टोकन विंडो में फिट होना चाहिए।

429 त्रुटि का क्या अर्थ है?

आप सीमा पर पहुँच गए हैं। कोड rate_limited का अर्थ है प्रति मिनट बहुत अधिक अनुरोध, concurrency का अर्थ है एक साथ बहुत अधिक अनुरोध, और एक Retry-After हेडर का अर्थ है अल्पकालिक ओवरलोड।

आपकी कुंजी बस एक फ़ॉर्म दूर है

एक खाता बनाएँ, कुंजी कॉपी करें, बेस URL बदलें। सेटअप यही है।

API कुंजी पाएँ