Open AI API Python: हमारे मॉडल के साथ OpenAI SDK का उपयोग करें

open ai api python कोड के लिए, आपको विशेष लाइब्रेरी की आवश्यकता नहीं है। एक अलग base URL और कुंजी सेट करने के बाद, आधिकारिक openai पैकेज इस सेवा के साथ काम करता है, और मॉडल ID uncensored है। नीचे कॉपी-पेस्ट उदाहरणों के साथ एक पूर्ण मार्गदर्शिका दी गई है।
मुख्य बिंदु
- openai को इंस्टॉल करें, फिर क्लाइंट को base_url और api_key पास करें; आपके कोड में कुछ भी नहीं बदलता है।
- स्ट्रीमिंग, JSON मोड और फ़ंक्शन कॉलिंग सभी एक ही SDK विधियों के माध्यम से काम करती हैं।
- RateLimitError को कैच करें और पुनः प्रयास करें; सीमाएँ 300 अनुरोध प्रति मिनट और 8 समवर्ती (एक पूर्ण कुंजी पर) हैं।
- लागत $0.15 प्रति 1M इनपुट टोकन और $0.50 प्रति 1M आउटपुट टोकन है, केवल सफल अनुरोधों के लिए चार्ज की जाती है।
इंस्टॉल करें और पहला कॉल करें
आपको Python 3.9 या उससे नया संस्करण और आधिकारिक SDK की आवश्यकता है। पहले कुंजी पृष्ठ पर एक API कुंजी बनाएं; नए खातों के पास एक क्लिक से बिना कार्ड के वहाँ $0.50 का ट्रायल क्रेडिट दावा करने का विकल्प होता है।
pip install openai
export API_KEY="your-key-here"
अब न्यूनतम कार्यकारी स्क्रिप्ट। क्लाइंट base URL और कुंजी लेता है; अनुरोध मॉडल ID uncensored का उपयोग करता है।
import os
from openai import OpenAI
client = OpenAI(
base_url="https://api.aiapisource.com/v1",
api_key=os.environ["API_KEY"],
)
resp = client.chat.completions.create(
model="uncensored",
messages=[
{"role": "system", "content": "You are a concise writing assistant."},
{"role": "user", "content": "Give me three opening lines for a mystery novel."},
],
temperature=0.8,
)
print(resp.choices[0].message.content)
print(resp.usage.prompt_tokens, resp.usage.completion_tokens)
यह पूरा इंटीग्रेशन है। सेवा POST /v1/chat/completions और GET /v1/models को लागू करती है, जो अधिकांश स्क्रिप्टों द्वारा उपयोग किए जाने वाले कार्यों को कवर करती है। यह केवल एक टेक्स्ट मॉडल है, इसलिए इमेज, ऑडियो और एम्बेडिंग एंडपॉइंट उपलब्ध नहीं हैं।
यह क्या है, और यह क्या नहीं है
SDK OpenAI द्वारा बनाया गया है, लेकिन यहाँ एंडपॉइंट OpenAI का नहीं है। यह एक होस्टेड ओपन-वेट मॉडल है, जिसे एक स्वतंत्र प्रदाता द्वारा चलाया जाता है और कानूनी वयस्क उपयोग के लिए बिना सामग्री अस्वीकृति के उत्तर देने के लिए ट्यून्ड किया गया है। GPT या किसी अन्य विक्रेता के मॉडल में कोई रूटिंग नहीं है। यही कारण है कि आपको base URL बदलना होता है: आप एक अलग सर्वर से बात कर रहे हैं जो समान अनुरोध प्रारूप स्वीकार करता है।
यदि आप एक मौजूदा प्रोजेक्ट को स्थानांतरित कर रहे हैं, तो OpenAI( और हार्ड-कोडेड मॉडल नामों के लिए इसकी खोज करें। संपादन की आवश्यकता वाले केवल दो ही स्थान हैं। इस साइट पर GPT API प्रोडक्शन चेकलिस्ट उन आदतों को कवर करती है जो किसी भी OpenAI-फॉर्मेट एंडपॉइंट पर लागू होती हैं, जैसे कि टाइमआउट और पुन: प्रयास।
प्रतिक्रिया को स्ट्रीम करें
चैट इंटरफेस के लिए आपको टोकन की आवश्यकता होती है जैसे-जैसे वे जेनरेट होते हैं। stream=True सेट करें और इटरेट करें। यदि आप बिलिंग संख्याएं चाहते हैं तो अंत में उपयोग का अनुरोध करें:
stream = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Write a four-line poem about a night train."}],
stream=True,
stream_options={"include_usage": True},
)
for chunk in stream:
if chunk.choices and chunk.choices[0].delta.content:
print(chunk.choices[0].delta.content, end="", flush=True)
if chunk.usage:
print("\ntokens:", chunk.usage.prompt_tokens, chunk.usage.completion_tokens)
chunk.choices की जाँच ज़रूरी है: अंतिम chunk में उपयोग-डेटा हो सकता है और कोई choices नहीं। साथ ही, एक स्ट्रीम किए गए अनुरोध में आपके समानांतर स्लॉट में से एक स्ट्रीम समाप्त होने तक बंधा रहता है, इसलिए इसे अंत तक पढ़ें या बंद करें।
JSON मोड
जब आपके कोड को उत्तर को पार्स करने की आवश्यकता हो, तो JSON मोड पर स्विच करें और प्रॉम्प्ट में कुंजियों का वर्णन करें:
import json
resp = client.chat.completions.create(
model="uncensored",
response_format={"type": "json_object"},
messages=[
{"role": "user", "content": "Return JSON with keys name (string) and traits (list of 3 strings) for a fictional ship captain."}
],
)
character = json.loads(resp.choices[0].message.content)
print(character["name"], character["traits"])
मान्य JSON संभावित परिणाम है, आपकी सटीक स्कीमा का वादा नहीं, इसलिए कुंजियों की जांच करें और विफलता पर एक बार पुन: प्रयास करें।
टूल कॉलिंग
tools में फ़ंक्शनों का वर्णन करें, मॉडल द्वारा मांगे गए किसी भी फ़ंक्शन को चलाएं, और role: "tool" के साथ परिणाम वापस भेजें:
import json
tools = [{
"type": "function",
"function": {
"name": "roll_dice",
"description": "Roll a die with the given number of sides",
"parameters": {
"type": "object",
"properties": {"sides": {"type": "integer"}},
"required": ["sides"],
},
},
}]
messages = [{"role": "user", "content": "Roll a 20-sided die for my character."}]
first = client.chat.completions.create(model="uncensored", messages=messages, tools=tools)
msg = first.choices[0].message
if msg.tool_calls:
messages.append(msg)
for call in msg.tool_calls:
args = json.loads(call.function.arguments)
result = {"value": 14, "sides": args["sides"]} # replace with real logic
messages.append({"role": "tool", "tool_call_id": call.id, "content": json.dumps(result)})
final = client.chat.completions.create(model="uncensored", messages=messages, tools=tools)
print(final.choices[0].message.content)
else:
print(msg.content)
आप फ़ंक्शन को फोर्स करने के लिए tool_choice पास कर सकते हैं। तर्क एक JSON स्ट्रिंग के रूप में आते हैं, इसलिए उपयोग से पहले उन्हें हमेशा json.loads के माध्यम से चलाएं और मान्य करें।
त्रुटियाँ, पुनः प्रयास और एसींक्रोनस
SDK कुछ विफलताओं को स्वयं पुन: प्रयास करता है, और आप max_retries के साथ गिनती सेट कर सकते हैं। रेट लिमिट के लिए, अपवाद को पकड़ें और प्रतीक्षा करें। जब आप प्रति-मिनट सीमा से अधिक हो जाते हैं, तो API rate_limited कोड के साथ HTTP 429 लौटाता है, concurrency के साथ जब एक साथ बहुत सारे अनुरोध चल रहे होते हैं, और अस्थायी ओवरलोड पर Retry-After: 5 हेडर के साथ।
import time
from openai import RateLimitError
def ask(prompt, tries=4):
for attempt in range(tries):
try:
r = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": prompt}],
)
return r.choices[0].message.content
except RateLimitError:
time.sleep(5 * (attempt + 1))
raise RuntimeError("Still rate limited after retries")
बैच के लिए, एसींक्रोनस क्लाइंट का उपयोग करें और समानांतरता को अपनी सीमा से नीचे रखें। एक पूर्ण कुंजी 8 समानांतर अनुरोध और प्रति मिनट 300 की अनुमति देती है; एक ट्रायल कुंजी 2 और 60 की अनुमति देती है।
import asyncio, os
from openai import AsyncOpenAI
aclient = AsyncOpenAI(base_url="https://api.aiapisource.com/v1", api_key=os.environ["API_KEY"])
sem = asyncio.Semaphore(6)
async def one(prompt):
async with sem:
r = await aclient.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": prompt}],
)
return r.choices[0].message.content
async def main():
prompts = [f"Write a tagline for product number {i}." for i in range(20)]
results = await asyncio.gather(*(one(p) for p in prompts))
print(len(results), "done")
asyncio.run(main())
8 में से 6 स्लॉट्स का उपयोग करने से उसी कुंजी पर अन्य ट्राफ़िक के लिए जगह बचती है।
संवाद को जारी रखें
API स्टेटलेस है। यह कॉल्स के बीच कुछ भी याद नहीं रखता, इसलिए चैट केवल हर बार भेजे जाने वाले संदेशों की सूची है। प्रतिक्रिया को सूची में जोड़ें और पूरी सूची फिर से भेजें:
history = [{"role": "system", "content": "You are a patient writing coach."}]
def chat(user_text):
history.append({"role": "user", "content": user_text})
r = client.chat.completions.create(model="uncensored", messages=history)
reply = r.choices[0].message.content
history.append({"role": "assistant", "content": reply})
return reply
print(chat("Give me a prompt for a short story."))
print(chat("Make it darker and set it in a harbour town."))
प्रत्येक कॉल पिछले से अधिक टोकन भेजता है, और इनपुट टोकन प्रत्येक कॉल पर बिल किए जाते हैं। जब सूची लंबी हो जाए, तो सबसे पुराने टर्न हटा दें या उन्हें एक छोटे सारांश से बदल दें। कॉन्टेक्स्ट विंडो प्रॉम्प्ट और आउटपुट के लिए 100,000 टोकन है, जो बहुत अधिक है, लेकिन एक लंबा इतिहास हर अनुरोध को अधिक महंगा और शुरू करने में धीमा बना देती है।
सैम्पलिंग सेटिंग्स पास कर दी जाती हैं: temperature, top_p, stop, seed और फ्रीक्वेंसी व प्रेजेंस पेनल्टीज। जब आप रिपीटेबल टेस्ट रन चाहते हैं, तो seed और कम टेम्परेचर सेट करें।
बड़ी रन से पहले लागत का अनुमान लगाएं
बिलिंग प्रीपेड क्रेडिट से टोकन के आधार पर होती है: 1M इनपुट टोकन के लिए $0.15 और 1M आउटपुट टोकन के लिए $0.50। फेल या रिफ्यूज किए गए अनुरोधों के लिए चार्ज नहीं किया जाता है, और क्रेडिट कभी एक्सपायर नहीं होता है। 10,000 अनुरोधों का एक बैच लें जिसमें 1,500 इनपुट टोकन और 400 आउटपुट टोकन प्रत्येक हों। इनपुट 15,000,000 टोकन है, जो 15 x $0.15 = $2.25 है। आउटपुट 4,000,000 टोकन है, जो 4 x $0.50 = $2.00 है। बैच की लागत $4.25 है।
प्रतिक्रिया हेडर में X-Balance-USD शामिल है, इसलिए आप कोड के माध्यम से अपना शेष बचा हुआ बैलेंस client.chat.completions.with_raw_response.create(...) में पढ़ सकते हैं। टॉप-अप $20 से $500 तक किसी भी पूर्ण राशि पर होते हैं, $50 पर +5%, $100 पर +10% और $200 पर +15% बोनस मिलता है। मूल्य निर्धारण पृष्ठ पर भुगतान के विकल्प सूचीबद्ध हैं, और क्विकस्टार्ट में stop, seed और पेनल्टी सहित प्रत्येक समर्थित पैरामीटर की सूची दी गई है।
अधिक गाइड
प्रश्न और उत्तर
क्या मैं इस API के साथ आधिकारिक OpenAI Python पैकेज का उपयोग कर सकता हूँ?
हाँ। openai इंस्टॉल करें, base_url को सर्विस एंडपॉइंट पर सेट करें और api_key को अपनी कुंजी पर सेट करें, और मॉडल uncensored के साथ chat.completions.create कॉल करें।
क्या स्ट्रीमिंग या टूल्स के लिए मुझे अलग लाइब्रेरी की आवश्यकता है?
नहीं। स्ट्रीमिंग, JSON मोड और फ़ंक्शन कॉलिंग समान SDK विधियों के माध्यम से काम करती हैं, जिसमें सामान्य पैरामीटर्स शामिल हैं।
क्या यह OpenAI का मॉडल है?
नहीं। यह एक ओपन-वेट मॉडल है जो एक स्वतंत्र प्रोवाइडर द्वारा चलाया जाता है। अनुरोध का फ़ॉर्मेट समान है, इसलिए SDK काम करता है।
क्या मेरे प्रॉम्प्ट का उपयोग मॉडल को ट्रेन करने के लिए होता है?
नहीं। API के माध्यम से भेजे गए प्रॉम्प्ट ट्रेनिंग के लिए उपयोग नहीं किए जाते हैं।
आपकी कुंजी बस एक फ़ॉर्म दूर है
एक खाता बनाएँ, कुंजी कॉपी करें, base URL बदलें। सेटअप यही है।