Open AI API Python: Modelimizle OpenAI SDK'sını Kullanın

Open AI API Python kodu için özel bir kütüphaneye ihtiyacınız yoktur. Farklı bir base URL ve anahtar ayarlandıktan sonra resmi openai paketi bu hizmetle çalışır ve model ID'si uncensored'dır. Aşağıda kopyala-yapıştır örnekleriyle tam bir rehber bulunmaktadır.
Temel noktalar
- openai paketini yükleyin, ardından istemciye base_url ve api_key parametrelerini geçirin; kodunuzdaki diğer hiçbir şey değişmez.
- Akış, JSON modu ve fonksiyon çağırma tümü aynı SDK metodları aracılığıyla çalışır.
- RateLimitError hatasını yakalayın ve yeniden deneyin; limitler tam anahtar için dakika başına 300 istek ve 8 eşzamanlı istektir.
- Maliyet, 1M girdi token'ı başına $0.15 ve 1M çıktı token'ı başına $0.50'dir; yalnızca başarılı istekler için ücretlendirilirsiniz.
Kurulum ve ilk çağrı
Python 3.9 veya daha yeni bir sürüme ve resmi SDK'ya ihtiyacınız vardır. Öncelikle anahtar sayfasında bir API anahtarı oluşturun; yeni hesaplar tek tıkla ve kart bilgisi girmeden orada $0.50 deneme kredisi alabilir.
pip install openai
export API_KEY="your-key-here"
Şimdi en küçük çalışan betik. İstemci base URL ve anahtarı alır; istek uncensored model ID'sini kullanır.
import os
from openai import OpenAI
client = OpenAI(
base_url="https://api.aiapisource.com/v1",
api_key=os.environ["API_KEY"],
)
resp = client.chat.completions.create(
model="uncensored",
messages=[
{"role": "system", "content": "You are a concise writing assistant."},
{"role": "user", "content": "Give me three opening lines for a mystery novel."},
],
temperature=0.8,
)
print(resp.choices[0].message.content)
print(resp.usage.prompt_tokens, resp.usage.completion_tokens)
Bu tüm entegrasyondur. Hizmet POST /v1/chat/completions ve GET /v1/models'i uygular; bu, çoğu betiğin kullandığı kapsamdır. Bu yalnızca bir metin modelidir, bu nedenle görsel, ses ve gömme uç noktaları mevcut değildir.
Bu nedir, ne değildir
SDK OpenAI tarafından yapılmıştır ancak buradaki uç nokta OpenAI'ınki değildir. Bu, bağımsız bir sağlayıcı tarafından işletilen ve yasal yetişkin kullanım için içerik reddi olmadan yanıt verecek şekilde ayarlanmış açık ağırlıklı bir modeldir. GPT veya başka bir satıcının modeline yönlendirme yoktur. Bu nedenle base URL'yi değiştirirsiniz: aynı istek formatını kabul eden farklı bir sunucuyla konuşuyorsunuz.
Mevcut bir projeyi taşıyorsanız, OpenAI( ve sabit kodlanmış model isimleri için arama yapın. Düzenleme gerektiren tek iki yer budur. Bu sitedeki GPT API üretim kontrol listesi, zaman aşımıları ve yeniden denemeler dahil olmak üzere herhangi bir OpenAI-formatlı uç nokta için geçerli olan alışkanlıkları kapsar.
Yanıtı akış olarak alının
Sohbet arayüzleri için token'ların üretildikçe elde edilmesini istersiniz. stream=True ayarlayın ve döngüye girin. Fatura rakamlarını istiyorsanız sonda kullanım bilgisini isteyin:
stream = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Write a four-line poem about a night train."}],
stream=True,
stream_options={"include_usage": True},
)
for chunk in stream:
if chunk.choices and chunk.choices[0].delta.content:
print(chunk.choices[0].delta.content, end="", flush=True)
if chunk.usage:
print("\ntokens:", chunk.usage.prompt_tokens, chunk.usage.completion_tokens)
chunk.choices üzerindeki kontrol önemlidir: son chunk kullanım bilgisini taşıyabilir ve choices içermeyebilir. Ayrıca, akışlı bir istek, akış bitene kadar eşzamanlı slotlarınızdan birini tutar, bu yüzden her zaman sonuna kadar okuyun veya kapatın.
JSON modu
Kodunuzun yanıtı ayrıştırmaya ihtiyacı olduğunda, JSON modunu açın ve istemde anahtarları tanımlayın:
import json
resp = client.chat.completions.create(
model="uncensored",
response_format={"type": "json_object"},
messages=[
{"role": "user", "content": "Return JSON with keys name (string) and traits (list of 3 strings) for a fictional ship captain."}
],
)
character = json.loads(resp.choices[0].message.content)
print(character["name"], character["traits"])
Geçerli JSON olası bir sonuçtur, tam şemanızın garantisi değildir; bu nedenle anahtarları kontrol edin ve başarısızlık durumunda bir kez yeniden deneyin.
Araç çağırma
Fonksiyonları tools içinde tanımlayın, modelin ne istediğini çalıştırın ve sonucu role: "tool" ile geri gönderin:
import json
tools = [{
"type": "function",
"function": {
"name": "roll_dice",
"description": "Roll a die with the given number of sides",
"parameters": {
"type": "object",
"properties": {"sides": {"type": "integer"}},
"required": ["sides"],
},
},
}]
messages = [{"role": "user", "content": "Roll a 20-sided die for my character."}]
first = client.chat.completions.create(model="uncensored", messages=messages, tools=tools)
msg = first.choices[0].message
if msg.tool_calls:
messages.append(msg)
for call in msg.tool_calls:
args = json.loads(call.function.arguments)
result = {"value": 14, "sides": args["sides"]} # replace with real logic
messages.append({"role": "tool", "tool_call_id": call.id, "content": json.dumps(result)})
final = client.chat.completions.create(model="uncensored", messages=messages, tools=tools)
print(final.choices[0].message.content)
else:
print(msg.content)
Bir fonksiyonu zorlamak için tool_choice geçirebilirsiniz. Argümanlar bir JSON dizgesi olarak gelir, bu yüzden bunları kullanmadan önce her zaman json.loads üzerinden çalıştırın ve doğrulayın.
Hatalar, yeniden denemeler ve asenkron çalışma
SDK bazı hataları kendi başına yeniden dener ve sayıyı max_retries ile ayarlayabilirsiniz. Hız limitleri için istisnayı yakalayın ve bekleyin. API, dakika başı limite geçtiğinizde rate_limited koduyla HTTP 429 döndürür, aynı anda çok fazla istek çalıştığında concurrency ile ve geçici aşırı yüklenme durumunda Retry-After: 5 başlığıyla döndürür.
import time
from openai import RateLimitError
def ask(prompt, tries=4):
for attempt in range(tries):
try:
r = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": prompt}],
)
return r.choices[0].message.content
except RateLimitError:
time.sleep(5 * (attempt + 1))
raise RuntimeError("Still rate limited after retries")
Toplu işlemler için asenkron istemciyi kullanın ve paralellik sınırınızı aşmayacak şekilde sınırlandırın. Tam anahtar 8 eşzamanlı istek ve dakika başına 300 istek izni verir; deneme anahtarı 2 ve 60 izin verir.
import asyncio, os
from openai import AsyncOpenAI
aclient = AsyncOpenAI(base_url="https://api.aiapisource.com/v1", api_key=os.environ["API_KEY"])
sem = asyncio.Semaphore(6)
async def one(prompt):
async with sem:
r = await aclient.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": prompt}],
)
return r.choices[0].message.content
async def main():
prompts = [f"Write a tagline for product number {i}." for i in range(20)]
results = await asyncio.gather(*(one(p) for p in prompts))
print(len(results), "done")
asyncio.run(main())
8 slotun 6'sını kullanmak aynı anahtar üzerindeki diğer trafik için yer bırakır.
Sohbeti sürdürün
API durum bilgisi tutmaz. Çağrılar arasında hiçbir şeyi hatırlamaz, bu yüzden sohbet, her seferinde gönderdiğiniz mesaj listesidir. Yanıtı listeye ekleyin ve tüm listeyi tekrar gönderin:
history = [{"role": "system", "content": "You are a patient writing coach."}]
def chat(user_text):
history.append({"role": "user", "content": user_text})
r = client.chat.completions.create(model="uncensored", messages=history)
reply = r.choices[0].message.content
history.append({"role": "assistant", "content": reply})
return reply
print(chat("Give me a prompt for a short story."))
print(chat("Make it darker and set it in a harbour town."))
Her çağrı öncekinden daha fazla token gönderir ve girdi token'ları her çağrı için faturalandırılır. Liste uzadıkça, en eski dönüşleri kaldırın veya bunları kısa bir özetle değiştirin. Bağlam penceresi, istem ve tamamlama için toplam 100.000 token'dır; bu çok fazla olsa da, uzun bir geçmiş her isteği daha pahalı ve başlatmayı daha yavaş yapar.
Örnekleme ayarları olduğu gibi iletilir: temperature, top_p, stop, seed ve sıklık ile varlık cezaları. Tekrarlanabilir test çalıştırmaları istediğinizde seed ve düşük bir sıcaklık ayarlayın.
Büyük bir çalışmadan önce maliyeti tahmin edin
Faturalandırma ön ödemeli krediden token başına yapılır: 1M giriş token'ı başına $0.15 ve 1M çıktı token'ı başına $0.50. Başarısız veya reddedilen istekler için ücret alınmaz ve kredi hiç sona ermez. 10.000 isteklik bir toplu iş düşünün; her biri 1.500 giriş token'ı ve 400 çıktı token'ı içerir. Giriş 15.000.000 token'dır, bu da 15 x $0.15 = $2.25 eder. Çıktı 4.000.000 token'dır, bu da 4 x $0.50 = $2.00 eder. Toplu iş $4.25'e mal olur.
Yanıt başlıkları X-Balance-USD içerir, böylece kalan bakiyenizi client.chat.completions.with_raw_response.create(...) kodu üzerinden okuyabilirsiniz. Bakiye yükleme $20 ile $500 arasında herhangi bir tam miktarda yapılabilir; $50'den itibaren +%5, $100'den itibaren +%10 ve $200'den itibaren +%15 eklenir. fiyatlandırma sayfası ödeme seçeneklerini listeler ve hızlı başlangıç stop, seed ve ceza parametreleri dahil olmak üzere desteklenen tüm parametreleri listeler.
Daha fazla kılavuz
Sorular ve cevaplar
Resmi OpenAI Python paketini bu API ile kullanabilir miyim?
Evet. openai paketini yükleyin, base_url'ı hizmet uç noktasına ve api_key'i anahtarınıza ayarlayın ve uncensored modeliyle chat.completions.create çağrısı yapın.
Akış veya araçlar için farklı bir kütüphaneye ihtiyacım var mı?
Hayır. Akış, JSON modu ve fonksiyon çağırma, normal parametrelerle aynı SDK yöntemleri üzerinden çalışır.
Bu OpenAI'ın modeli mi?
Hayır. Bağımsız bir sağlayıcı tarafından işletilen açık ağırlıklı bir modeldir. İstek formatı aynıdır, bu nedenle SDK çalışır.
İstemlerim modeli eğitmek için mi kullanılıyor?
Hayır. API aracılığıyla gönderilen istemler eğitim için kullanılmaz.
Anahtarınız tek bir formun uzağında
Bir hesap oluşturun, anahtarı kopyalayın ve base URL'yi değiştirin. Kurulum bu kadar basit.