API Python Open AI: ใช้ SDK OpenAI กับโมเดลของเรา

สำหรับโค้ด open ai api python คุณไม่จำเป็นต้องใช้ไลบรารีพิเศษ แพ็กเกจ openai ทางการใช้งานได้กับบริการนี้เมื่อคุณตั้งค่า base URL และคีย์ใหม่ และโมเดล ID คือ uncensored ด้านล่างคือคำแนะนำแบบครบถ้วนพร้อมตัวอย่างที่คัดลอกได้
ประเด็นสำคัญ
- ติดตั้ง openai จากนั้นส่ง base_url และ api_key ไปยังไคลเอนต์; ส่วนอื่นในโค้ดของคุณไม่เปลี่ยนแปลง
- การสตรีมมิง โหมด JSON และการเรียกใช้เครื่องมือทำงานผ่านเมธอด SDK เดียวกัน
- ดักจับ RateLimitError และลองใหม่; ขีดจำกัดคือ 300 คำขอต่อนาทีและ 8 คำขอพร้อมกันบนคีย์เต็ม
- ค่าใช้จ่ายคือ $0.15 ต่อ 1M input tokens และ $0.50 ต่อ 1M output tokens คิดเฉพาะคำขอที่สำเร็จ
ติดตั้งและเรียกใช้งานครั้งแรก
คุณต้องมี Python 3.9 ขึ้นไปและ SDK ทางการ สร้างคีย์ API ก่อนที่หน้า คีย์; บัญชีใหม่สามารถรับเครดิตทดลองใช้ฟรี $0.50 ได้ในคลิกเดียวโดยไม่ต้องใช้บัตร
pip install openai
export API_KEY="your-key-here"
นี่คือสคริปต์ที่ทำงานได้เล็กที่สุด ไคลเอนต์ใช้ base URL และคีย์; คำขอใช้โมเดล ID uncensored
import os
from openai import OpenAI
client = OpenAI(
base_url="https://api.aiapisource.com/v1",
api_key=os.environ["API_KEY"],
)
resp = client.chat.completions.create(
model="uncensored",
messages=[
{"role": "system", "content": "You are a concise writing assistant."},
{"role": "user", "content": "Give me three opening lines for a mystery novel."},
],
temperature=0.8,
)
print(resp.choices[0].message.content)
print(resp.usage.prompt_tokens, resp.usage.completion_tokens)
นี่คือการผสานรวมทั้งหมด บริการรองรับ POST /v1/chat/completions และ GET /v1/models ซึ่งครอบคลุมสิ่งที่สคริปต์ส่วนใหญ่ใช้ เป็นโมเดลข้อความเท่านั้น ดังนั้นเอนด์พอยต์สำหรับรูปภาพ เสียง และเอนเบดดิ้งจึงไม่มี
สิ่งนี้คืออะไร และไม่ใช่
SDK ทำโดย OpenAI แต่เอนด์พอยต์ที่นี่ไม่ใช่ของ OpenAI เป็นโมเดลแบบเปิดน้ำหนักที่โฮสต์โดยผู้ให้บริการอิสระและปรับแต่งให้ตอบโดยไม่มีการปฏิเสธเนื้อหาสำหรับการใช้งานผู้ใหญ่ที่ถูกต้องตามกฎหมาย ไม่มีการเปลี่ยนเส้นทางไปยัง GPT หรือโมเดลของผู้จัดจำหน่ายรายอื่น นั่นคือเหตุผลที่คุณต้องเปลี่ยน base URL: คุณกำลังคุยกับเซิร์ฟเวอร์อื่นที่รับรูปแบบคำขอเดียวกัน
หากคุณกำลังย้ายโปรเจกต์ที่มีอยู่ ให้ค้นหา OpenAI( และชื่อโมเดลที่เขียนตายตัว (hard-coded) ในโค้ดของคุณ มีเพียงสองจุดนี้ที่ต้องแก้ไข รายการตรวจสอบการใช้งานจริงของ GPT API ในเว็บไซต์นี้ครอบคลุมแนวทางปฏิบัติที่ใช้ได้กับเอนด์พอยต์รูปแบบ OpenAI ใดๆ เช่น ไทม์เอาต์และการเรียกซ้ำ
สตรีมมิงคำตอบ
สำหรับอินเทอร์เฟซแชท คุณต้องการโทเคนเมื่อถูกสร้าง ตั้งค่า stream=True และวนลูป ขอข้อมูลการใช้งานที่ท้ายสุดหากคุณต้องการตัวเลขการเรียกเก็บเงิน:
stream = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Write a four-line poem about a night train."}],
stream=True,
stream_options={"include_usage": True},
)
for chunk in stream:
if chunk.choices and chunk.choices[0].delta.content:
print(chunk.choices[0].delta.content, end="", flush=True)
if chunk.usage:
print("\ntokens:", chunk.usage.prompt_tokens, chunk.usage.completion_tokens)
การตรวจสอบ chunk.choices สำคัญมาก: chunk สุดท้ายอาจมีข้อมูลการใช้งานและไม่มี choices นอกจากนี้ คำขอแบบสตรีมจะครอบครองสล็อตพร้อมกันหนึ่งสล็อตของคุณจนกว่าสตรีมจะสิ้นสุด ดังนั้นควรอ่านจนจบหรือปิดมันเสมอ
โหมด JSON
เมื่อโค้ดของคุณต้องแยกวิเคราะห์คำตอบ ให้เปิดโหมด JSON และอธิบายคีย์ในพรอมต์:
import json
resp = client.chat.completions.create(
model="uncensored",
response_format={"type": "json_object"},
messages=[
{"role": "user", "content": "Return JSON with keys name (string) and traits (list of 3 strings) for a fictional ship captain."}
],
)
character = json.loads(resp.choices[0].message.content)
print(character["name"], character["traits"])
JSON ที่ถูกต้องเป็นผลลัพธ์ที่อาจเกิดขึ้น ไม่ใช่การรับประกันสคีมาที่แน่นอนของคุณ ดังนั้นให้ตรวจสอบคีย์และลองใหม่หนึ่งครั้งเมื่อล้มเหลว
การเรียกใช้ฟังก์ชัน
อธิบายฟังก์ชันใน tools รันสิ่งที่โมเดลขอ และส่งผลลัพธ์กลับด้วย role: "tool":
import json
tools = [{
"type": "function",
"function": {
"name": "roll_dice",
"description": "Roll a die with the given number of sides",
"parameters": {
"type": "object",
"properties": {"sides": {"type": "integer"}},
"required": ["sides"],
},
},
}]
messages = [{"role": "user", "content": "Roll a 20-sided die for my character."}]
first = client.chat.completions.create(model="uncensored", messages=messages, tools=tools)
msg = first.choices[0].message
if msg.tool_calls:
messages.append(msg)
for call in msg.tool_calls:
args = json.loads(call.function.arguments)
result = {"value": 14, "sides": args["sides"]} # replace with real logic
messages.append({"role": "tool", "tool_call_id": call.id, "content": json.dumps(result)})
final = client.chat.completions.create(model="uncensored", messages=messages, tools=tools)
print(final.choices[0].message.content)
else:
print(msg.content)
คุณสามารถส่ง tool_choice เพื่อบังคับใช้ฟังก์ชัน อาร์กิวเมนต์มาในรูปแบบสตริง JSON ดังนั้นควรรันผ่าน json.loads และตรวจสอบความถูกต้องก่อนใช้งาน
ข้อผิดพลาด การรีไทร์ และ async
SDK รีไทร์ข้อผิดพลาดบางรายการโดยอัตโนมัติ และคุณสามารถตั้งค่าจำนวนได้โดยใช้ max_retries สำหรับ rate limit ให้ดักจับข้อยกเว้นและรอ API ส่ง HTTP 429 พร้อมโค้ด rate_limited เมื่อคุณเกินขีดจำกัดต่อนาที พร้อม concurrency เมื่อคำขอพร้อมกันมากเกินไป และพร้อมส่วนหัว Retry-After: 5 เมื่อโหลดเกินชั่วคราว
import time
from openai import RateLimitError
def ask(prompt, tries=4):
for attempt in range(tries):
try:
r = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": prompt}],
)
return r.choices[0].message.content
except RateLimitError:
time.sleep(5 * (attempt + 1))
raise RuntimeError("Still rate limited after retries")
สำหรับชุดงาน ให้ใช้ไคลเอนต์แบบอะซิงโครนัสและจำกัดความพร้อมกันให้ต่ำกว่าขีดจำกัดของคุณ คีย์เต็มจำนวนอนุญาตให้ทำคำขอพร้อมกัน 8 รายการและ 300 รายการต่อนาที; คีย์ทดลองอนุญาตให้ทำ 2 รายการและ 60 รายการ
import asyncio, os
from openai import AsyncOpenAI
aclient = AsyncOpenAI(base_url="https://api.aiapisource.com/v1", api_key=os.environ["API_KEY"])
sem = asyncio.Semaphore(6)
async def one(prompt):
async with sem:
r = await aclient.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": prompt}],
)
return r.choices[0].message.content
async def main():
prompts = [f"Write a tagline for product number {i}." for i in range(20)]
results = await asyncio.gather(*(one(p) for p in prompts))
print(len(results), "done")
asyncio.run(main())
การใช้ 6 จาก 8 สล็อตจะเหลือพื้นที่สำหรับการจราจรอื่นๆ บนคีย์เดียวกัน
ทำให้การสนทนาต่อเนื่อง
API เป็นแบบสเตตเลส มันไม่จำสิ่งใดระหว่างการเรียก ดังนั้นการแชทจึงเป็นเพียงรายการข้อความที่คุณส่งในแต่ละครั้ง ให้เพิ่มคำตอบลงในรายการและส่งทั้งรายการอีกครั้ง:
history = [{"role": "system", "content": "You are a patient writing coach."}]
def chat(user_text):
history.append({"role": "user", "content": user_text})
r = client.chat.completions.create(model="uncensored", messages=history)
reply = r.choices[0].message.content
history.append({"role": "assistant", "content": reply})
return reply
print(chat("Give me a prompt for a short story."))
print(chat("Make it darker and set it in a harbour town."))
แต่ละการเรียกส่งโทเคนมากกว่าครั้งก่อน และโทเคนอินพุตจะถูกเรียกเก็บเงินในการเรียกทุกครั้ง เมื่อรายการยาวขึ้น ให้ตัดการสนทนาที่เก่าที่สุดออกหรือแทนที่ด้วยสรุปสั้นๆ หน้าต่างบริบทมีขนาด 100,000 โทเคนสำหรับพรอมต์รวมกับการตอบกลับ ซึ่งมาก แต่ประวัติที่ยาวนานทำให้ทุกคำขอมีราคาแพงกว่าและเริ่มช้าลง
ค่าการสุ่มตัวอย่างจะถูกส่งต่อให้ตามที่ตั้งไว้: temperature, top_p, stop, seed และfrequency penalty และ presence penalty ตั้งค่า seed และค่าอุณหภูมิต่ำเมื่อคุณต้องการการรันทดสอบที่ผลลัพธ์ซ้ำกันได้
ประมาณการค่าใช้จ่ายก่อนรันงานใหญ่
การเรียกเก็บเงินคิดต่อโทเคนจากเครดิตแบบเติมเงินล่วงหน้า: $0.15 ต่อ 1M โทเคนอินพุตและ $0.50 ต่อ 1M โทเคนเอาต์พุต คำขอที่ล้มเหลวหรือถูกปฏิเสธจะไม่ถูกเรียกเก็บเงิน และเครดิตไม่หมดอายุ สมมติชุดงาน 10,000 คำขอที่มีโทเคนอินพุต 1,500 และโทเคนเอาต์พุต 400 ต่อคำขอ อินพุตคือ 15,000,000 โทเคน ซึ่งเท่ากับ 15 x $0.15 = $2.25 เอาต์พุตคือ 4,000,000 โทเคน ซึ่งเท่ากับ 4 x $0.50 = $2.00 ชุดงานนี้มีค่าใช้จ่าย $4.25
ส่วนหัวของการตอบกลับ (response headers) รวมถึง X-Balance-USD ทำให้คุณสามารถอ่านยอดคงเหลือที่เหลือผ่านโค้ดด้วย client.chat.completions.with_raw_response.create(...) การเติมเงิน (Top-ups) มีจำนวนเต็มตั้งแต่ $20 ถึง $500 พร้อมโบนัส +5% จาก $50, +10% จาก $100 และ +15% จาก $200 หน้าราคา แสดงตัวเลือกการชำระเงิน และ คู่มือเริ่มต้นอย่างรวดเร็ว ระบุพารามิเตอร์ที่รองรับทั้งหมด รวมถึง stop, seed และค่าปรับ
คู่มือเพิ่มเติม
ถาม-ตอบ
สามารถใช้แพ็กเกจ Python ทางการของ OpenAI กับ API นี้ได้หรือไม่?
ได้ ติดตั้ง openai ตั้งค่า base_url เป็น endpoint ของบริการ และ api_key เป็นคีย์ของคุณ แล้วเรียก chat.completions.create พร้อมโมเดล uncensored
ต้องใช้ไลบรารีอื่นสำหรับการสตรีมมิงหรือเครื่องมือหรือไม่?
ไม่ การสตรีมมิง โหมด JSON และการเรียกใช้ฟังก์ชันทำงานผ่านวิธีการ SDK เดียวกัน พร้อมพารามิเตอร์ตามปกติ
นี่คือโมเดลของ OpenAI ใช่ไหม?
ไม่ มันเป็นโมเดลแบบเปิดน้ำหนักที่ดำเนินการโดยผู้ให้บริการอิสระ รูปแบบคำขอเหมือนกัน ซึ่งเป็นเหตุผลที่ SDK ทำงานได้
พรอมต์ของฉันถูกใช้เพื่อฝึกโมเดลหรือไม่?
ไม่ พรอมต์ที่ส่งผ่าน API ไม่ถูกนำไปใช้ในการฝึกโมเดล
คีย์ของคุณอยู่ห่างแค่แบบฟอร์มเดียว
สร้างบัญชี คัดลอกคีย์ และเปลี่ยน base URL นั่นคือการตั้งค่าทั้งหมด