TH ▾

API Python Open AI: ใช้ SDK OpenAI กับโมเดลของเรา

สายเคเบิลรูปงูที่เสียบเข้ากับเซิร์ฟเวอร์พร้อมฟองข้อความ แสดงถึง Python ที่เรียก API

สำหรับโค้ด open ai api python คุณไม่จำเป็นต้องใช้ไลบรารีพิเศษ แพ็กเกจ openai ทางการใช้งานได้กับบริการนี้เมื่อคุณตั้งค่า base URL และคีย์ใหม่ และโมเดล ID คือ uncensored ด้านล่างคือคำแนะนำแบบครบถ้วนพร้อมตัวอย่างที่คัดลอกได้

อัปเดต

ประเด็นสำคัญ

  • ติดตั้ง openai จากนั้นส่ง base_url และ api_key ไปยังไคลเอนต์; ส่วนอื่นในโค้ดของคุณไม่เปลี่ยนแปลง
  • การสตรีมมิง โหมด JSON และการเรียกใช้เครื่องมือทำงานผ่านเมธอด SDK เดียวกัน
  • ดักจับ RateLimitError และลองใหม่; ขีดจำกัดคือ 300 คำขอต่อนาทีและ 8 คำขอพร้อมกันบนคีย์เต็ม
  • ค่าใช้จ่ายคือ $0.15 ต่อ 1M input tokens และ $0.50 ต่อ 1M output tokens คิดเฉพาะคำขอที่สำเร็จ

ติดตั้งและเรียกใช้งานครั้งแรก

คุณต้องมี Python 3.9 ขึ้นไปและ SDK ทางการ สร้างคีย์ API ก่อนที่หน้า คีย์; บัญชีใหม่สามารถรับเครดิตทดลองใช้ฟรี $0.50 ได้ในคลิกเดียวโดยไม่ต้องใช้บัตร

pip install openai
export API_KEY="your-key-here"

นี่คือสคริปต์ที่ทำงานได้เล็กที่สุด ไคลเอนต์ใช้ base URL และคีย์; คำขอใช้โมเดล ID uncensored

import os
from openai import OpenAI

client = OpenAI(
    base_url="https://api.aiapisource.com/v1",
    api_key=os.environ["API_KEY"],
)

resp = client.chat.completions.create(
    model="uncensored",
    messages=[
        {"role": "system", "content": "You are a concise writing assistant."},
        {"role": "user", "content": "Give me three opening lines for a mystery novel."},
    ],
    temperature=0.8,
)

print(resp.choices[0].message.content)
print(resp.usage.prompt_tokens, resp.usage.completion_tokens)

นี่คือการผสานรวมทั้งหมด บริการรองรับ POST /v1/chat/completions และ GET /v1/models ซึ่งครอบคลุมสิ่งที่สคริปต์ส่วนใหญ่ใช้ เป็นโมเดลข้อความเท่านั้น ดังนั้นเอนด์พอยต์สำหรับรูปภาพ เสียง และเอนเบดดิ้งจึงไม่มี

สิ่งนี้คืออะไร และไม่ใช่

SDK ทำโดย OpenAI แต่เอนด์พอยต์ที่นี่ไม่ใช่ของ OpenAI เป็นโมเดลแบบเปิดน้ำหนักที่โฮสต์โดยผู้ให้บริการอิสระและปรับแต่งให้ตอบโดยไม่มีการปฏิเสธเนื้อหาสำหรับการใช้งานผู้ใหญ่ที่ถูกต้องตามกฎหมาย ไม่มีการเปลี่ยนเส้นทางไปยัง GPT หรือโมเดลของผู้จัดจำหน่ายรายอื่น นั่นคือเหตุผลที่คุณต้องเปลี่ยน base URL: คุณกำลังคุยกับเซิร์ฟเวอร์อื่นที่รับรูปแบบคำขอเดียวกัน

หากคุณกำลังย้ายโปรเจกต์ที่มีอยู่ ให้ค้นหา OpenAI( และชื่อโมเดลที่เขียนตายตัว (hard-coded) ในโค้ดของคุณ มีเพียงสองจุดนี้ที่ต้องแก้ไข รายการตรวจสอบการใช้งานจริงของ GPT API ในเว็บไซต์นี้ครอบคลุมแนวทางปฏิบัติที่ใช้ได้กับเอนด์พอยต์รูปแบบ OpenAI ใดๆ เช่น ไทม์เอาต์และการเรียกซ้ำ

สตรีมมิงคำตอบ

สำหรับอินเทอร์เฟซแชท คุณต้องการโทเคนเมื่อถูกสร้าง ตั้งค่า stream=True และวนลูป ขอข้อมูลการใช้งานที่ท้ายสุดหากคุณต้องการตัวเลขการเรียกเก็บเงิน:

stream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Write a four-line poem about a night train."}],
    stream=True,
    stream_options={"include_usage": True},
)

for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)
    if chunk.usage:
        print("\ntokens:", chunk.usage.prompt_tokens, chunk.usage.completion_tokens)

การตรวจสอบ chunk.choices สำคัญมาก: chunk สุดท้ายอาจมีข้อมูลการใช้งานและไม่มี choices นอกจากนี้ คำขอแบบสตรีมจะครอบครองสล็อตพร้อมกันหนึ่งสล็อตของคุณจนกว่าสตรีมจะสิ้นสุด ดังนั้นควรอ่านจนจบหรือปิดมันเสมอ

โหมด JSON

เมื่อโค้ดของคุณต้องแยกวิเคราะห์คำตอบ ให้เปิดโหมด JSON และอธิบายคีย์ในพรอมต์:

import json

resp = client.chat.completions.create(
    model="uncensored",
    response_format={"type": "json_object"},
    messages=[
        {"role": "user", "content": "Return JSON with keys name (string) and traits (list of 3 strings) for a fictional ship captain."}
    ],
)
character = json.loads(resp.choices[0].message.content)
print(character["name"], character["traits"])

JSON ที่ถูกต้องเป็นผลลัพธ์ที่อาจเกิดขึ้น ไม่ใช่การรับประกันสคีมาที่แน่นอนของคุณ ดังนั้นให้ตรวจสอบคีย์และลองใหม่หนึ่งครั้งเมื่อล้มเหลว

การเรียกใช้ฟังก์ชัน

อธิบายฟังก์ชันใน tools รันสิ่งที่โมเดลขอ และส่งผลลัพธ์กลับด้วย role: "tool":

import json

tools = [{
    "type": "function",
    "function": {
        "name": "roll_dice",
        "description": "Roll a die with the given number of sides",
        "parameters": {
            "type": "object",
            "properties": {"sides": {"type": "integer"}},
            "required": ["sides"],
        },
    },
}]

messages = [{"role": "user", "content": "Roll a 20-sided die for my character."}]
first = client.chat.completions.create(model="uncensored", messages=messages, tools=tools)
msg = first.choices[0].message

if msg.tool_calls:
    messages.append(msg)
    for call in msg.tool_calls:
        args = json.loads(call.function.arguments)
        result = {"value": 14, "sides": args["sides"]}  # replace with real logic
        messages.append({"role": "tool", "tool_call_id": call.id, "content": json.dumps(result)})
    final = client.chat.completions.create(model="uncensored", messages=messages, tools=tools)
    print(final.choices[0].message.content)
else:
    print(msg.content)

คุณสามารถส่ง tool_choice เพื่อบังคับใช้ฟังก์ชัน อาร์กิวเมนต์มาในรูปแบบสตริง JSON ดังนั้นควรรันผ่าน json.loads และตรวจสอบความถูกต้องก่อนใช้งาน

ข้อผิดพลาด การรีไทร์ และ async

SDK รีไทร์ข้อผิดพลาดบางรายการโดยอัตโนมัติ และคุณสามารถตั้งค่าจำนวนได้โดยใช้ max_retries สำหรับ rate limit ให้ดักจับข้อยกเว้นและรอ API ส่ง HTTP 429 พร้อมโค้ด rate_limited เมื่อคุณเกินขีดจำกัดต่อนาที พร้อม concurrency เมื่อคำขอพร้อมกันมากเกินไป และพร้อมส่วนหัว Retry-After: 5 เมื่อโหลดเกินชั่วคราว

import time
from openai import RateLimitError

def ask(prompt, tries=4):
    for attempt in range(tries):
        try:
            r = client.chat.completions.create(
                model="uncensored",
                messages=[{"role": "user", "content": prompt}],
            )
            return r.choices[0].message.content
        except RateLimitError:
            time.sleep(5 * (attempt + 1))
    raise RuntimeError("Still rate limited after retries")

สำหรับชุดงาน ให้ใช้ไคลเอนต์แบบอะซิงโครนัสและจำกัดความพร้อมกันให้ต่ำกว่าขีดจำกัดของคุณ คีย์เต็มจำนวนอนุญาตให้ทำคำขอพร้อมกัน 8 รายการและ 300 รายการต่อนาที; คีย์ทดลองอนุญาตให้ทำ 2 รายการและ 60 รายการ

import asyncio, os
from openai import AsyncOpenAI

aclient = AsyncOpenAI(base_url="https://api.aiapisource.com/v1", api_key=os.environ["API_KEY"])
sem = asyncio.Semaphore(6)

async def one(prompt):
    async with sem:
        r = await aclient.chat.completions.create(
            model="uncensored",
            messages=[{"role": "user", "content": prompt}],
        )
        return r.choices[0].message.content

async def main():
    prompts = [f"Write a tagline for product number {i}." for i in range(20)]
    results = await asyncio.gather(*(one(p) for p in prompts))
    print(len(results), "done")

asyncio.run(main())

การใช้ 6 จาก 8 สล็อตจะเหลือพื้นที่สำหรับการจราจรอื่นๆ บนคีย์เดียวกัน

ทำให้การสนทนาต่อเนื่อง

API เป็นแบบสเตตเลส มันไม่จำสิ่งใดระหว่างการเรียก ดังนั้นการแชทจึงเป็นเพียงรายการข้อความที่คุณส่งในแต่ละครั้ง ให้เพิ่มคำตอบลงในรายการและส่งทั้งรายการอีกครั้ง:

history = [{"role": "system", "content": "You are a patient writing coach."}]

def chat(user_text):
    history.append({"role": "user", "content": user_text})
    r = client.chat.completions.create(model="uncensored", messages=history)
    reply = r.choices[0].message.content
    history.append({"role": "assistant", "content": reply})
    return reply

print(chat("Give me a prompt for a short story."))
print(chat("Make it darker and set it in a harbour town."))

แต่ละการเรียกส่งโทเคนมากกว่าครั้งก่อน และโทเคนอินพุตจะถูกเรียกเก็บเงินในการเรียกทุกครั้ง เมื่อรายการยาวขึ้น ให้ตัดการสนทนาที่เก่าที่สุดออกหรือแทนที่ด้วยสรุปสั้นๆ หน้าต่างบริบทมีขนาด 100,000 โทเคนสำหรับพรอมต์รวมกับการตอบกลับ ซึ่งมาก แต่ประวัติที่ยาวนานทำให้ทุกคำขอมีราคาแพงกว่าและเริ่มช้าลง

ค่าการสุ่มตัวอย่างจะถูกส่งต่อให้ตามที่ตั้งไว้: temperature, top_p, stop, seed และfrequency penalty และ presence penalty ตั้งค่า seed และค่าอุณหภูมิต่ำเมื่อคุณต้องการการรันทดสอบที่ผลลัพธ์ซ้ำกันได้

ประมาณการค่าใช้จ่ายก่อนรันงานใหญ่

การเรียกเก็บเงินคิดต่อโทเคนจากเครดิตแบบเติมเงินล่วงหน้า: $0.15 ต่อ 1M โทเคนอินพุตและ $0.50 ต่อ 1M โทเคนเอาต์พุต คำขอที่ล้มเหลวหรือถูกปฏิเสธจะไม่ถูกเรียกเก็บเงิน และเครดิตไม่หมดอายุ สมมติชุดงาน 10,000 คำขอที่มีโทเคนอินพุต 1,500 และโทเคนเอาต์พุต 400 ต่อคำขอ อินพุตคือ 15,000,000 โทเคน ซึ่งเท่ากับ 15 x $0.15 = $2.25 เอาต์พุตคือ 4,000,000 โทเคน ซึ่งเท่ากับ 4 x $0.50 = $2.00 ชุดงานนี้มีค่าใช้จ่าย $4.25

ส่วนหัวของการตอบกลับ (response headers) รวมถึง X-Balance-USD ทำให้คุณสามารถอ่านยอดคงเหลือที่เหลือผ่านโค้ดด้วย client.chat.completions.with_raw_response.create(...) การเติมเงิน (Top-ups) มีจำนวนเต็มตั้งแต่ $20 ถึง $500 พร้อมโบนัส +5% จาก $50, +10% จาก $100 และ +15% จาก $200 หน้าราคา แสดงตัวเลือกการชำระเงิน และ คู่มือเริ่มต้นอย่างรวดเร็ว ระบุพารามิเตอร์ที่รองรับทั้งหมด รวมถึง stop, seed และค่าปรับ

ถาม-ตอบ

สามารถใช้แพ็กเกจ Python ทางการของ OpenAI กับ API นี้ได้หรือไม่?

ได้ ติดตั้ง openai ตั้งค่า base_url เป็น endpoint ของบริการ และ api_key เป็นคีย์ของคุณ แล้วเรียก chat.completions.create พร้อมโมเดล uncensored

ต้องใช้ไลบรารีอื่นสำหรับการสตรีมมิงหรือเครื่องมือหรือไม่?

ไม่ การสตรีมมิง โหมด JSON และการเรียกใช้ฟังก์ชันทำงานผ่านวิธีการ SDK เดียวกัน พร้อมพารามิเตอร์ตามปกติ

นี่คือโมเดลของ OpenAI ใช่ไหม?

ไม่ มันเป็นโมเดลแบบเปิดน้ำหนักที่ดำเนินการโดยผู้ให้บริการอิสระ รูปแบบคำขอเหมือนกัน ซึ่งเป็นเหตุผลที่ SDK ทำงานได้

พรอมต์ของฉันถูกใช้เพื่อฝึกโมเดลหรือไม่?

ไม่ พรอมต์ที่ส่งผ่าน API ไม่ถูกนำไปใช้ในการฝึกโมเดล

คีย์ของคุณอยู่ห่างแค่แบบฟอร์มเดียว

สร้างบัญชี คัดลอกคีย์ และเปลี่ยน base URL นั่นคือการตั้งค่าทั้งหมด

รับคีย์ API