VI ▾

API Python Open AI: Sử dụng SDK OpenAI với mô hình của chúng tôi

Dây cáp dạng rắn được thiết kế giống hình rắn, cắm vào máy chủ cùng các bong bóng chat, minh họa việc Python gọi API

Đối với mã API Python Open AI, bạn không cần thư viện đặc biệt. Gói openai chính thức hoạt động với dịch vụ này sau khi bạn đặt base URL và khóa khác, và model ID là uncensored. Dưới đây là hướng dẫn đầy đủ với các ví dụ sao chép và dán.

Cập nhật

Điểm chính

  • Cài đặt openai, sau đó truyền base_url và api_key vào client; không có gì khác trong mã của bạn thay đổi.
  • Streaming, chế độ JSON và gọi công cụ đều hoạt động thông qua các phương thức SDK giống nhau.
  • Bắt lỗi RateLimitError và thử lại; giới hạn là 300 yêu cầu mỗi phút và 8 yêu cầu đồng thời trên một khóa đầy đủ.
  • Chi phí là $0,15 cho mỗi 1M input tokens và $0,50 cho mỗi 1M output tokens, chỉ tính phí cho các yêu cầu thành công.

Cài đặt và thực hiện cuộc gọi đầu tiên

Bạn cần Python 3.9 trở lên và SDK chính thức. Trước tiên, tạo khóa API trên trang khóa; tài khoản mới có thể nhận $0,50 tín dụng dùng thử chỉ với một cú nhấp chuột mà không cần thẻ.

pip install openai
export API_KEY="your-key-here"

Bây giờ là đoạn mã hoạt động nhỏ nhất. Client lấy base URL và khóa; yêu cầu sử dụng mô hình có ID uncensored.

import os
from openai import OpenAI

client = OpenAI(
    base_url="https://api.aiapisource.com/v1",
    api_key=os.environ["API_KEY"],
)

resp = client.chat.completions.create(
    model="uncensored",
    messages=[
        {"role": "system", "content": "You are a concise writing assistant."},
        {"role": "user", "content": "Give me three opening lines for a mystery novel."},
    ],
    temperature=0.8,
)

print(resp.choices[0].message.content)
print(resp.usage.prompt_tokens, resp.usage.completion_tokens)

Đó là toàn bộ quá trình tích hợp. Dịch vụ triển khai thực hiện POST /v1/chat/completions và GET /v1/models, bao gồm những gì hầu hết các đoạn mã sử dụng. Đây là mô hình văn bản thuần túy, nên các endpoint hình ảnh, âm thanh và embedding không khả dụng.

Đây là gì và không phải là gì

SDK được tạo bởi OpenAI, nhưng endpoint ở đây không phải của OpenAI. Đây là mô hình trọng số mở được lưu trữ, do một nhà cung cấp độc lập vận hành và được tinh chỉnh để trả lời mà không từ chối nội dung cho mục đích người trưởng thành hợp pháp. Không có định tuyến đến GPT hoặc bất kỳ mô hình của nhà cung cấp nào khác. Đó là lý do bạn thay đổi base URL: bạn đang nói chuyện với một máy chủ khác chấp nhận cùng định dạng yêu cầu.

Nếu bạn đang di chuyển một dự án hiện có, hãy tìm kiếm trong đó OpenAI( và các tên mô hình được mã hóa cứng. Đó là hai vị trí duy nhất cần chỉnh sửa. ⟨span0⟩Danh sách kiểm tra triển khai GPT API trên trang web này bao gồm các thói quen áp dụng cho bất kỳ endpoint định dạng OpenAI nào, chẳng hạn như thời gian chờ và thử lại.

Nhận phản hồi qua streaming

Đối với giao diện trò chuyện, bạn muốn nhận token ngay khi chúng được tạo. Đặt stream=True và lặp lại. Hãy hỏi về việc sử dụng ở cuối nếu bạn muốn xem số liệu thanh toán:

stream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Write a four-line poem about a night train."}],
    stream=True,
    stream_options={"include_usage": True},
)

for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)
    if chunk.usage:
        print("\ntokens:", chunk.usage.prompt_tokens, chunk.usage.completion_tokens)

Việc kiểm tra chunk.choices rất quan trọng: chunk cuối cùng có thể chứa thông tin sử dụng và không có lựa chọn. Ngoài ra, một yêu cầu streaming chiếm một trong các slot đồng thời của bạn cho đến khi stream kết thúc, vì vậy hãy luôn đọc nó đến cuối hoặc đóng nó.

Chế độ JSON

Khi mã của bạn cần phân tích câu trả lời, hãy bật chế độ JSON và mô tả các khóa trong prompt:

import json

resp = client.chat.completions.create(
    model="uncensored",
    response_format={"type": "json_object"},
    messages=[
        {"role": "user", "content": "Return JSON with keys name (string) and traits (list of 3 strings) for a fictional ship captain."}
    ],
)
character = json.loads(resp.choices[0].message.content)
print(character["name"], character["traits"])

Thường bạn sẽ nhận được JSON hợp lệ, nhưng không có gì đảm bảo đúng lược đồ chính xác của bạn, vì vậy hãy kiểm tra các khóa và thử lại một lần khi thất bại.

Gọi hàm

Mô tả các hàm trong tools, chạy bất cứ thứ gì mô hình yêu cầu và gửi kết quả lại với role: "tool":

import json

tools = [{
    "type": "function",
    "function": {
        "name": "roll_dice",
        "description": "Roll a die with the given number of sides",
        "parameters": {
            "type": "object",
            "properties": {"sides": {"type": "integer"}},
            "required": ["sides"],
        },
    },
}]

messages = [{"role": "user", "content": "Roll a 20-sided die for my character."}]
first = client.chat.completions.create(model="uncensored", messages=messages, tools=tools)
msg = first.choices[0].message

if msg.tool_calls:
    messages.append(msg)
    for call in msg.tool_calls:
        args = json.loads(call.function.arguments)
        result = {"value": 14, "sides": args["sides"]}  # replace with real logic
        messages.append({"role": "tool", "tool_call_id": call.id, "content": json.dumps(result)})
    final = client.chat.completions.create(model="uncensored", messages=messages, tools=tools)
    print(final.choices[0].message.content)
else:
    print(msg.content)

Bạn có thể truyền tool_choice để bắt buộc một hàm. Các đối số đến dưới dạng chuỗi JSON, vì vậy hãy luôn chạy chúng qua json.loads và xác thực chúng trước khi sử dụng.

Lỗi, thử lại và bất đồng bộ

SDK tự động thử lại một số lỗi, và bạn có thể đặt số lần với max_retries. Đối với giới hạn tốc độ, hãy bắt ngoại lệ và đợi. API trả về HTTP 429 với mã rate_limited khi bạn vượt qua giới hạn mỗi phút, với concurrency khi quá nhiều yêu cầu chạy đồng thời, và với tiêu đề Retry-After: 5 khi quá tải tạm thời.

import time
from openai import RateLimitError

def ask(prompt, tries=4):
    for attempt in range(tries):
        try:
            r = client.chat.completions.create(
                model="uncensored",
                messages=[{"role": "user", "content": prompt}],
            )
            return r.choices[0].message.content
        except RateLimitError:
            time.sleep(5 * (attempt + 1))
    raise RuntimeError("Still rate limited after retries")

Đối với các lô, hãy sử dụng client không đồng bộ và giới hạn độ đồng thời dưới giới hạn của bạn. Khóa đầy đủ cho phép 8 yêu cầu đồng thời và 300 mỗi phút; khóa dùng thử cho phép 2 và 60.

import asyncio, os
from openai import AsyncOpenAI

aclient = AsyncOpenAI(base_url="https://api.aiapisource.com/v1", api_key=os.environ["API_KEY"])
sem = asyncio.Semaphore(6)

async def one(prompt):
    async with sem:
        r = await aclient.chat.completions.create(
            model="uncensored",
            messages=[{"role": "user", "content": prompt}],
        )
        return r.choices[0].message.content

async def main():
    prompts = [f"Write a tagline for product number {i}." for i in range(20)]
    results = await asyncio.gather(*(one(p) for p in prompts))
    print(len(results), "done")

asyncio.run(main())

Sử dụng 6 trong số 8 slot để lại chỗ cho lưu lượng truy cập khác trên cùng một khóa.

Duy trì cuộc hội thoại

API không có trạng thái. Nó không nhớ gì giữa các lần gọi, vì vậy một cuộc trò chuyện chỉ là danh sách các thông báo bạn gửi mỗi lần. Thêm phản hồi vào danh sách và gửi toàn bộ danh sách lại:

history = [{"role": "system", "content": "You are a patient writing coach."}]

def chat(user_text):
    history.append({"role": "user", "content": user_text})
    r = client.chat.completions.create(model="uncensored", messages=history)
    reply = r.choices[0].message.content
    history.append({"role": "assistant", "content": reply})
    return reply

print(chat("Give me a prompt for a short story."))
print(chat("Make it darker and set it in a harbour town."))

Mỗi lần gọi gửi nhiều token hơn lần trước, và token đầu vào được tính phí cho mỗi lần gọi. Khi danh sách trở nên dài, hãy loại bỏ các lượt cũ nhất hoặc thay thế chúng bằng một bản tóm tắt ngắn gọn. Cửa sổ ngữ cảnh là 100.000 token cho prompt cộng với kết quả, điều này rất lớn, nhưng lịch sử dài khiến mọi yêu cầu đắt hơn và chậm hơn khi bắt đầu.

Các cài đặt lấy mẫu được chuyển tiếp nguyên trạng: temperature, top_p, stop, seed và frequency penalty và presence penalty. Đặt seed và nhiệt độ thấp khi bạn muốn các lần chạy thử nghiệm có thể lặp lại.

Ước tính chi phí trước khi chạy lớn

Thanh toán tính theo token từ tín dụng trả trước: $0,15 cho mỗi 1 triệu token đầu vào và $0,50 cho mỗi 1 triệu token đầu ra. Các yêu cầu bị lỗi hoặc bị từ chối không bị tính phí, và tín dụng không bao giờ hết hạn. Hãy lấy một lô gồm 10.000 yêu cầu với 1.500 token đầu vào và 400 token đầu ra mỗi yêu cầu. Đầu vào là 15.000.000 token, tương đương 15 x $0,15 = $2,25. Đầu ra là 4.000.000 token, tương đương 4 x $0,50 = $2,00. Lô này tốn $4,25.

Các tiêu đề phản hồi bao gồm X-Balance-USD, vì vậy bạn có thể đọc số dư còn lại của mình trong mã thông qua client.chat.completions.with_raw_response.create(...). Các khoản nạp tiền là bất kỳ số nguyên nào từ $20 đến $500, với +5% từ $50, +10% từ $100 và +15% từ $200. Trang giá cả liệt kê các tùy chọn thanh toán, và trang bắt đầu nhanh liệt kê mọi tham số được hỗ trợ, bao gồm stop, seed và các khoản phạt.

Hỏi đáp

Tôi có thể sử dụng gói Python chính thức của OpenAI với API này không?

Có. Bạn cài đặt openai, đặt base_url thành endpoint của dịch vụ và api_key thành khóa của bạn, rồi gọi chat.completions.create với mô hình uncensored.

Tôi có cần một thư viện khác cho streaming hoặc công cụ không?

Không. Streaming, chế độ JSON và gọi công cụ đều hoạt động thông qua các phương thức SDK giống nhau với các tham số thông thường.

Đây có phải là mô hình của OpenAI không?

Không. Đây là mô hình trọng số mở do một nhà cung cấp độc lập vận hành. Định dạng yêu cầu giống nhau, đó là lý do SDK hoạt động được.

Các prompt của tôi có huấn luyện mô hình không?

Không. Các prompt gửi qua API không được dùng để huấn luyện.

Khóa của bạn chỉ cách một biểu mẫu

Tạo tài khoản, sao chép khóa, thay đổi base URL. Đó là toàn bộ thiết lập.

Lấy khóa API