RU ▾

Python API OpenAI: используйте SDK OpenAI с нашей моделью

Стилизованный кабель в форме змеи, подключенный к серверу с пузырями чата, символизирующий вызов API из Python

Для кода Python API OpenAI вам не нужна специальная библиотека. Официальный пакет openai работает с этим сервисом после установки другого базового URL и ключа, а идентификатор модели — uncensored. Ниже приведено полное руководство с примерами для копирования.

Обновлено

Ключевые моменты

  • Установите openai, затем передайте base_url и api_key клиенту; в остальном ваш код не изменится.
  • Потоковая передача, JSON-режим и вызов функций работают через те же методы SDK.
  • Ловите и повторяйте запрос; лимиты составляют 300 запросов в минуту и 8 параллельных запросов на полный ключ.
  • Стоимость составляет $0.15 за 1M входных токенов и $0.50 за 1M выходных токенов, взимается только за успешные запросы.

Установка и первый вызов

Вам нужен Python 3.9 или новее и официальный SDK. Сначала создайте API-ключ на странице ключей; новые аккаунты могут получить $0.50 пробного баланса в один клик без карты.

pip install openai
export API_KEY="your-key-here"

Теперь самый маленький рабочий скрипт. Клиент принимает базовый URL и ключ; запрос использует идентификатор модели uncensored.

import os
from openai import OpenAI

client = OpenAI(
    base_url="https://api.aiapisource.com/v1",
    api_key=os.environ["API_KEY"],
)

resp = client.chat.completions.create(
    model="uncensored",
    messages=[
        {"role": "system", "content": "You are a concise writing assistant."},
        {"role": "user", "content": "Give me three opening lines for a mystery novel."},
    ],
    temperature=0.8,
)

print(resp.choices[0].message.content)
print(resp.usage.prompt_tokens, resp.usage.completion_tokens)

Это вся интеграция. Сервис реализует POST /v1/chat/completions и GET /v1/models, что покрывает то, что используют большинство скриптов. Это текстовая модель, поэтому эндпоинты изображений, аудио и эмбеддингов недоступны.

Что это такое и чем не является

SDK создана OpenAI, но эндпоинт здесь не принадлежит OpenAI. Это размещенная модель с открытыми весами, запущенная независимым провайдером и настроенная на ответы без отказов по контенту для законного использования взрослыми. Нет маршрутизации к GPT или любой другой модели вендора. Именно поэтому вы меняете базовый URL: вы общаетесь с другим сервером, который принимает тот же формат запроса.

Если вы переносите существующий проект, найдите в нем OpenAI( и жестко заданные имена моделей. Это единственные два места, которые нужно редактировать. Чек-лист для GPT API в продакшене на этом сайте охватывает привычки, применимые к любому эндпоинту формата OpenAI, таким как таймауты и повторные попытки.

Потоковая передача ответа

Для интерфейсов чата вам нужны токены по мере их генерации. Установите stream=True и итерируйте. Запросите использование в конце, если вам нужны данные для биллинга:

stream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Write a four-line poem about a night train."}],
    stream=True,
    stream_options={"include_usage": True},
)

for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)
    if chunk.usage:
        print("\ntokens:", chunk.usage.prompt_tokens, chunk.usage.completion_tokens)

Проверка chunk.choices важна: последний чанк может содержать данные об использовании и не содержать вариантов выбора. Кроме того, потоковый запрос занимает один из ваших слотов параллельных запросов до завершения потока, поэтому всегда считывайте его до конца или закрывайте.

JSON-режим

Когда вашему коду нужно разобрать ответ, включите JSON-режим и опишите ключи в промпте:

import json

resp = client.chat.completions.create(
    model="uncensored",
    response_format={"type": "json_object"},
    messages=[
        {"role": "user", "content": "Return JSON with keys name (string) and traits (list of 3 strings) for a fictional ship captain."}
    ],
)
character = json.loads(resp.choices[0].message.content)
print(character["name"], character["traits"])

Валидный JSON — вероятный результат, а не гарантия вашей точной схемы, поэтому проверяйте ключи и повторяйте запрос при сбое.

Вызов функций

Опишите функции в tools, запустите то, что запросит модель, и отправьте результат обратно с role: "tool":

import json

tools = [{
    "type": "function",
    "function": {
        "name": "roll_dice",
        "description": "Roll a die with the given number of sides",
        "parameters": {
            "type": "object",
            "properties": {"sides": {"type": "integer"}},
            "required": ["sides"],
        },
    },
}]

messages = [{"role": "user", "content": "Roll a 20-sided die for my character."}]
first = client.chat.completions.create(model="uncensored", messages=messages, tools=tools)
msg = first.choices[0].message

if msg.tool_calls:
    messages.append(msg)
    for call in msg.tool_calls:
        args = json.loads(call.function.arguments)
        result = {"value": 14, "sides": args["sides"]}  # replace with real logic
        messages.append({"role": "tool", "tool_call_id": call.id, "content": json.dumps(result)})
    final = client.chat.completions.create(model="uncensored", messages=messages, tools=tools)
    print(final.choices[0].message.content)
else:
    print(msg.content)

Вы можете передать tool_choice для принудительного вызова функции. Аргументы приходят в виде строки JSON, поэтому всегда запускайте их через json.loads и проверяйте перед использованием.

Ошибки, повторные попытки и асинхронность

SDK автоматически повторяет некоторые ошибки, и вы можете задать количество попыток с помощью max_retries. Для лимитов запросов перехватывайте исключение и ждите. API возвращает HTTP 429 с кодом rate_limited при превышении лимита запросов в минуту, с кодом concurrency при превышении лимита параллельных запросов, и с заголовком Retry-After: 5 при временной перегрузке.

import time
from openai import RateLimitError

def ask(prompt, tries=4):
    for attempt in range(tries):
        try:
            r = client.chat.completions.create(
                model="uncensored",
                messages=[{"role": "user", "content": prompt}],
            )
            return r.choices[0].message.content
        except RateLimitError:
            time.sleep(5 * (attempt + 1))
    raise RuntimeError("Still rate limited after retries")

Для пакетов используйте асинхронный клиент и ограничивайте параллелизм ниже вашего лимита. Полный ключ позволяет 8 одновременных запросов и 300 в минуту; пробный ключ позволяет 2 и 60.

import asyncio, os
from openai import AsyncOpenAI

aclient = AsyncOpenAI(base_url="https://api.aiapisource.com/v1", api_key=os.environ["API_KEY"])
sem = asyncio.Semaphore(6)

async def one(prompt):
    async with sem:
        r = await aclient.chat.completions.create(
            model="uncensored",
            messages=[{"role": "user", "content": prompt}],
        )
        return r.choices[0].message.content

async def main():
    prompts = [f"Write a tagline for product number {i}." for i in range(20)]
    results = await asyncio.gather(*(one(p) for p in prompts))
    print(len(results), "done")

asyncio.run(main())

Использование 6 из 8 слотов оставляет место для другого трафика в том же ключе.

Поддержка разговора

API не имеет состояния. Он ничего не помнит между вызовами, поэтому чат — это просто список сообщений, которые вы отправляете каждый раз. Добавьте ответ в список и отправьте весь список снова:

history = [{"role": "system", "content": "You are a patient writing coach."}]

def chat(user_text):
    history.append({"role": "user", "content": user_text})
    r = client.chat.completions.create(model="uncensored", messages=history)
    reply = r.choices[0].message.content
    history.append({"role": "assistant", "content": reply})
    return reply

print(chat("Give me a prompt for a short story."))
print(chat("Make it darker and set it in a harbour town."))

Каждый вызов отправляет больше токенов, чем предыдущий, а входные токены оплачиваются при каждом вызове. Когда список становится длинным, удаляйте самые старые реплики или заменяйте их кратким резюме. Контекстное окно составляет 100 000 токенов для промпта плюс завершение, что много, но длинная история делает каждый запрос дороже и медленнее в запуске.

Параметры сэмплирования передаются: temperature, top_p, stop, seed и штрафы за частоту и присутствие. Установите seed и низкую температуру, когда вам нужны повторяемые тестовые запуски.

Оценка стоимости перед большим запуском

Биллинг начисляется за токены из предоплаченного баланса: $0.15 за 1M входных токенов и $0.50 за 1M выходных токенов. Сбойные или отклоненные запросы не оплачиваются, а баланс не сгорает. Возьмите пакет из 10 000 запросов с 1 500 входными токенами и 400 выходными токенами каждый. Входные данные составляют 15 000 000 токенов, что равно 15 x $0.15 = $2.25. Выходные данные составляют 4 000 000 токенов, что равно 4 x $0.50 = $2.00. Пакет стоит $4.25.

Заголовки ответа включают X-Balance-USD, поэтому вы можете прочитать свой оставшийся баланс в коде через client.chat.completions.with_raw_response.create(...). Пополнения — любая целая сумма от $20 до $500, с +5% от $50, +10% от $100 и +15% от $200. На странице тарифов указаны варианты оплаты, а в быстром старте перечислены все поддерживаемые параметры, включая stop, seed и штрафы.

Вопросы и ответы

Можно ли использовать официальный пакет Python OpenAI с этим API?

Да. Установите openai, укажите в base_url эндпоинт сервиса, а в api_key — свой ключ, и вызовите chat.completions.create с моделью uncensored.

Нужна ли вам другая библиотека для потоковой передачи или инструментов?

Нет. Потоковая передача, JSON-режим и вызов функций работают через те же методы SDK, с обычными параметрами.

Это модель OpenAI?

Нет. Это модель с открытыми весами, запущенная независимым провайдером. Формат запроса тот же, поэтому SDK работает.

Обучают ли мои промпты модель?

Нет. Промпты, отправленные через API, не используются для обучения.

До вашего ключа — всего одна форма

Создайте аккаунт, скопируйте ключ, измените базовый URL. Это вся настройка.

Получить API-ключ