OpenAI API Python: 당사 모델과 함께 OpenAI SDK 사용

open ai api python 코드를 위해 특별한 라이브러리가 필요하지 않습니다. 다른 base URL과 키를 설정하고 모델 ID가 uncensored인 경우, 공식 openai 패키지가 이 서비스에서 작동합니다. 아래에 복사하여 사용할 수 있는 예제와 함께 전체 가이드를 제공합니다.
주요 포인트
- openai를 설치한 후 base_url과 api_key를 클라이언트에 전달하면 코드에서 다른 변경 사항이 필요 없습니다.
- 스트리밍, JSON 모드 및 함수 호출은 모두 동일한 SDK 메서드를 통해 작동합니다.
- RateLimitError를 catch하고 재시도하세요. 제한은 전체 키당 분당 300 요청 및 8개 동시 요청입니다.
- 비용은 입력 토큰 100만 개당 $0.15, 출력 토큰 100만 개당 $0.50이며, 성공적인 요청에만 청구됩니다.
설치 및 첫 번째 호출
Python 3.9 이상과 공식 SDK가 필요합니다. 먼저 키 페이지에서 API 키를 생성하세요. 새 계정은 카드를 연결하지 않고 한 번의 클릭으로 $0.50의 무료 체험 크레딧을 받을 수 있습니다.
pip install openai
export API_KEY="your-key-here"
이제 가장 작은 작동 스크립트입니다. 클라이언트는 base URL과 키를 받으며, 요청은 모델 ID uncensored를 사용합니다.
import os
from openai import OpenAI
client = OpenAI(
base_url="https://api.aiapisource.com/v1",
api_key=os.environ["API_KEY"],
)
resp = client.chat.completions.create(
model="uncensored",
messages=[
{"role": "system", "content": "You are a concise writing assistant."},
{"role": "user", "content": "Give me three opening lines for a mystery novel."},
],
temperature=0.8,
)
print(resp.choices[0].message.content)
print(resp.usage.prompt_tokens, resp.usage.completion_tokens)
이것이 전체 통합입니다. 서비스는 POST /v1/chat/completions 및 GET /v1/models을 구현하며, 이는 대부분의 스크립트가 사용하는 기능을 커버합니다. 텍스트 모델만 지원하므로 이미지, 오디오 및 임베딩 엔드포인트는 사용할 수 없습니다.
이것이 무엇이며 무엇이 아닌지
SDK는 OpenAI에서 만들었지만, 여기의 엔드포인트는 OpenAI의 것이 아닙니다. 독립적인 제공자가 운영하는 오픈 웨이트 모델로, 합법적인 성인 이용 목적으로 콘텐츠 거부 없이 답변하도록 튜닝되었습니다. GPT나 다른 벤더의 모델로 라우팅되지 않습니다. 이것이 base URL을 변경해야 하는 이유입니다: 동일한 요청 형식을 받는 다른 서버와 통신하는 것입니다.
기존 프로젝트를 이동하는 경우 OpenAI(와 하드코딩된 모델 이름을 검색하세요. 편집이 필요한 곳은 이 두 곳뿐입니다. 이 사이트의 GPT API 프로덕션 체크리스트는 타임아웃 및 재시도와 같은 OpenAI 형식 엔드포인트에 적용되는 관행을 다룹니다.
응답 스트리밍
채팅 인터페이스에서는 생성되는 대로 토큰이 필요합니다. stream=True를 설정하고 반복하세요. 청구 금액이 필요하면 끝에 사용량을 요청하세요:
stream = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Write a four-line poem about a night train."}],
stream=True,
stream_options={"include_usage": True},
)
for chunk in stream:
if chunk.choices and chunk.choices[0].delta.content:
print(chunk.choices[0].delta.content, end="", flush=True)
if chunk.usage:
print("\ntokens:", chunk.usage.prompt_tokens, chunk.usage.completion_tokens)
chunk.choices에 대한 가드가 중요합니다: 마지막 청크는 사용량을 포함하고 선택사항이 없을 수 있습니다. 또한 스트리밍 요청은 스트림이 끝날 때까지 동시 슬롯 중 하나를 점유하므로 항상 끝까지 읽거나 닫으세요.
JSON 모드
코드에서 답변을 구문 분석해야 하는 경우 JSON 모드로 전환하고 프롬프트에서 키를 설명하세요:
import json
resp = client.chat.completions.create(
model="uncensored",
response_format={"type": "json_object"},
messages=[
{"role": "user", "content": "Return JSON with keys name (string) and traits (list of 3 strings) for a fictional ship captain."}
],
)
character = json.loads(resp.choices[0].message.content)
print(character["name"], character["traits"])
유효한 JSON이 예상되지만 정확한 스키마를 보장하지는 않으므로 키를 확인하고 실패 시 한 번 재시도하세요.
함수 호출
tools에 함수를 설명하고, 모델이 요청한 대로 실행한 후 role: "tool"로 결과를 다시 전송하세요:
import json
tools = [{
"type": "function",
"function": {
"name": "roll_dice",
"description": "Roll a die with the given number of sides",
"parameters": {
"type": "object",
"properties": {"sides": {"type": "integer"}},
"required": ["sides"],
},
},
}]
messages = [{"role": "user", "content": "Roll a 20-sided die for my character."}]
first = client.chat.completions.create(model="uncensored", messages=messages, tools=tools)
msg = first.choices[0].message
if msg.tool_calls:
messages.append(msg)
for call in msg.tool_calls:
args = json.loads(call.function.arguments)
result = {"value": 14, "sides": args["sides"]} # replace with real logic
messages.append({"role": "tool", "tool_call_id": call.id, "content": json.dumps(result)})
final = client.chat.completions.create(model="uncensored", messages=messages, tools=tools)
print(final.choices[0].message.content)
else:
print(msg.content)
tool_choice을 전달하여 함수를 강제할 수 있습니다. 인수는 JSON 문자열로 제공되므로 항상 json.loads로 실행하고 사용 전에 유효성을 검사하세요.
오류, 재시도 및 비동기
SDK는 일부 실패를 자동으로 재시도하며, max_retries로 횟수를 설정할 수 있습니다. 속도 제한의 경우 예외를 캐치하고 기다리세요. API는 분당 제한을 초과할 때 HTTP 429를 rate_limited 코드와 함께, 동시 요청이 너무 많을 때 concurrency와 함께, 임시 과부하 시 Retry-After: 5 헤더와 함께 반환합니다.
import time
from openai import RateLimitError
def ask(prompt, tries=4):
for attempt in range(tries):
try:
r = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": prompt}],
)
return r.choices[0].message.content
except RateLimitError:
time.sleep(5 * (attempt + 1))
raise RuntimeError("Still rate limited after retries")
배치 처리의 경우 비동기 클라이언트를 사용하고 동시성을 제한 아래로 유지하세요. 전체 키는 동시 8개 요청과 분당 300개를 허용하며, 체험 키는 동시 2개와 분당 60개를 허용합니다.
import asyncio, os
from openai import AsyncOpenAI
aclient = AsyncOpenAI(base_url="https://api.aiapisource.com/v1", api_key=os.environ["API_KEY"])
sem = asyncio.Semaphore(6)
async def one(prompt):
async with sem:
r = await aclient.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": prompt}],
)
return r.choices[0].message.content
async def main():
prompts = [f"Write a tagline for product number {i}." for i in range(20)]
results = await asyncio.gather(*(one(p) for p in prompts))
print(len(results), "done")
asyncio.run(main())
8개 슬롯 중 6개를 사용하면 동일한 키의 다른 트래픽에 여유 공간이 생깁니다.
대화 유지하기
API는 상태가 없습니다. 호출 간에 아무것도 기억하지 않으므로 채팅은 매번 전송하는 메시지 목록일 뿐입니다. 응답을 목록에 추가하고 전체 목록을 다시 전송하세요:
history = [{"role": "system", "content": "You are a patient writing coach."}]
def chat(user_text):
history.append({"role": "user", "content": user_text})
r = client.chat.completions.create(model="uncensored", messages=history)
reply = r.choices[0].message.content
history.append({"role": "assistant", "content": reply})
return reply
print(chat("Give me a prompt for a short story."))
print(chat("Make it darker and set it in a harbour town."))
각 호출은 이전 호출보다 더 많은 토큰을 전송하며, 입력 토큰은 모든 호출에서 청구됩니다. 목록이 길어지면 가장 오래된 턴을 제거하거나 짧은 요약으로 대체하세요. 컨텍스트 창은 프롬프트와 completion을 합쳐 100,000 토큰이며, 이는 많은 양이지만 긴 기록은 모든 요청을 더 비싸게 만들고 시작 속도를 늦춥니다.
샘플링 설정은 다음과 같이 전달됩니다: temperature, top_p, stop, seed 및 빈도 및 존재 패널티. 반복 가능한 테스트 실행을 원할 경우 seed과 낮은 온도를 설정하세요.
대규모 실행 전 비용 추정
선불 크레딧 기준 토큰당 청구: 입력 토큰 100만 개당 $0.15, 출력 토큰 100만 개당 $0.50. 실패하거나 거부된 요청에는 청구되지 않으며, 크레딧은 만료되지 않습니다. 10,000개의 요청 배치(각각 입력 토큰 1,500개, 출력 토큰 400개)를 고려하세요. 입력은 15,000,000 토큰으로, 15 x $0.15 = $2.25입니다. 출력은 4,000,000 토큰으로, 4 x $0.50 = $2.00입니다. 배치는 $4.25가 듭니다.
응답 헤더에는 X-Balance-USD가 포함되어 있으므로 client.chat.completions.with_raw_response.create(...)를 통해 코드에서 남은 잔액을 읽을 수 있습니다. 충전 금액은 $20에서 $500 사이의 정수 금액이며, $50부터 +5%, $100부터 +10%, $200부터 +15%가 추가됩니다. 가격 책정 페이지에는 결제 옵션이 나열되어 있고, 빠른 시작 가이드에는 stop, seed 및 패널티를 포함한 모든 지원 파라미터가 나열되어 있습니다.
더 많은 가이드
질문과 답변
공식 OpenAI Python 패키지를 이 API에서 사용할 수 있나요?
네. openai를 설치하고 base_url을 서비스 엔드포인트로, api_key를 키로 설정한 후, 모델 uncensored로 chat.completions.create를 호출하세요.
스트리밍이나 도구를 위해 다른 라이브러리가 필요한가요?
아니요. 스트리밍, JSON 모드 및 함수 호출은 동일한 SDK 메서드와 일반적인 파라미터로 작동합니다.
이것이 OpenAI의 모델인가요?
아니요. 독립적인 제공자가 운영하는 오픈 웨이트 모델입니다. 요청 형식이 동일하므로 SDK가 작동합니다.
내 프롬프트가 모델을 학습시키나요?
아니요. API를 통해 전송된 프롬프트는 학습에 사용되지 않습니다.
키는 양식 하나만 작성하면 받을 수 있습니다
계정을 생성하고 키를 복사한 후 base URL을 변경하세요. 설정은 이것으로 끝입니다.