Open AI API Python:当社のモデルでOpenAI SDKを使用

OpenAI APIのPythonコードでは、特別なライブラリは必要ありません。異なるbase URLとキーを設定すれば、公式のopenaiパッケージはこのサービスで動作し、モデルIDはuncensoredです。以下に、コピー&ペーストで使える完全な手順例を示します。
主要ポイント
- openaiをインストールし、base_urlとapi_keyをクライアントに渡します。コードの他の部分は変更不要です。
- ストリーミング、JSONモード、関数呼び出しはすべて同じSDKメソッドで動作します。
- RateLimitErrorをキャッチしてリトライします。制限はフルキーで1分あたり300リクエスト、同時8リクエストです。
- コストは入力トークン100万あたり$0.15、出力トークン100万あたり$0.50で、成功したリクエストのみ課金されます。
インストールと最初の呼び出し
Python 3.9以降と公式SDKが必要です。まずキーページでAPI キーを作成してください。新規アカウントはカードなしでワンクリックで$0.50の無料トライアルクレジットを取得できます。
pip install openai
export API_KEY="your-key-here"
次に最小限の動作スクリプトを示します。クライアントはbase URLとキーを受け取り、リクエストはモデルIDuncensoredを使用します。
import os
from openai import OpenAI
client = OpenAI(
base_url="https://api.aiapisource.com/v1",
api_key=os.environ["API_KEY"],
)
resp = client.chat.completions.create(
model="uncensored",
messages=[
{"role": "system", "content": "You are a concise writing assistant."},
{"role": "user", "content": "Give me three opening lines for a mystery novel."},
],
temperature=0.8,
)
print(resp.choices[0].message.content)
print(resp.usage.prompt_tokens, resp.usage.completion_tokens)
これで統合は完了です。サービスはPOST /v1/chat/completionsとGET /v1/modelsを実装しており、多くのスクリプトで必要な範囲をカバーします。テキストモデルのみなので、画像、音声、埋め込みのエンドポイントは利用できません。
これは何か、そして何ではないか
SDKはOpenAIによって作られていますが、ここでのエンドポイントはOpenAIのものではありません。これは独立したプロバイダが運用するホスト型オープンウェイトモデルで、合法的な成人向け利用においてコンテンツ拒否なしで応答するようにチューニングされています。GPTや他のベンダーのモデルへのルーティングはありません。base URLを変更する理由がここにあります:同じリクエスト形式を受け付ける別のサーバーと通信しているためです。
既存のプロジェクトを移行する場合は、OpenAI(とハードコードされたモデル名を検索してください。編集が必要な箇所はこれら2箇所だけです。このサイトのGPT APIの運用チェックリストでは、タイムアウトやリトライなど、OpenAI互換エンドポイントに共通する運用習慣を解説しています。
ストリーミングで応答を取得
チャットインターフェースでは生成されたトークンが必要です。stream=Trueを設定してイテレートします。請求額を知りたい場合は最後に使用量を確認してください:
stream = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Write a four-line poem about a night train."}],
stream=True,
stream_options={"include_usage": True},
)
for chunk in stream:
if chunk.choices and chunk.choices[0].delta.content:
print(chunk.choices[0].delta.content, end="", flush=True)
if chunk.usage:
print("\ntokens:", chunk.usage.prompt_tokens, chunk.usage.completion_tokens)
chunk.choicesのガードが重要です:最後のチャンクにはusageが含まれ、choicesは空になることがあります。また、ストリーミングリクエストはストリームが終了するまで同時接続枠の1つを占有するため、必ず最後まで読み込むか、閉じてください。
JSON モード
コードで応答を解析する必要がある場合は、JSONモードに切り替え、プロンプトでキーを記述します:
import json
resp = client.chat.completions.create(
model="uncensored",
response_format={"type": "json_object"},
messages=[
{"role": "user", "content": "Return JSON with keys name (string) and traits (list of 3 strings) for a fictional ship captain."}
],
)
character = json.loads(resp.choices[0].message.content)
print(character["name"], character["traits"])
有効なJSONが出力される可能性は高いですが、正確なスキーマを保証するものではないため、キーを確認し、失敗した場合は1回リトライしてください。
関数呼び出し
toolsで関数を記述し、モデルが要求したものを実行し、role: "tool"で結果を戻します:
import json
tools = [{
"type": "function",
"function": {
"name": "roll_dice",
"description": "Roll a die with the given number of sides",
"parameters": {
"type": "object",
"properties": {"sides": {"type": "integer"}},
"required": ["sides"],
},
},
}]
messages = [{"role": "user", "content": "Roll a 20-sided die for my character."}]
first = client.chat.completions.create(model="uncensored", messages=messages, tools=tools)
msg = first.choices[0].message
if msg.tool_calls:
messages.append(msg)
for call in msg.tool_calls:
args = json.loads(call.function.arguments)
result = {"value": 14, "sides": args["sides"]} # replace with real logic
messages.append({"role": "tool", "tool_call_id": call.id, "content": json.dumps(result)})
final = client.chat.completions.create(model="uncensored", messages=messages, tools=tools)
print(final.choices[0].message.content)
else:
print(msg.content)
関数を強制するためにtool_choiceを渡すことができます。引数はJSON文字列として渡されるため、使用前に必ずjson.loadsで解析し、検証してください。
エラー、リトライ、非同期
SDKは一部の失敗を自動でリトライし、max_retriesで回数を設定できます。レート制限には例外をキャッチして待機します。APIは1分あたりの制限を超えた場合にHTTP 429をrate_limitedコードで、同時実行数が多すぎる場合にconcurrencyで返し、一時的な過負荷時にはRetry-After: 5ヘッダーを返します。
import time
from openai import RateLimitError
def ask(prompt, tries=4):
for attempt in range(tries):
try:
r = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": prompt}],
)
return r.choices[0].message.content
except RateLimitError:
time.sleep(5 * (attempt + 1))
raise RuntimeError("Still rate limited after retries")
バッチには非同期クライアントを使用し、同時リクエスト数を制限以下に抑えてください。フルキーでは8つの同時リクエストと1分あたり300リクエスト、トライアルキーでは2つの同時リクエストと1分あたり60リクエストが可能です。
import asyncio, os
from openai import AsyncOpenAI
aclient = AsyncOpenAI(base_url="https://api.aiapisource.com/v1", api_key=os.environ["API_KEY"])
sem = asyncio.Semaphore(6)
async def one(prompt):
async with sem:
r = await aclient.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": prompt}],
)
return r.choices[0].message.content
async def main():
prompts = [f"Write a tagline for product number {i}." for i in range(20)]
results = await asyncio.gather(*(one(p) for p in prompts))
print(len(results), "done")
asyncio.run(main())
8スロットのうち6つを使用すると、同じキー上の他のトラフィックの余地が生まれます。
会話を続ける
APIはステートレスです。呼び出し間で何も記憶しないため、チャットは毎回送信するメッセージのリストに過ぎません。応答をリストに追加し、リスト全体を再度送信します:
history = [{"role": "system", "content": "You are a patient writing coach."}]
def chat(user_text):
history.append({"role": "user", "content": user_text})
r = client.chat.completions.create(model="uncensored", messages=history)
reply = r.choices[0].message.content
history.append({"role": "assistant", "content": reply})
return reply
print(chat("Give me a prompt for a short story."))
print(chat("Make it darker and set it in a harbour town."))
各呼び出しでは前回の呼び出しよりも多くのトークンが送信され、入力トークンはすべての呼び出しで課金されます。リストが長くなったら、最も古い会話を削除するか、短い要約に置き換えてください。コンテキストウィンドウはプロンプトとcompletionを合わせて100,000トークンで非常に大きいですが、長い履歴はすべてのリクエストをより高コストにし、応答開始を遅くします。
サンプリング設定はそのまま渡されます:temperature、top_p、stop、seed、および頻度ペナルティと存在ペナルティです。再現性のあるテスト実行には、seedと低い温度を設定してください。
大規模実行前のコスト見積もり
課金は前払いクレジットからトークン単位で行われます:入力トークン100万あたり$0.15、出力トークン100万あたり$0.50。失敗または拒否されたリクエストは課金されず、クレジットは期限切れになりません。10,000件のリクエストのバッチ(各1,500入力トークン、400出力トークン)を考えます。入力は15,000,000トークンで、15 x $0.15 = $2.25です。出力は4,000,000トークンで、4 x $0.50 = $2.00です。バッチのコストは$4.25です。
レスポンスヘッダーにはX-Balance-USDが含まれているため、client.chat.completions.with_raw_response.create(...)でコードから残高を確認できます。チャージは$20から$500までの任意の整数金額で行え、$50以上で+5%、$100以上で+10%、$200以上で+15%の追加クレジットが付与されます。価格ページには支払いオプションが、クイックスタートにはstop、seed、ペナルティを含むすべてのサポート対象パラメータが記載されています。
その他のガイド
質問と回答
公式のOpenAI PythonパッケージをこのAPIで使用できますか?
はい。openaiをインストールし、base_urlをサービスのエンドポイント、api_keyをAPI キーに設定し、モデルをuncensoredとしてchat.completions.createを呼び出します。
ストリーミングやツールのために別のライブラリが必要ですか?
いいえ。ストリーミング、JSONモード、関数呼び出しは、通常のパラメータで同じSDKメソッドで動作します。
これはOpenAIのモデルですか?
いいえ。これは独立したプロバイダが運用するオープンウェイトモデルです。リクエスト形式は同じため、SDKが動作します。
私のプロンプトはモデルの学習に使われますか?
いいえ。API経由で送信されたプロンプトは学習には使用されません。
キーはフォーム 1 つで手に入ります
アカウントを作成し、キーをコピーし、base URLを変更します。これでセットアップは完了です。