ホームガイド
検閲なしLLM:ローカルかAPIか、どちらが得か

更新日 LLM Sin Censura
検閲なしLLMを利用するには、ローカルでダウンロードして実行するか、APIを呼び出してトークン単位で課金されるかの2つの選択肢があります。最適な方法は、あなたのハードウェア、使用頻度、保守に費やす時間によって異なります。

判断をテーブルで確認
無検閲LLMの場合、ローカルとAPIの選択は以下の要因に集約されます:
| 要素 | ローカル | API |
|---|---|---|
| セットアップ | 数時間:インストール、モデルのダウンロード、バージョンのテスト | 数分: APIキーとBase URL |
| 初期コスト | 既に所有している、または購入が必要なハードウェア | なし;$0.50のクレジットで試す |
| 継続コスト | 電力とあなたの時間 | トークン単位、サブスクリプション不要 |
| プライバシー | 最高レベル:データはあなたのマシンから一切外部に出ません | プロンプトはプロバイダへ送信されますが、ここでは学習に使用されません |
| 品質とサイズ | ビデオメモリ(VRAM)に制限されます | あなたのマシンに収まらない可能性のあるモデル |
| 保守 | あなたが行います | プロバイダが行います |
| インターネットなしで動作します | はい | いいえ |
どのカラムも完全に優位ではありません。プライバシーの絶対性やオフラインでの作業が最も重要であればローカルを、何も管理したくなければAPIを選んでください。
ローカルで実行するのが適している場合
Ollama、LM Studio、llama.cppなどのツールはオープンモデルをあなたのマシン上で実行し、いくつかはlocalhost上でOpenAI互換のエンドポイントを公開するため、同じコードが両方の経路で利用可能です。ローカルが適しているのは以下の場合です:
- ネットワーク外に出せないデータを扱っている。ポリシーによるものか、単にそうしたいからか。
- 十分なメモリを持つGPUをすでに所有しており、使用量に応じた課金をしたくない。
- さまざまなモデル、量子化、設定を試したい。
- オフラインで動作させる必要がある。
ハードウェアについて、実用的なルールは、モデルがビデオメモリに収まるか、速度を犠牲にしてもRAMに収まることです。4ビット量子化された70億または80億パラメータのモデルは通常5〜6GBに収まります。数百億パラメータのモデルはさらに多くのリソースを必要とし、複数のGPUカードを必要とすることが多いです。正確な数値はモデルと量子化方法に依存するため、具体的なモデルの仕様表を参照してください。
APIが適している場合
APIは以下のケースで優れています:
- あなたのマシンにGPUがない、または搭載GPUが控えめです。
- アプリ、ボット、または内部ツールを構築しており、複数のユーザーが同時に使用できるようにしたい場合。完全なキーを使用すると、8つの同時リクエストと1分あたり300リクエストの利用が可能です。
- 使用量が不規則である:数時間集中して使い、数日間使わない。前払いクレジットでは、使用していない間は課金されず、クレジットは期限切れになりません。
- 自前のマシンが稼働していることに依存したくない。
APIはOpenAIと互換性があるため、SDKの使用は2行で済みます:
from openai import OpenAI
client = OpenAI(base_url="https://api.llmsincensura.com/v1", api_key="TU_CLAVE")
r = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Redacta el primer párrafo de una novela de ciencia ficción."}],
)
print(r.choices[0].message.content)
これは単一のオープンモデルで、独立したプロバイダによって実行され、テキストのみを生成します。大手AI企業の公式APIではなく、複数のモデルを配信するものでもありません。
コスト計算
APIの価格は、入力トークン100万トークンあたり$0.15、出力トークン100万トークンあたり$0.50です。月間使用量の3つのレベルがあります:
| 月間使用量 | 入力 | 出力 | 合計 |
|---|---|---|---|
| 入力5M、出力2M | 5 × 0.15 = $0.75 | 2 × 0.50 = $1.00 | $1.75 |
| 入力50M、出力20M | 50 × 0.15 = $7.50 | 20 × 0.50 = $10.00 | $17.50 |
| 入力500M、出力100M | 500 × 0.15 = $75.00 | 100 × 0.50 = $50.00 | $125.00 |
ローカル環境の場合、あなたのデータでこの計算を行ってください。GPUを備えたマシンが1日4時間、300Wを消費する場合、月36kWhになります(0.3 kW × 4時間 × 30日 = 36 kWh)。キログワット時あたりの単価を掛け、マシンの減価償却費を加え、保守にかける時間を評価してください。低〜中程度の使用では、APIの料金は通常これより安くなりますが、非常に高い連続使用では、既に償却済みの専用マシンの方が安くなる可能性があります。これはあなただけが最終的に確定できる計算です。
無検閲モデルで期待できること
「無検閲」とは、成人向けの合法的な用途(ダークフィクション、ロールプレイ、シリアスなテーマの率直な扱いなど)においてリクエストを拒否しないように調整されたモデルを指します。制限がないという意味ではありません。未成年者を含む性的コンテンツは常に除外され、モデルは他のモデルと同じエラー(データの捏造、長文会話での文脈の喪失、繰り返しの生成など)を犯す可能性があります。
そのため、ローカルでもAPI経由でも、モデルを採用する前に自前のプロンプトでモデルを確認することをお勧めします。APIキーページで請求できる$0.50の無料トライアルクレジットがあれば、数百回の標準的なクエリを行うのに十分な余裕があります。
ミックスパス(ハイブリッドなアプローチ)
永遠に選択し続ける必要はありません。一般的なパターンは、開発と本番トラフィックにAPIを使用し、オフラインテストや特に機密性の高いデータ用に小さなローカルモデルを維持することです。両方が同じ形式を受け付けるため、切り替えるにはBase URLとモデル名を変更するだけです。
APIをアプリケーションに統合する場合は、無検閲AIのAPI統合記事がエンジニアリング側を、ドキュメントがパラメータを解説しています。価格やチャージボーナス($20〜、暗号資産対応)は価格ページに記載されています。
その他のガイド
よくある質問
このAPIのモデルを自分のマシンで実行できますか?
このAPIはホストされたサービスです。ローカルで何かを実行するには、オープンモデルを自前でダウンロードし、ハードウェアの制限と向き合う必要があります。
ローカルモデルに必要なハードウェアは?
モデルがビデオメモリに収まることです。4ビット量子化された70億または80億パラメータのモデルは、通常5〜6GBに収まります(フォーマットによる)。具体的なモデルの仕様表を参照してください。
APIは私のプロンプトを保存してトレーニングに使用しますか?
いいえ、プロンプトはトレーニングには使用されません。
あらゆるコンテンツを許可しますか?
いいえ。成人間の合法的な利用ではコンテンツ拒否なしで応答しますが、未成年者が関与する性的コンテンツは常に拒否します。
画像を生成しますか?
いいえ。テキストのみです。画像、オーディオ、ビデオ、埋め込み、ファインチューニングはありません。
あなたのキーはあと一歩です
アカウントを作成し、キーをコピーし、ベースURLを変更するだけです。これだけです。
APIキーを取得