Ana SayfaKılavuz
Sansürsüz LLM: yerel mi API mi, hangisi uygun

Güncellenme: LLM Sin Censura
Sansürsüz bir LLM arıyorsanız iki yolunuz var: indirip kendi makinanızda çalıştırmak veya API üzerinden çağırıp token başına ödeme yapmak. Cevap donanımınıza, kullanım sıklığınıza ve bakım için ayırmak istediğiniz süreye bağlıdır.

Tabloda karar
Bir sansürsüz LLM için yerel ve API arasındaki seçim şu faktörlerle özetlenebilir:
| Faktör | Yerel | API |
|---|---|---|
| Kurulum | Saatler: kurulum, model indirme, sürüm denemeleri | Dakikalar: bir anahtar ve Base URL |
| Başlangıç maliyeti | Zaten sahip olduğunuz veya satın almanız gereken donanım | Yok; $0,50 kredi ile deneyin |
| Sürekli maliyet | Elektrik ve zamanınız | Token başına, abonelik yok |
| Gizlilik | Maksimum: hiçbir şey makinenizden çıkmaz | İstemleriniz sağlayıcıya iletilir; burada eğitim için kullanılmazlar. |
| Kalite ve boyut | Video belleğinizle sınırlı | Makinenize sığmayacak bir model |
| Bakım | Siz yaparsınız | Sağlayıcı yapar |
| İnternet olmadan çalışır | Evet | Hayır |
Hiçbir sütun her şeyde kazanmaz. Gizlilik veya çevrimdışı çalışma öncelikliyse yerel; hiçbir şey yönetmek istemiyorsanız API.
Yerelde çalıştırmanın uygun olduğu durumlar
Ollama, LM Studio veya llama.cpp gibi araçlar açık modelleri yerel makinenizde çalıştırır ve çeşitli araçlar localhost'ta OpenAI uyumlu bir uç nokta sunar, böylece aynı kod her iki yol için de işe yarar. Yerel şunlar için uygundur:
- Politika veya tercihiniz gereği ağınızdan çıkamayan verilerle çalışıyorsunuz.
- Yeterli belleğe sahip bir GPU'nuz var ve kullanım başına ödeme yapmak istemiyorsunuz.
- Farklı modeller, kuantizasyonlar ve ayarlarla deneme yapmak istiyorsunuz.
- Çevrimdışı çalışmanız gerekiyor.
Donanım konusunda genel kural şudur: model video belleğine sığmalıdır veya daha yavaş çalışmayı kabul ediyorsanız RAM'e sığmalıdır. 4 bit kuantizasyon ile 7 veya 8 milyar parametreli bir model genellikle 5-6 GB belleğe sığar. Onlarca milyar parametreli modeller çok daha fazla bellek ister ve genellikle birden fazla GPU gerektirir. Kesin sayılar modele ve kuantizasyona bağlıdır, bu nedenle lütfen ilgili model sayfasına bakın.
API ne zaman daha uygundur
API şu durumlarda daha avantajlıdır:
- Ekipmanınızda GPU yoksa veya mevcut GPU yeterince güçlü değilse.
- Bir uygulama, bot veya iç araç geliştiriyorsunuz ve aynı anda birden fazla kullanıcı için çalışmasını istiyorsunuz. Tam bir anahtarla eşzamanlı 8 istek ve dakikada 300 istek hakkınız vardır.
- Kullanımınız düzensizse: yoğun saatler, ardından günlerce hiç kullanmama. Ön ödemeli kredi ile kullanmadığınız sürece hiçbir şey ödemezsiniz ve kredi süresi dolmaz.
- Makinelerinizin açık kalmasına bağımlı kalmak istemiyorsunuz.
API OpenAI ile uyumludur, bu nedenle SDK kullanmak iki satır kod işidir:
from openai import OpenAI
client = OpenAI(base_url="https://api.llmsincensura.com/v1", api_key="TU_CLAVE")
r = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Redacta el primer párrafo de una novela de ciencia ficción."}],
)
print(r.choices[0].message.content)
Tek bir açık modeldir, bağımsız bir sağlayıcı tarafından çalıştırılır ve yalnızca metin üretir. Büyük bir AI şirketinin resmi API'si değildir ve birden fazla sağlayıcı arasında paylaşılmaz.
Maliyet hesaplaması
API fiyatı giriş için her milyon token başına $0,15, çıkış için her milyon token başına $0,50'dir. Aylık kullanım için üç seviye:
| Aylık kullanım | Giriş | Çıkış | Toplam |
|---|---|---|---|
| 5M giriş, 2M çıkış | 5 × 0.15 = $0,75 | 2 × 0.50 = $1,00 | $1,75 |
| 50M giriş, 20M çıkış | 50 × 0.15 = $7,50 | 20 × 0.50 = $10,00 | $17,50 |
| 500M giriş, 100M çıkış | 500 × 0.15 = $75,00 | 100 × 0.50 = $50,00 | $125,00 |
Yerel taraf için kendi verilerinizle şu hesaplamayı yapın: Günde 4 saat boyunca 300 W tüketen bir GPU'ya sahip bir bilgisayar, ayda 0,3 kW × 4 saat × 30 gün = 36 kWh elektrik tüketir. Bu değeri kilovatsaat başına fiyatınızla çarpın, bilgisayarın amortismanını ekleyin ve bakım sürenizin değerini belirleyin. Düşük ve orta düzey kullanımlarda API maliyeti genellikle bundan daha düşüktür; çok yüksek, kesintisiz kullanımlarda ise zaten amorti edilmiş bir kendi bilgisayarınız daha ucuza mal olabilir. Bu hesaplamayı yalnızca siz kapatabilirsiniz.
Sansürsüz bir modelden ne beklemelisiniz
"Sansürsüz", yetişkinlere yönelik yasal kullanım alanları için (karanlık kurgu, rol yapma, hassas konulara açıkça değinme) istekleri reddetmeyecek şekilde ayarlanmış bir modeli ifade eder. Sınır olmadığı anlamına gelmez. Reşit olmayanları içeren cinsel içerik her zaman hariç tutulur ve model diğer tüm modeller gibi hatalar yapmaya devam eder: veri uydurabilir, uzun konuşmalarda konuyu kaybedebilir veya tekrarlayabilir.
Bu nedenle, hem yerel hem de API üzerinden, ona güvenmeden önce modeli kendi istemlerinizle test etmek önemlidir. anahtar sayfasında talep edilen $0,50 deneme kredisi ile yüzlerce orta ölçekli sorgu için fazlasıyla zaman sağlar.
Karışık bir yol
Kalıcı bir seçim yapmanıza gerek yok. Yaygın bir kalıp, geliştirme ve gerçek trafik için API'yi kullanmak ve çevrimdışı testler veya özellikle hassas veriler için küçük bir yerel modeli korumaktır. Her ikisi de aynı formatı kabul ettiği için ikisi arasında geçiş yapmak yalnızca Base URL'yi ve model adını değiştirmektir.
API'yi bir uygulamaya entegre edecekseniz, filtresiz bir AI'ın API entegrasyonu makalesi mühendislik tarafını detaylandırır ve dokümantasyon parametreleri listeler. Fiyatlar ve bakiye yükleme bonusları (20 $'dan başlayan, kripto ile) fiyatlandırma sayfasında yer almaktadır.
Daha fazla rehber
Sıkça sorulan sorular
Bu API'nin modelini kendi bilgisayarımda çalıştırabilir miyim?
Bu API barındırılan bir hizmettir. Yerelde çalıştırmak için açık bir modeli kendi başınıza indirmeniz gerekir; bu da donanım sınırlamalarınızla sınırlıdır.
Yerel bir model için hangi donanıma ihtiyacım var?
Modelin video belleğe sığması. 7 veya 8 milyar parametresi olan bir model, 4 bit kuantizasyon ile sıkıştırıldığında genellikle 5 veya 6 GB yer kaplar; modelin teknik sayfasına bakın.
API, istemlerimi eğitim için kaydediyor mu?
Hayır, istemler eğitim için kullanılmaz.
Her türlü içeriğe izin veriyor mu?
Hayır. Yetişkinler arasında yasal kullanımlarda içerik reddi olmadan yanıt verir, ancak reşit olmayanları içeren cinsel içeriğe asla izin vermez.
Görsel üretiyor mu?
Hayır. Yalnızca metin: görsel, ses, video, embedding veya ince ayar yok.
Anahtarınız bir adım uzaktadır
Bir hesap oluşturun, anahtarı kopyalayın ve Base URL'yi değiştirin. Bu kadar kolay.
API Anahtarı Al