TR ▾
Filtresiz AI için sansürsüz APIllmsincensura.com
$0,151M giriş token başına
100.000token bağlam penceresi
API anahtarı al

Ana SayfaKılavuz

Sansürsüz LLM: yerel mi API mi, hangisi uygun

Filtresiz Yapay Zeka'yı Uygulamanıza Entegre Etme

Sansürsüz bir LLM arıyorsanız iki yolunuz var: indirip kendi makinanızda çalıştırmak veya API üzerinden çağırıp token başına ödeme yapmak. Cevap donanımınıza, kullanım sıklığınıza ve bakım için ayırmak istediğiniz süreye bağlıdır.

Solda GPU'lu ekipman, sağda bulut sunucusu ve aralarında ışıklı bir köprü

Tabloda karar

Bir sansürsüz LLM için yerel ve API arasındaki seçim şu faktörlerle özetlenebilir:

FaktörYerelAPI
KurulumSaatler: kurulum, model indirme, sürüm denemeleriDakikalar: bir anahtar ve Base URL
Başlangıç maliyetiZaten sahip olduğunuz veya satın almanız gereken donanımYok; $0,50 kredi ile deneyin
Sürekli maliyetElektrik ve zamanınızToken başına, abonelik yok
GizlilikMaksimum: hiçbir şey makinenizden çıkmazİstemleriniz sağlayıcıya iletilir; burada eğitim için kullanılmazlar.
Kalite ve boyutVideo belleğinizle sınırlıMakinenize sığmayacak bir model
BakımSiz yaparsınızSağlayıcı yapar
İnternet olmadan çalışırEvetHayır

Hiçbir sütun her şeyde kazanmaz. Gizlilik veya çevrimdışı çalışma öncelikliyse yerel; hiçbir şey yönetmek istemiyorsanız API.

Yerelde çalıştırmanın uygun olduğu durumlar

Ollama, LM Studio veya llama.cpp gibi araçlar açık modelleri yerel makinenizde çalıştırır ve çeşitli araçlar localhost'ta OpenAI uyumlu bir uç nokta sunar, böylece aynı kod her iki yol için de işe yarar. Yerel şunlar için uygundur:

  • Politika veya tercihiniz gereği ağınızdan çıkamayan verilerle çalışıyorsunuz.
  • Yeterli belleğe sahip bir GPU'nuz var ve kullanım başına ödeme yapmak istemiyorsunuz.
  • Farklı modeller, kuantizasyonlar ve ayarlarla deneme yapmak istiyorsunuz.
  • Çevrimdışı çalışmanız gerekiyor.

Donanım konusunda genel kural şudur: model video belleğine sığmalıdır veya daha yavaş çalışmayı kabul ediyorsanız RAM'e sığmalıdır. 4 bit kuantizasyon ile 7 veya 8 milyar parametreli bir model genellikle 5-6 GB belleğe sığar. Onlarca milyar parametreli modeller çok daha fazla bellek ister ve genellikle birden fazla GPU gerektirir. Kesin sayılar modele ve kuantizasyona bağlıdır, bu nedenle lütfen ilgili model sayfasına bakın.

API ne zaman daha uygundur

API şu durumlarda daha avantajlıdır:

  • Ekipmanınızda GPU yoksa veya mevcut GPU yeterince güçlü değilse.
  • Bir uygulama, bot veya iç araç geliştiriyorsunuz ve aynı anda birden fazla kullanıcı için çalışmasını istiyorsunuz. Tam bir anahtarla eşzamanlı 8 istek ve dakikada 300 istek hakkınız vardır.
  • Kullanımınız düzensizse: yoğun saatler, ardından günlerce hiç kullanmama. Ön ödemeli kredi ile kullanmadığınız sürece hiçbir şey ödemezsiniz ve kredi süresi dolmaz.
  • Makinelerinizin açık kalmasına bağımlı kalmak istemiyorsunuz.

API OpenAI ile uyumludur, bu nedenle SDK kullanmak iki satır kod işidir:

from openai import OpenAI

client = OpenAI(base_url="https://api.llmsincensura.com/v1", api_key="TU_CLAVE")
r = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Redacta el primer párrafo de una novela de ciencia ficción."}],
)
print(r.choices[0].message.content)

Tek bir açık modeldir, bağımsız bir sağlayıcı tarafından çalıştırılır ve yalnızca metin üretir. Büyük bir AI şirketinin resmi API'si değildir ve birden fazla sağlayıcı arasında paylaşılmaz.

Maliyet hesaplaması

API fiyatı giriş için her milyon token başına $0,15, çıkış için her milyon token başına $0,50'dir. Aylık kullanım için üç seviye:

Aylık kullanımGirişÇıkışToplam
5M giriş, 2M çıkış5 × 0.15 = $0,752 × 0.50 = $1,00$1,75
50M giriş, 20M çıkış50 × 0.15 = $7,5020 × 0.50 = $10,00$17,50
500M giriş, 100M çıkış500 × 0.15 = $75,00100 × 0.50 = $50,00$125,00

Yerel taraf için kendi verilerinizle şu hesaplamayı yapın: Günde 4 saat boyunca 300 W tüketen bir GPU'ya sahip bir bilgisayar, ayda 0,3 kW × 4 saat × 30 gün = 36 kWh elektrik tüketir. Bu değeri kilovatsaat başına fiyatınızla çarpın, bilgisayarın amortismanını ekleyin ve bakım sürenizin değerini belirleyin. Düşük ve orta düzey kullanımlarda API maliyeti genellikle bundan daha düşüktür; çok yüksek, kesintisiz kullanımlarda ise zaten amorti edilmiş bir kendi bilgisayarınız daha ucuza mal olabilir. Bu hesaplamayı yalnızca siz kapatabilirsiniz.

Sansürsüz bir modelden ne beklemelisiniz

"Sansürsüz", yetişkinlere yönelik yasal kullanım alanları için (karanlık kurgu, rol yapma, hassas konulara açıkça değinme) istekleri reddetmeyecek şekilde ayarlanmış bir modeli ifade eder. Sınır olmadığı anlamına gelmez. Reşit olmayanları içeren cinsel içerik her zaman hariç tutulur ve model diğer tüm modeller gibi hatalar yapmaya devam eder: veri uydurabilir, uzun konuşmalarda konuyu kaybedebilir veya tekrarlayabilir.

Bu nedenle, hem yerel hem de API üzerinden, ona güvenmeden önce modeli kendi istemlerinizle test etmek önemlidir. anahtar sayfasında talep edilen $0,50 deneme kredisi ile yüzlerce orta ölçekli sorgu için fazlasıyla zaman sağlar.

Karışık bir yol

Kalıcı bir seçim yapmanıza gerek yok. Yaygın bir kalıp, geliştirme ve gerçek trafik için API'yi kullanmak ve çevrimdışı testler veya özellikle hassas veriler için küçük bir yerel modeli korumaktır. Her ikisi de aynı formatı kabul ettiği için ikisi arasında geçiş yapmak yalnızca Base URL'yi ve model adını değiştirmektir.

API'yi bir uygulamaya entegre edecekseniz, filtresiz bir AI'ın API entegrasyonu makalesi mühendislik tarafını detaylandırır ve dokümantasyon parametreleri listeler. Fiyatlar ve bakiye yükleme bonusları (20 $'dan başlayan, kripto ile) fiyatlandırma sayfasında yer almaktadır.

Daha fazla rehber

Sıkça sorulan sorular

Bu API'nin modelini kendi bilgisayarımda çalıştırabilir miyim?

Bu API barındırılan bir hizmettir. Yerelde çalıştırmak için açık bir modeli kendi başınıza indirmeniz gerekir; bu da donanım sınırlamalarınızla sınırlıdır.

Yerel bir model için hangi donanıma ihtiyacım var?

Modelin video belleğe sığması. 7 veya 8 milyar parametresi olan bir model, 4 bit kuantizasyon ile sıkıştırıldığında genellikle 5 veya 6 GB yer kaplar; modelin teknik sayfasına bakın.

API, istemlerimi eğitim için kaydediyor mu?

Hayır, istemler eğitim için kullanılmaz.

Her türlü içeriğe izin veriyor mu?

Hayır. Yetişkinler arasında yasal kullanımlarda içerik reddi olmadan yanıt verir, ancak reşit olmayanları içeren cinsel içeriğe asla izin vermez.

Görsel üretiyor mu?

Hayır. Yalnızca metin: görsel, ses, video, embedding veya ince ayar yok.

Anahtarınız bir adım uzaktadır

Bir hesap oluşturun, anahtarı kopyalayın ve Base URL'yi değiştirin. Bu kadar kolay.

API Anahtarı Al