BerandaPanduan
LLM tanpa sensor: lokal atau API, mana yang lebih baik

Diperbarui LLM Sin Censura
Jika Anda mencari LLM tanpa sensor, ada dua pilihan: mengunduh dan menjalankannya di perangkat Anda, atau memanggilnya melalui API dan membayar per token. Jawabannya tergantung pada perangkat keras Anda, seberapa sering Anda menggunakannya, dan berapa banyak waktu yang ingin Anda habiskan untuk memeliharanya.

Keputusan dalam tabel
Untuk LLM tanpa sensor, pilihan antara lokal dan API diringkas dalam faktor-faktor berikut:
| Faktor | Lokal | API |
|---|---|---|
| Persiapan | Jam: instalasi, unduh model, uji coba versi | Menit: satu kunci dan URL dasar |
| Biaya awal | Perangkat keras yang sudah Anda miliki atau perlu Anda beli | Tidak ada; coba dengan saldo kredit $0,50 |
| Biaya berkelanjutan | Listrik dan waktu Anda | Per token, tanpa langganan |
| Privasi | Aturan: tidak ada yang keluar dari mesin Anda | Prompt Anda dikirim ke penyedia; di sini tidak digunakan untuk pelatihan |
| Kualitas dan ukuran | Dibatasi oleh memori video Anda | Model yang mungkin tidak muat di perangkat Anda |
| Pemeliharaan | Anda yang melakukannya | Penyedia yang melakukannya |
| Berfungsi tanpa internet | Ya | Tidak |
Tidak ada kolom yang menang di semua hal. Jika yang paling penting adalah privasi absolut atau pekerjaan offline, pilih lokal. Jika Anda lebih suka tidak mengelola apa pun, pilih API.
Kapan sebaiknya dijalankan secara lokal
Alat seperti Ollama, LM Studio, atau llama.cpp menjalankan model terbuka di perangkat Anda dan beberapa mengekspos endpoint yang kompatibel dengan OpenAI di localhost, sehingga kode yang sama berfungsi untuk kedua pilihan. Lokal cocok jika:
- Anda bekerja dengan data yang tidak boleh keluar dari jaringan Anda, baik karena kebijakan maupun keinginan.
- Anda sudah memiliki GPU dengan memori yang cukup dan tidak ingin membayar berdasarkan penggunaan.
- Anda ingin bereksperimen dengan berbagai model, kuantisasi, dan penyetelan.
- Anda membutuhkan operasi tanpa koneksi internet.
Terkait perangkat keras, aturan praktisnya adalah model harus muat dalam memori video, atau RAM jika Anda menerima kecepatan yang lebih lambat. Model dengan 7 hingga 8 miliar parameter yang dikuantisasi menjadi 4 bit biasanya muat dalam sekitar 5 hingga 6 GB. Model dengan puluhan miliar parameter membutuhkan lebih banyak sumber daya dan biasanya memerlukan beberapa kartu grafis. Angka pastinya bergantung pada model dan kuantisasi, jadi silakan lihat spesifikasi model tertentu.
Kapan API cocok digunakan
API menang dalam kasus-kasus berikut:
- Komputer Anda tidak memiliki GPU, atau yang dimiliki bersifat rendah.
- Anda membangun aplikasi, bot, atau alat internal dan ingin agar aplikasi tersebut dapat melayani banyak pengguna secara bersamaan. Dengan kunci API lengkap, Anda mendapatkan 8 permintaan paralel dan 300 permintaan per menit.
- Penggunaan Anda tidak teratur: beberapa jam intensitas tinggi dan beberapa hari tanpa digunakan. Dengan saldo prabayar, Anda tidak membayar apa pun saat tidak menggunakannya, dan kredit tidak kadaluarsa.
- Anda lebih memilih untuk tidak bergantung pada mesin Anda yang menyala.
API kompatibel dengan OpenAI, sehingga menggunakan SDK hanya memerlukan dua baris:
from openai import OpenAI
client = OpenAI(base_url="https://api.llmsincensura.com/v1", api_key="TU_CLAVE")
r = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Redacta el primer párrafo de una novela de ciencia ficción."}],
)
print(r.choices[0].message.content)
Ini adalah satu model terbuka yang dijalankan oleh penyedia independen, dan hanya menghasilkan teks. Ini bukan API resmi dari perusahaan AI besar mana pun dan tidak dibagi-bagikan di antara beberapa.
Perhitungan biaya
Harga API adalah $0,15 per juta token input dan $0,50 per juta token output. Tiga tingkat penggunaan bulanan:
| Penggunaan per bulan | Input | Output | Total |
|---|---|---|---|
| 5M input, 2M output | 5 × 0.15 = $0,75 | 2 × 0.50 = $1,00 | $1,75 |
| 50M input, 20M output | 50 × 0.15 = $7,50 | 20 × 0.50 = $10,00 | $17,50 |
| 500M input, 100M output | 500 × 0.15 = $75,00 | 100 × 0.50 = $50,00 | $125,00 |
Untuk sisi lokal, hitunglah dengan data Anda: perangkat dengan GPU yang mengonsumsi 300 W selama 4 jam sehari menggunakan 0,3 kW × 4 jam × 30 hari = 36 kWh per bulan. Kalikan dengan harga per kilowatt-hour Anda, tambahkan penyusutan perangkat, dan hargai waktu pemeliharaan Anda. Pada penggunaan rendah dan menengah, angka API biasanya lebih kecil dari itu; pada penggunaan sangat tinggi yang berkelanjutan, perangkat pribadi yang sudah terbayar mungkin lebih baik. Ini adalah perhitungan yang hanya Anda yang bisa menyelesaikannya.
Apa yang bisa diharapkan dari model tanpa sensor
"Tanpa sensor" menggambarkan model yang disesuaikan untuk tidak menolak permintaan konten dalam penggunaan dewasa yang legal: fiksi gelap, roleplay, topik sensitif yang dibahas secara terbuka. Ini bukan berarti tidak ada batas. Konten seksual yang melibatkan anak di bawah umur selalu dikecualikan, dan model tetap melakukan kesalahan yang sama seperti model lain: dapat mengarang data, kehilangan alur dalam percakapan panjang, atau mengulang diri.
Oleh karena itu, baik secara lokal maupun melalui API, disarankan untuk memeriksa model dengan prompt Anda sendiri sebelum mengadopsinya. Dengan kredit uji coba senilai $0,50 yang dapat diklaim di halaman kunci API, Anda memiliki ruang yang cukup untuk melakukan ratusan permintaan menengah.
Jalur campuran
Tidak perlu memilih secara permanen. Pola umum adalah menggunakan API untuk pengembangan dan lalu lintas produksi, serta mempertahankan model lokal kecil untuk pengujian tanpa koneksi internet atau untuk data yang sangat sensitif. Karena keduanya menerima format yang sama, beralih di antara keduanya hanya memerlukan perubahan URL dasar dan nama model.
Jika Anda akan mengintegrasikan API ke dalam aplikasi, artikel tentang integrasi API AI tanpa filter menjelaskan sisi teknik, dan dokumentasi mencantumkan parameter. Harga dan bonus isi saldo (mulai dari $20, dalam kripto) terdapat di halaman harga.
Panduan lainnya
Pertanyaan Umum
Apakah Anda dapat menjalankan model dari API ini di perangkat Anda?
API ini adalah layanan yang di-hosting. Untuk menjalankan sesuatu secara lokal, Anda harus mengunduh model terbuka sendiri, dengan keterbatasan perangkat keras Anda.
Perangkat keras apa yang saya butuhkan untuk model lokal?
Pastikan model muat dalam memori video. Model dengan 7 atau 8 miliar parameter yang dikuantisasi ke 4 bit biasanya muat dalam sekitar 5 atau 6 GB, tergantung formatnya; lihat spesifikasi model tertentu.
Apakah API menyimpan prompt saya untuk pelatihan?
Tidak, prompt tidak digunakan untuk pelatihan.
Apakah semua konten diperbolehkan?
Tidak. Menjawab tanpa penolakan konten dalam penggunaan legal antar dewasa, tetapi tidak pernah konten seksual yang melibatkan anak di bawah umur.
Apakah menghasilkan gambar?
Tidak. Hanya teks: tanpa gambar, audio, video, embedding, atau penyetelan halus.
Kunci Anda hanya satu langkah lagi
Buat akun, salin kunci, dan ubah URL dasar. Semudah itu.
Dapatkan Kunci API