홈가이드
검열 없는 LLM: 로컬 또는 API, 어떤 것이 적합한가

LLM Sin Censura
검열 없는 LLM을 원하시면 두 가지 경로가 있습니다: 다운로드하여 로컬에서 실행하거나 API를 호출하고 토큰당 비용을 지불하는 것입니다. 이 선택은 하드웨어, 사용 빈도 및 유지보수에 투자할 시간에 따라 달라집니다.

표로 보는 결정
무검열 LLM의 경우 로컬과 API 간 선택은 다음 요소로 요약됩니다:
| 요인 | 로컬 | API |
|---|---|---|
| 시작 시간 | 시간: 설치, 모델 다운로드, 버전 테스트 | 분: API 키와 Base URL만 필요 |
| 초기 비용 | 이미 보유한 하드웨어 또는 구매해야 할 하드웨어 | 없음; $0.50 크레딧으로 테스트 가능 |
| 지속 비용 | 전력 및 사용자 시간 | 토큰당 요금, 구독 없음 |
| 프라이버시 | 최대: 데이터가 기기 외부로 나가지 않음 | 프롬프트가 제공업체로 전송됩니다. 여기서는 학습에 사용되지 않습니다. |
| 품질 및 크기 | GPU 메모리에 제한됨 | 내 컴퓨터에 들어가지 않을 수 있는 모델 |
| 유지보수 | 사용자가 직접 수행 | 공급업체가 수행 |
| 인터넷 없이 작동 | 예 | 아니요 |
어떤 열도 완전히 우세하지 않습니다. 프라이버시나 오프라인 작업이 가장 중요하다면 로컬을 선택하세요. 아무것도 관리하고 싶지 않다면 API를 선택하세요.
로컬 실행이 적합한 경우
Ollama, LM Studio, llama.cpp 같은 도구는 컴퓨터에서 오픈 모델을 실행하며 로컬호스트에서 OpenAI 호환 엔드포인트를 노출해 동일한 코드로 두 경로를 모두 사용할 수 있습니다. 로컬은 다음에 적합합니다:
- 네트워크 외부로 데이터가 나가면 안 되는 상황입니다. 정책이나 선호도 때문입니다.
- 메모리가 충분한 GPU를 이미 보유하고 있으며, 사용량 기반 과금을 원하지 않습니다.
- 다양한 모델, 양자화 및 설정을 실험하고 싶습니다.
- 오프라인에서도 작동해야 합니다.
하드웨어 관련 실용적인 규칙은 모델이 VRAM에 들어가는 것이거나, 속도가 느려지는 것을 감수하면 RAM에 들어가는 것입니다. 4비트 양자화된 70억~80억 파라미터 모델은 보통 5~6GB에 들어갑니다. 수백억 파라미터 모델은 더 많은 용량을 필요로 하며 여러 GPU가 필요할 수 있습니다. 정확한 수치는 모델과 양자화 방식에 따라 다르므로 특정 모델 사양을 참조하십시오.
API가 더 적합한 경우
다음과 같은 경우 API가 더 유리합니다:
- 컴퓨터에 GPU가 없거나, 있는 GPU가 성능이 낮습니다.
- 앱, 봇 또는 내부 도구를 구축 중이며 여러 사용자가 동시에 사용할 수 있도록 하려는 경우. 전체 API 키를 사용하면 동시 요청 8개와 분당 300개의 요청이 가능합니다.
- 사용 패턴이 불규칙합니다. 몇 시간 동안 집중적으로 사용하고 며칠 동안 사용하지 않는 경우. 선불 크레딧을 사용하면 사용하지 않을 때는 요금이 발생하지 않으며, 크레딧은 만료되지 않습니다.
- 내 머신이 켜져 있어야 한다는 점에 의존하고 싶지 않습니다.
API는 OpenAI와 호환되므로 SDK 사용은 두 줄로 끝납니다:
from openai import OpenAI
client = OpenAI(base_url="https://api.llmsincensura.com/v1", api_key="TU_CLAVE")
r = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Redacta el primer párrafo de una novela de ciencia ficción."}],
)
print(r.choices[0].message.content)
독립된 제공자가 실행하는 단일 오픈 모델이며, 텍스트만 생성합니다. 주요 AI 기업의 공식 API가 아니며 여러 모델로 라우팅되지도 않습니다.
비용 계산
API 가격은 입력 토큰 100만 개당 $0.15, 출력 토큰 100만 개당 $0.50입니다. 월별 사용량 3단계:
| 월별 사용량 | 입력 | 출력 | 합계 |
|---|---|---|---|
| 입력 500만, 출력 200만 | 5 × 0.15 = $0.75 | 2 × 0.50 = $1.00 | $1.75 |
| 입력 5,000만, 출력 2,000만 | 50 × 0.15 = $7.50 | 20 × 0.50 = $10.00 | $17.50 |
| 500M 입력, 100M 출력 | 500 × 0.15 = $75.00 | 100 × 0.50 = $50.00 | $125.00 |
로컬 비용은 다음 데이터로 계산하십시오: GPU가 하루 4시간 동안 300W를 소비하는 장비는 월 36kWh(0.3kW × 4시간 × 30일)를 사용합니다. 킬로와트시 단가를 곱하고 장비 감가상각비를 더하며 유지보수 시간을 평가하십시오. 저사용 및 중사용 시 API 비용이 일반적으로 더 적게 들며, 매우 높은 지속 사용 시 이미 감가상각이 완료된 자체 장비가 더 저렴할 수 있습니다. 이 결산은 오직 당신만이 마무리할 수 있습니다.
무검열 모델의 기대치
"무검열"은 성인용 콘텐츠에 대한 요청을 거부하지 않도록 조정된 모델을 의미합니다. 여기에는 다크 픽션, 롤플레이, 민감한 주제의 솔직한 다루기 등이 포함됩니다. 제한이 없다는 뜻은 아닙니다. 미성년자가 포함된 성적 콘텐츠는 항상 제외되며, 모델은 다른 모든 모델과 동일한 오류를 범합니다. 데이터를 허위 생성하거나 긴 대화에서 맥락을 잃거나 반복할 수 있습니다.
따라서 로컬에서든 API를 통해서든 모델을 선택하기 전에 자신의 프롬프트로 모델을 먼저 확인하는 것이 좋습니다. API 키 페이지에서 청구할 수 있는 $0.50 무료 체험 크레딧으로 수백 건의 중간 크기 쿼리를 수행하기에 충분한 여지가 있습니다.
혼합 방식
영구적으로 선택할 필요가 없습니다. 일반적인 패턴은 API를 개발과 실제 트래픽에 사용하고, 오프라인 테스트나 매우 민감한 데이터용으로는 작은 로컬 모델을 유지하는 것입니다. 둘 다 동일한 형식을 지원하므로 두 모델 간 전환은 Base URL과 모델 이름만 변경하면 됩니다.
API를 애플리케이션에 통합하려면 무검열 AI의 API 통합 기사가 엔지니어링 측면을 자세히 설명하고, 문서에 파라미터가 정리되어 있습니다. 가격 및 충전 보너스(최소 $20, 암호화폐 가능)는 가격 페이지에서 확인할 수 있습니다.
더 많은 가이드
자주 묻는 질문
이 API의 모델을 내 장비에서 실행할 수 있나요?
이 API는 호스팅된 서비스입니다. 로컬에서 실행하려면 오픈 모델을 직접 다운로드해야 하며, 이는 하드웨어의 제한에 따라 달라집니다.
로컬 모델을 위해 어떤 하드웨어가 필요한가요?
모델이 GPU 메모리에 들어가는지 확인하세요. 4비트 양자화된 70억~80억 파라미터 모델은 포맷에 따라 보통 5~6GB에 들어갑니다. 특정 모델 사양을 확인하세요.
API가 프롬프트를 저장하여 학습에 사용하나요?
아니요. 프롬프트는 학습에 사용되지 않습니다.
모든 콘텐츠를 허용하나요?
아니요. 성인 간 합법적인 사용에서는 콘텐츠 거부 없이 응답하지만, 미성년자가 포함된 성적 콘텐츠는 항상 제외됩니다.
이미지를 생성하나요?
아니요. 텍스트만 생성합니다. 이미지, 오디오, 비디오, 임베딩, 파인튜닝은 제공되지 않습니다.
API 키는 한 걸음 떨어져 있습니다
계정을 생성하고, 키를 복사하고, Base URL을 변경하십시오. 그게 다야.
API 키 받기