VI ▾
API LLM không kiểm duyệt không bộ lọcllmsincensura.com
$0,15mỗi 1 triệu token đầu vào
100.000cửa sổ ngữ cảnh token
Lấy khóa API

Trang chủHướng dẫn

LLM không kiểm duyệt: chạy local hay qua API, cái nào phù hợp

Cách tích hợp AI không kiểm duyệt vào ứng dụng của bạn

Nếu bạn cần LLM không kiểm duyệt, bạn có hai lựa chọn: tải về chạy local hoặc gọi qua API và trả phí theo token. Quyết định phụ thuộc vào phần cứng, tần suất dùng và thời gian bảo trì của bạn.

Máy có GPU bên trái và máy chủ đám mây bên phải được nối bởi cầu sáng

Quyết định qua bảng

Đối với một mô hình không kiểm duyệt, sự lựa chọn giữa local và API được tóm tắt trong các yếu tố sau:

Yếu tốTại chỗAPI
Khởi độngGiờ: cài đặt, tải mô hình, thử các phiên bảnPhút: khóa và URL cơ sở
Chi phí ban đầuPhần cứng bạn đã có hoặc cần muaKhông; dùng thử với tín dụng $0,50
Chi phí liên tụcĐiện và thời gian của bạnTheo token, không phí thuê bao
Quyền riêng tưTối đa: không có gì rời khỏi máy của bạnPrompt của bạn gửi đến nhà cung cấp; ở đây không dùng để huấn luyện
Chất lượng và kích thướcGiới hạn bởi VRAM của bạnMô hình có thể không vừa máy của bạn
Bảo trìBạn tự làmNhà cung cấp làm
Hoạt động không cần internetCóKhông

Không cột nào thắng trên toàn bộ. Nếu điều quan trọng nhất là quyền riêng tư tuyệt đối hoặc công việc ngoại tuyến, hãy chọn local. Nếu bạn thích không phải quản lý gì cả, hãy chọn API.

Khi nào nên chạy local

Các công cụ như Ollama, LM Studio hoặc llama.cpp chạy các mô hình mở trên máy của bạn và nhiều công cụ cung cấp một endpoint tương thích OpenAI trên localhost, để cùng một mã nguồn hoạt động cho cả hai hướng. Giải pháp cục bộ phù hợp nếu:

  • Bạn làm việc với dữ liệu không thể rời khỏi mạng của bạn, theo chính sách hoặc theo ý thích.
  • Bạn đã có một GPU với bộ nhớ đủ lớn và không muốn trả tiền theo mức sử dụng.
  • Bạn muốn thử nghiệm với các mô hình, lượng tử hóa và điều chỉnh khác nhau.
  • Bạn cần hoạt động ngoại tuyến.

Về phần cứng, quy tắc thực tế là mô hình phải vừa với bộ nhớ đồ họa, hoặc RAM nếu bạn chấp nhận tốc độ chậm hơn. Một mô hình 7 hoặc 8 tỷ tham số được lượng tử hóa 4 bit thường vừa với khoảng 5 hoặc 6 GB. Các mô hình hàng chục tỷ tham số yêu cầu nhiều hơn và thường yêu cầu nhiều card đồ họa. Các số liệu chính xác phụ thuộc vào mô hình và lượng tử hóa, vì vậy hãy tra cứu thông số kỹ thuật của mô hình cụ thể.

Khi nào nên dùng API

API có lợi thế trong các trường hợp sau:

  • Máy của bạn không có GPU, hoặc GPU hiện có khá khiêm tốn.
  • Bạn đang xây dựng một ứng dụng, bot hoặc công cụ nội bộ và muốn nó hoạt động cho nhiều người dùng cùng lúc. Với một khóa đầy đủ, bạn có 8 yêu cầu đồng thời và 300 yêu cầu mỗi phút.
  • Mức sử dụng của bạn không đều: vài giờ hoạt động mạnh và vài ngày không chạm vào. Với tín dụng trả trước, bạn không phải trả gì trong khi chưa sử dụng, và tín dụng không hết hạn.
  • Bạn muốn tránh phụ thuộc vào việc máy của bạn phải bật.

API tương thích với OpenAI, vì vậy việc sử dụng SDK chỉ là hai dòng mã:

from openai import OpenAI

client = OpenAI(base_url="https://api.llmsincensura.com/v1", api_key="TU_CLAVE")
r = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Redacta el primer párrafo de una novela de ciencia ficción."}],
)
print(r.choices[0].message.content)

Đây là một mô hình mở duy nhất, được chạy bởi một nhà cung cấp độc lập, và chỉ tạo văn bản. Nó không phải là API chính thức của bất kỳ công ty AI lớn nào và không được phân phối cho nhiều bên.

Các bảng tính chi phí

Giá của API là $0,15 cho mỗi triệu token đầu vào và $0,50 cho mỗi triệu token đầu ra. Ba mức sử dụng hàng tháng:

Sử dụng hàng thángĐầu vàoĐầu raTổng cộng
5M đầu vào, 2M đầu ra5 × 0.15 = $0,752 × 0.50 = $1,00$1,75
50M đầu vào, 20M đầu ra50 × 0.15 = $7,5020 × 0.50 = $10,00$17,50
500M đầu vào, 100M đầu ra500 × 0.15 = $75,00100 × 0.50 = $50,00$125,00

Đối với phía cục bộ, hãy thực hiện tính toán này với dữ liệu của bạn: một máy có GPU tiêu thụ 300 W trong 4 giờ mỗi ngày sử dụng 0,3 kW × 4 giờ × 30 ngày = 36 kWh mỗi tháng. Nhân với giá kilowatt-giờ của bạn, cộng khấu hao máy và đánh giá thời gian bảo trì của bạn. Ở mức sử dụng thấp và trung bình, con số của API thường nhỏ hơn; ở mức sử dụng liên tục rất cao, một máy riêng đã khấu hao có thể rẻ hơn. Đây là một phép tính chỉ bạn mới có thể kết luận.

Những gì cần mong đợi từ một mô hình không kiểm duyệt

"Không kiểm duyệt" mô tả một mô hình được tinh chỉnh để không từ chối các yêu cầu về nội dung dành cho người lớn hợp pháp: hư cấu tối, nhập vai, các chủ đề nhạy cảm được xử lý thẳng thắn. Nó không có nghĩa là không có giới hạn. Nội dung tình dục liên quan đến người chưa thành niên luôn bị loại trừ, và mô hình vẫn mắc phải những lỗi tương tự như bất kỳ mô hình nào khác: nó có thể bịa đặt dữ liệu, mất mạch trong các cuộc trò chuyện dài hoặc lặp lại.

Vì lý do đó, cả ở chế độ cục bộ và qua API, bạn nên kiểm tra mô hình bằng các prompt của chính mình trước khi đặt niềm tin vào nó. Với tín dụng dùng thử $0,50 được yêu cầu trên trang khóa, bạn có đủ dư địa để thực hiện vài trăm truy vấn trung bình.

Một lộ trình hỗn hợp

Không cần phải chọn mãi mãi. Một mô hình phổ biến là sử dụng API để phát triển và cho lưu lượng thực, và giữ một mô hình cục bộ nhỏ để thử nghiệm ngoại tuyến hoặc cho dữ liệu đặc biệt nhạy cảm. Vì cả hai đều chấp nhận cùng một định dạng, việc chuyển đổi giữa hai bên chỉ là thay đổi URL cơ sở và tên mô hình.

Nếu bạn sẽ tích hợp API vào một ứng dụng, bài viết về tích hợp API của một AI không kiểm duyệt chi tiết hóa phía kỹ thuật, và tài liệu bao gồm các tham số. Giá và khoản thưởng nạp tiền (từ $20, bằng tiền mã hóa) có trên trang giá.

Hướng dẫn khác

Câu hỏi thường gặp

Tôi có thể chạy mô hình của API này trên máy của mình không?

API này là một dịch vụ được lưu trữ. Để chạy thứ gì đó ở chế độ cục bộ, bạn sẽ phải tự tải xuống một mô hình mở, với các hạn chế về phần cứng của bạn.

Tôi cần phần cứng gì cho một mô hình cục bộ?

Mô hình phải vừa với VRAM. Một mô hình với 7 hoặc 8 tỷ tham số được lượng tử hóa 4 bit thường vừa với khoảng 5 hoặc 6 GB, tùy thuộc vào định dạng; hãy tham khảo thông số kỹ thuật của mô hình cụ thể.

API có lưu trữ prompt của tôi để huấn luyện không?

Không, các prompt không được sử dụng để huấn luyện.

Cho phép mọi nội dung không?

Không. Nó phản hồi mà không từ chối nội dung trong các trường hợp hợp pháp giữa người lớn, nhưng không bao giờ là nội dung tình dục liên quan đến người chưa thành niên.

Có tạo hình ảnh không?

Không. Chỉ văn bản: không có hình ảnh, âm thanh, video, embedding hay tinh chỉnh.

Khóa của bạn chỉ cách một bước

Tạo một tài khoản, sao chép khóa và thay đổi base URL. Dễ như vậy.

Lấy khóa API