首页指南
无审查 LLM:本地部署还是 API,哪个更合适

更新于 LLM Sin Censura
如果你寻找无审查 LLM,有两条路:下载到本地运行,或通过 API 调用并按 token 付费。答案取决于你的硬件、使用频率以及你愿意投入维护的时间。

表格中的决策
对于无审查 LLM,本地部署与 API 的选择取决于以下因素:
| 因素 | 本地 | API |
|---|---|---|
| 启动 | 小时:安装、下载模型、测试版本 | 分钟:一个密钥和 Base URL |
| 初始成本 | 你已有的或需购买的硬件 | 无;使用 $0.50 额度试用 |
| 持续成本 | 电力和你的时间 | 按 token 计费,无订阅 |
| 隐私 | 最高级别:数据不出你的机器 | 你的提示词传输给供应商;此处不用于训练 |
| 质量与规模 | 受限于你的显存 | 可能无法放入你设备的模型 |
| 维护 | 由你负责 | 由供应商负责 |
| 无需互联网即可运行 | 是 | 否 |
没有哪一列在所有方面都胜出。如果隐私绝对性或离线工作最重要,选本地。如果你更喜欢无需管理任何事物,选 API。
何时适合本地运行
Ollama、LM Studio 或 llama.cpp 等工具可在你的设备上运行开放权重模型,并提供兼容 OpenAI 的 localhost 接口,使同一套代码适用于两条路径。本地适合以下场景:
- 你处理的数据不能离开你的网络,无论是出于政策还是个人偏好。
- 你已经有显存足够的 GPU,且不想为使用量付费。
- 你想尝试不同的模型、量化方式和调整参数。
- 你需要离线运行。
关于硬件,经验法则是模型必须能放入显存中,或者放入 RAM(如果接受速度变慢)。一个 7B 或 8B 参数、量化为 4 位的模型通常可以放入 5 或 6 GB 显存中。拥有数百亿参数的模型需要更多显存,通常需要多张显卡。具体数字取决于模型和量化方式,因此请查阅具体模型的规格表。
API 适用的场景
API 在以下情况下更具优势:
- 你的设备没有 GPU,或者其 GPU 性能一般。
- 你正在构建应用、机器人或内部工具,并希望同时为多个用户提供服务。拥有完整密钥时,你拥有 8 个并发请求和每分钟 300 个请求的速率限制。
- 你的使用模式不规律:有时高强度使用几小时,有时几天不使用。使用预付额度,你不使用时无需付费,且额度不会过期。
- 你不想依赖你的机器保持开机状态。
API 兼容 OpenAI,因此使用 SDK 只需两行代码:
from openai import OpenAI
client = OpenAI(base_url="https://api.llmsincensura.com/v1", api_key="TU_CLAVE")
r = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Redacta el primer párrafo de una novela de ciencia ficción."}],
)
print(r.choices[0].message.content)
这是一个由独立供应商运行的单一开放权重模型,仅生成文本。它不是任何大型 AI 公司的官方 API,也不由多家公司共享。
成本核算
API 的价格为每百万输入 token $0.15,每百万输出 token $0.50。有三个月度使用层级:
| 月度使用量 | 输入 | 输出 | 总计 |
|---|---|---|---|
| 500 万输入,200 万输出 | 5 × 0.15 = $0.75 | 2 × 0.50 = $1.00 | $1.75 |
| 5000 万输入,2000 万输出 | 50 × 0.15 = $7.50 | 20 × 0.50 = $10.00 | $17.50 |
| 500M 输入 token,100M 输出 token | 500 × 0.15 = $75.00 | 100 × 0.50 = $50.00 | $125.00 |
对于本地部署,请根据你的数据计算成本:一台 GPU 功耗为 300 W 的电脑,每天运行 4 小时,每月耗电量为 0.3 kW × 4 小时 × 30 天 = 36 kWh。乘以你的每千瓦时电价,加上设备折旧,并评估你的维护时间。在低和中度使用场景下,API 的成本通常低于此数值;在持续的高强度使用场景下,已折旧完毕的自有设备可能更划算。这是一笔只有你能算清的账。
无审查模型的预期
“无审查”描述的是一个经过调整、不会拒绝成人用途中合法内容请求的模型:包括黑暗小说、角色扮演、坦率地处理敏感话题。这并不意味着没有限制。涉及未成年人的性内容始终被排除在外,且模型仍会犯与其他模型相同的错误:可能会编造数据、在长对话中迷失主题或重复内容。
因此,无论是在本地还是通过 API,在决定采用之前,最好用你自己的提示词测试模型。通过密钥页面领取的 $0.50 试用额度,足以让你进行数百次中等规模的查询。
混合路径
不必永远二选一。一种常见的模式是使用 API 进行开发和处理真实流量,同时保留一个小型本地模型用于离线测试或处理特别敏感的数据。由于两者都接受相同的格式,在两者之间切换只需修改 Base URL 和模型名称。
如果你要将 API 集成到应用中,关于无过滤 AI 的 API 集成的文章详细介绍了工程方面,文档列出了参数。价格和充值奖励(从 $20 起,支持加密货币)详见价格页面。
更多指南
常见问题
我可以在本地运行此 API 的模型吗?
此 API 是一项托管服务。要在本地运行,你需要自行下载一个开放权重模型,并受限于你的硬件。
本地模型需要什么硬件?
模型必须能放入显存中。一个 70 亿或 80 亿参数的模型在 4-bit 量化后通常可以放入 5 到 6 GB 的显存中,具体取决于格式;请查阅具体模型的规格表。
API 会保存我的提示词用于训练吗?
不会,提示词不用于训练。
允许任何内容吗?
不能。在成年人之间的合法使用中,它不拒绝内容,但绝不允许涉及未成年人的性内容。
生成图像吗?
不。仅文本:无图像、音频、视频、嵌入或微调。
你的 API 密钥触手可及
创建账户,复制密钥,并更改基础 URL。就这么简单。
获取 API 密钥