错误 1:假设所有 '无限制' 模型的约束程度相同
聚合商经常松散地使用“无审查 AI”一词来描述过滤器较宽松模型。一些模型仍然保留对特定主题的硬分类器,而其他模型则是真正的开源权重,并针对最小拒绝进行了调整。这种差异意味着您的集成可能在一个模型上运行完美,但在另一个模型上会遇到意外的拒绝。始终验证您路由到的模型的具体行为。
我们提供单一的、真正的无审查模型,不拒绝合法的成人或争议性话题。这消除了模型路由的猜测。你可以获得每次请求的一致性行为,无需担心隐藏的护栏。
错误 2:忽视 100k token 上下文窗口限制
当提示词和补全中的令牌总数超过模型限制时,您的集成将失败。许多开发人员配置客户端发送 100k 令牌,但忘记模型需要空间来生成响应。如果上下文窗口为 100,000 个令牌,您必须为输出保留空间。发送过大的提示词会导致立即错误或截断。
我们支持 100,000 token 的上下文窗口,涵盖提示词和补全的总和。这允许处理大量的历史记录或长文档。请确保在每次请求之前正确计算剩余的 token 数。超出此限制会导致请求被拒绝,从而浪费资金。
错误 3:混淆 max_tokens 与上下文长度
上下文长度定义了模型可以读取的历史记录量。最大 token 数定义了模型可以生成的文本量。这两个是独立的限制。你可以拥有巨大的上下文窗口,但最大输出很小。如果将 max_tokens 设置得太低,会截断你的回答。如果设置得太高,如果模型生成填充内容,则会导致不必要的计费。
我们的无审查 LLM 支持每次请求最多 16,000 个令牌的输出。如果您未设置 max_tokens,则默认为 2,048 个令牌。此默认值对于复杂推理任务通常太短。请显式设置参数以匹配您的预期响应长度。这可以防止 JSON 截断或代码块不完整。
错误 4:忽视流式与非流式 token 计数的区别
流式响应增量交付令牌。非流式响应等待整个完成。令牌使用情况通常在流的最后一个数据块中报告。如果你的客户端忽略最后一个数据块,你将失去准确的计费数据。这使得调试昂贵的请求变得困难。
我们通过 SSE 提供流式传输,最后一个分块包含 token 用量。请确保您的解析器捕获此最终事件。非流式请求也在响应体中包含用量数据。使用流式传输可获得更好的用户体验,但请正确跟踪用量。遗漏最终分块会导致成本报告偏低。
错误 5:期望所有类型的内容都零拒绝
Uncensored 并不意味着无限。大多数模型仍然对涉及未成年人的色情内容强制执行硬性限制。这是开源模型中的标准安全基线。如果你发送违反此规则的提示,API 将返回拒绝。这不是错误;这是策略执行。
我们的 API 拒绝包含未成年人色情内容的请求。所有其他合法的成人内容均获允许。此硬性限制适用于所有提示风格。不要假设每次拒绝都表示模型问题。首先根据您的内容检查此特定约束。
错误 6:为创意与编码任务使用错误的 temperature 设置
温度控制随机性。高值增加创造性但降低精度。低值使输出更具确定性和精确性。使用高温度进行代码生成会引入语法错误。使用低温度进行创意写作会使文本重复且平淡。
根据您的任务调整 temperature。对于函数调用或 JSON 模式使用较低的值。对于故事生成或头脑风暴使用较高的值。我们的无审查 LLM 对这些调整反应良好。测试不同的值以找到适合您用例的正确平衡点。
错误 7:未尽早测试 JSON 模式输出结构
LLM 不是数据库。它们生成的文本看起来像 JSON。当模型输出额外文本或无效语法时会出现错误。如果您不验证输出,解析就会失败。依赖模型每次都生成完美的 JSON 是有风险的。始终为无效 JSON 实现重试机制。
我们通过 response_format json_object 支持 JSON 模式。这会强制模型输出有效的 JSON。它仍可能生成空对象或缺少字段。在使用数据之前请验证结构。这可以节省后续管道中的调试时间。
错误 8:假设积分像订阅一样过期
许多 API 提供商收取按月收费且会过期的费用。我们的模式不同。您为使用量付费。预存积分永不过期。如果您充值 $100,该余额将无限期可用。这对于间歇性项目或长期存储非常理想。您不会因为等待而损失资金。
我们按实际令牌用量计费。错误和拒绝不收费。这意味着您只为成功的完成付费。仅支持加密货币充值。没有月度费用意味着没有意外费用。使用预付费模式以实现可预测的长期成本。