Appearance
在模型 slug 末尾添加 :nitro,等价于将 provider.sort 设置为 throughput,让 OpenRouter 优先选择 token 生成速度(tokens/second)最高的提供商。适合对响应速度有严格要求的实时应用。
用法
在模型 ID 末尾加上 :nitro:
json
{
"model": "openai/gpt-4o:nitro"
}这与在请求中显式设置提供商排序完全等价:
json
{
"model": "openai/gpt-4o",
"provider": {
"sort": "throughput"
}
}详细的提供商排序选项,参考提供商路由文档。
适用场景
- 实时聊天应用,需要最小化首 token 延迟
- 流式输出场景,希望尽快开始接收内容
- 批处理任务,需要最大化整体吞吐量
常见问题
Q: :nitro 会增加费用吗?
A: 不会增加额外费用,只是改变了提供商选择偏好。高吞吐量的提供商定价可能与其他提供商不同,费用以最终选中的提供商为准。
Q: :nitro 和 :free 可以同时使用吗?
A: 不能,模型变体后缀每次只能使用一个。
Q: 如果最快的提供商不可用怎么办?
A: OpenRouter 会按吞吐量从高到低尝试可用的提供商,确保请求成功处理。