跳转至

额度、并发与限流

账户有余额,不代表每个 Key 都能继续调用。一次请求还可能受到 Key 的总额度、费用窗口、用户并发、RPM 或上游容量限制。

具体启用的限制及限值,以登录后可见信息和 RouteFast 支持确认结果为准。

先分清限制的单位和范围

限制 含义与作用范围 达到限制后
账户余额 余额计费模式下,用户可消费的金额 鉴权层可返回 403 INSUFFICIENT_BALANCE;后续计费预检也可能返回 403 billing_error
Key 总额度 分配给这一把 Key 的累计消费上限,单位是费用 429 API_KEY_QUOTA_EXHAUSTED;Responses 路径可返回 insufficient_quota
Key 费用窗口 这把 Key 在 5 小时、1 天、7 天窗口内的消费上限 429 rate_limit_exceeded,消息提示哪一费用窗口耗尽
用户并发 同时正在处理的请求数量;多个 Key 可能共享用户并发 可能先等待,排队满或等待并发失败时返回 429 rate_limit_error
用户/分组 RPM 每分钟请求数。检查用户在分组内的限额,也检查用户全局限额 429 rate_limit_exceeded;响应头尚未提交时对应处理逻辑提供 Retry-After
上游容量 可调度上游的并发、额度、模型限制或临时可用性 可能返回 429 rate_limit_error503 api_error

Key 的 rate_limit_5hrate_limit_1drate_limit_7d按费用计算的窗口额度,不是每分钟请求数,也不是 Token 数。不要看到字段中的 rate_limit 就把它理解为 RPM/TPM。

余额、Key 总额度与费用窗口

假设账户仍有余额,但某把 Key 已达到自己设置的总额度,该 Key 仍会被拒绝。继续充值账户也不会自动改变它的总额度配置。

窗口额度则关注某段时间内的消费,分别按 5 小时、24 小时和 7 天计算。不要假定“日限额”一定在北京时间零点恢复,或“7 天限额”一定在周一恢复。存在窗口开始/重置时间时以实际值为准;查不到时联系支持确认。

额度限制是请求准入与用量结算共同工作的机制。多个请求可能同时处于处理中,不能把它当成每笔费用都已提前精确计算的预扣保证。预算敏感时同时降低并发、设置输出上限并查看用量。

并发和 RPM 有什么不同

并发数关心“现在有多少个请求没结束”,RPM 关心“一分钟发起了多少请求”。

  • 长时间生成可能占着并发,即使最近一分钟请求不多。
  • 大量很短的请求可能很快结束,但仍会触发 RPM。
  • 一次排队或重试可能继续延长等待,频繁新建请求会使排队更严重。

同一用户的多个 Key 共享用户并发限制。新建多把 Key 并不自动增加该用户的并发上限。

RPM 检查包括用户在当前分组内的限制和用户全局限制。管理员为某个“用户 + 分组”设置的专属 RPM 可以替代该分组的默认值,但用户全局上限仍可能同时生效。这里的分组默认值不应理解为文档承诺的一份独占上游容量。

其他可能启用的限制

部分账户还可能受按平台的日/周/月费用额度或订阅分组额度限制,只有在对应配置生效时才适用。具体套餐及额度以控制台显示和服务说明为准。

订阅检查可能返回 SUBSCRIPTION_NOT_FOUNDSUBSCRIPTION_INVALIDUSAGE_LIMIT_EXCEEDED;用户平台费用窗口可能经网关映射为 rate_limit_exceeded。收到这些错误时提供脱敏响应给支持核对,不要套用 Key 的窗口规则。

本页不承诺统一 TPM 数值、自动提额级别、按充值金额解锁限流或购买更多 Key 提高容量。这些都需要 RouteFast 的实际配置和服务说明作依据。

429 后应该怎么做

错误原因 正确处理
Key 总额度耗尽 查看该 Key 的额度;有权限时调整配置,或联系支持处理
Key / 用户平台费用窗口耗尽 等待对应窗口恢复;不要高频重试
用户/分组 RPM 降低请求频率,遵守实际 Retry-After
用户并发或排队 等待已有请求完成,降低同时运行的任务数
上游限流或容量不足 有限退避;持续失败联系支持,不要假定换 Key 能恢复

某些限制在 SSE 心跳发送后才被发现,此时 HTTP 可能仍是 200,错误写在流内。还要检查 Responses 的 response.failed 或相应协议的错误事件。

费用不足与窗口额度耗尽不适合无条件自动重试。若 SDK 内置重试,再套一层循环会放大请求次数和潜在费用。具体诊断方法见故障排查

如何确认自己的限额

  1. 在当前 Key 详情中查看实际显示的状态、有效期、总额度与费用窗口。
  2. 检查账户余额和对应时间的用量记录。
  3. 保存失败请求的 HTTP 状态、错误字段、Retry-After 和响应请求 ID。
  4. 如果控制台没有显示 RPM、并发或恢复时间,携带这些信息联系 support@routefast.ai

GET /v1/sub2api/billing 用来查询计费倍率,不是全部限额查询接口;GET /v1/models 列出模型也不保证请求时有可用容量。