无限制地将请求路由到每个模型的最佳可用提供商。
默认路由
对于每个模型,Boundless 维护多个上游提供商。默认选择针对以下方面进行优化:
- 可用性 — 跳过提供商
- 延迟 — 更喜欢更快的路线
- 成本 — 在健康的提供者中,更喜欢较低的成本
自动故障转移
如果某个提供程序返回错误(5xx、超时、速率限制),Boundless 会自动透明地重试下一个提供程序。
您的应用程序会看到一个响应。故障转移增加了最小的延迟(通常每次重试 <100 毫秒)。
故障转移触发器
| 状况 | 行动 |
|---|---|
| 提供商 5xx | 重试下一个提供商 |
| 超时(>120 秒) | 重试下一个提供商 |
| 提供者 429 | 重试下一个提供商 |
| 提供者 400 | 无故障转移 — 客户端错误 |
提供商偏好
按价格排序
首选成本最低的健康提供者:
```json
{
“型号”:“gpt-5.5”,
“提供商”:{
“排序”:“价格”
},
“消息”:[...]
}
### 按吞吐量排序
首选最快的提供商:
```json
{
“型号”:“gpt-5.5”,
“提供商”:{
“排序”:“吞吐量”
},
“消息”:[...]
}
需要特定提供商
```json
{
“型号”:“gpt-5.5”,
“提供商”:{
“要求”:[“openai”]
},
“消息”:[...]
}
如果指定的提供程序已关闭,则不会进行故障转移 - 请求失败。
---
## 隐私感知路由
启用严格隐私时(默认),请求仅路由至已确认无培训政策的提供商。
如果没有提供程序与您的隐私级别匹配,则请求将失败并显示“403”,而不是路由到日志记录提供程序。
参见数据政策。
---
## 模型回退
如果主模型出现故障,则路由至备份模型:
```json
{
“模型”:[“gpt-5.5”,“claude-sonnet-4-6”,“deepseek-v4-flash”],
“消息”:[...]
}
按顺序尝试每个模型,直到成功。
监控
仪表板 → 活动显示哪个提供商处理每个请求(启用路由器元数据时)。
状态页面显示每个提供商的健康状况。