[NS :
背景:自己VPS上跑了个WorkBuddy反代网关(OpenAI兼容接口),国内版/国际版可切换,Telegram机器人通过/model切换,后面大概挂了50个模型,每天跑agent任务,token量不小。已做的:网关前加了访问控制,统一baseURL接入。遇到的问题:偶尔碰到上游失败,比如连续burst调用后返回
大熊养鱼] 请教:自建反代网关挂几十个模型,失败重试和模型降级怎么做比较稳?背景:自己VPS上跑了个WorkBuddy反代网关(OpenAI兼容接口),国内版/国际版可切换,Telegram机器人通过/model切换,后面大概挂了50个模型,每天跑agent任务,token量不小。已做的:网关前加了访问控制,统一baseURL接入。遇到的问题:偶尔碰到上游失败,比如连续burst调用后返回