通用技术面 AI 后端/大模型应用开发 大模型成本治理 大模型账单突然变高,通常不是模型单价一个原因 大模型成本上涨往往藏在长上下文、重复重试、无效流式输出和缓存失效里。面试里讲成本治理,要能把账单拆回一次请求的真实链路。 阅读全文
多家公司 AI 后端 AI 后端稳定性 AI 后端稳定性:模型超时、降级、重试和成本治理必须一起设计 AI 后端不能只关注回答质量,模型调用的超时、失败、成本和降级策略同样决定项目是否能上线。 阅读全文