程序员面试专题库

大模型成本上涨往往藏在长上下文、重复重试、无效流式输出和缓存失效里。面试里讲成本治理，要能把账单拆回一次请求的真实链路。

流式输出不只是把字一个个吐给前端。后端要管理模型连接、客户端取消、超时、背压、部分结果和错误收尾。

AI 后端不能只关注回答质量，模型调用的超时、失败、成本和降级策略同样决定项目是否能上线。