通用专题 Java/后端开发 向量检索工程化 向量检索上线后变差,问题常常出在版本、切分和回滚 向量检索质量不只取决于模型,embedding 版本、切分策略、索引参数、权限过滤和回滚方案都会影响线上效果。 阅读全文
多家公司 AI 后端/大模型应用开发 大模型流式后端 大模型流式输出不是前端效果:后端要处理取消、超时和背压 流式输出不只是把字一个个吐给前端。后端要管理模型连接、客户端取消、超时、背压、部分结果和错误收尾。 阅读全文