工程化落地 ​

相关笔记：04 框架技术栈 · 8. Spring AI、项目复盘：心理健康 AI 助手、OpenTelemetry 可观测性

前面六篇讲「怎么让它聪明」，这篇讲「怎么让它因为不聪明也不出事」。面试里最值钱的一篇 —— 能讲清成本、稳定性、可观测，说明你真上过线。

1. 分层架构 ​

接入层   HTTP/SSE 接口、鉴权、限流、审计
编排层   Prompt 组装 → 记忆 → RAG → 工具 → 输出校验
能力层   模型网关（多厂商路由/熔断/降级）、向量库、工具集
数据层   会话/消息、知识库、向量、用量账单、评测集
观测层   trace + token 统计 + 质量指标 + 告警

接入层   HTTP/SSE 接口、鉴权、限流、审计
编排层   Prompt 组装 → 记忆 → RAG → 工具 → 输出校验
能力层   模型网关（多厂商路由/熔断/降级）、向量库、工具集
数据层   会话/消息、知识库、向量、用量账单、评测集
观测层   trace + token 统计 + 质量指标 + 告警

分层的目的：换模型、换向量库、加一个模型厂商，只改一层。反例是把 chatClient.call() 散落在 20 个 Service 里，换模型要改一天。

2. 模型网关：所有调用的唯一出口 ​

必须做网关的五个理由：

2.1 三态熔断器 ​

CLOSED（正常放行） --失败率超阈值--> OPEN（直接拒绝）
        ↑                                  │
        └──── HALF_OPEN（放少量探测） <──── 冷却时间到

CLOSED（正常放行） --失败率超阈值--> OPEN（直接拒绝）
        ↑                                  │
        └──── HALF_OPEN（放少量探测） <──── 冷却时间到

参数经验：统计窗口 10s、最小请求数 20、失败率阈值 50%、OPEN 冷却 30s、HALF_OPEN 放行 3 个。

2.2 降级链 ​

主力模型 → 重试 1 次 → 备用模型（另一厂商）→ 规则/模板回答 → 固定话术

主力模型 → 重试 1 次 → 备用模型（另一厂商）→ 规则/模板回答 → 固定话术

关键是每一层都有明确的触发条件和用户可见的表现，不能静默失败。

3. 成本工程 ​

先把账算清：

单次成本 = 输入token × 输入单价 + 输出token × 输出单价
日成本   = 日请求数 × 单次成本

单次成本 = 输入token × 输入单价 + 输出token × 输出单价
日成本   = 日请求数 × 单次成本

一个带 3 段 RAG 的问答大约 2000～4000 输入 token + 300～800 输出 token。按单价一乘就知道量级，先算再优化。

4. 性能：三个数决定体验 ​

工程要点：

• 一定要流式（SSE），否则用户白屏等待；
• 流式占线程 → 用 WebFlux/Netty 或异步 Servlet，别用 Tomcat 线程硬扛（详见 项目复盘 的踩坑 10.6）；
• 网关/代理要关缓冲（proxy_buffering off）、加长超时、发心跳。

5. 稳定性四件套 ​

限流算法按场景选：令牌桶（允许突发）、漏桶（平滑）、滑动窗口（精确）。

6. 可观测：四个必看指标 ​

日志必须能串起来：traceId → prompt 版本 → 检索到的 docId → 模型 → token → 耗时 → 是否降级。

出了问题第一句话应该是「把 traceId 给我」，而不是「我本地复现一下」。

7. 评测与发布：别靠感觉上线 ​

发布清单（很实用）：

• [ ] 评测集指标不倒退
• [ ] 成本增量在预算内
• [ ] 降级链路演练过（手动切断主力模型能正常兜底）
• [ ] 日志能定位到本次改动的版本号
• [ ] 灰度人群和回滚方式明确

8. 安全与合规 ​

9. 团队协作：把 AI 当软件工程做 ​

这条最容易被忽略：AI 项目的技术债主要是「不可复现」 —— 换个人跑同样的输入得到不同结果，还没人知道当时用的是哪个 Prompt 版本。

10. 面试怎么讲（把这七篇串成一段） ​

「我做的是一条可控的 AI 链路：模型侧做网关，多厂商 + 三态熔断 + 降级到固定话术；Prompt 进版本库，配 50 条评测集做回归；RAG 用混合检索 + Rerank，只看 Recall@5 和忠实度这两个指标；上下文做了滑动窗口 + 摘要；成本上建了用量表，按用户和模型归因，再用模型路由把简单请求切到小模型；稳定性上超时/重试/幂等/限流四件套齐全，SSE 关掉 Nginx 缓冲、异常不交给全局处理器。上线前跑评测集，灰度 24 小时再放量。」

这段话里几乎每个短语都能被追问，而追问的深度刚好由前六篇撑着。

11. 速查表 ​