服务拆分与配置管理

面试回答

常见问法

AI 应用上线时，为什么配置管理、限流和重试这些工程点很重要？

回答

因为 AI 服务天然有外部依赖、成本压力和不稳定性。模型调用可能超时、外部工具可能失败、token 成本可能失控，所以必须把配置、密钥、限流、缓存和重试当成一等公民来设计，而不是事后补丁。

追问

• 为什么密钥管理不能写死在代码里？
• 哪些请求适合缓存，哪些不适合？
• 重试为什么可能放大成本和风险？

原理展开

AI 应用通常要接模型服务、向量库、外部 API 和内部工具，链路长、依赖多。服务拆分的目标不是为了“微服务而微服务”，而是让调用边界、配置入口和故障隔离更清晰。

在生产环境里，配置中心、环境变量、密钥托管、限流和告警都要尽早纳入设计，否则系统一旦上量，问题会很快暴露。

易错点

• 把部署问题理解成“把代码跑起来”就结束
• 没有限流和预算控制