训练微调与对齐

面试回答

常见问法

预训练、SFT、RLHF 或对齐分别在解决什么问题？

回答

它们不是一回事，解决的是不同阶段的问题：

• 预训练：让模型学会语言模式和通用知识
• SFT：让模型更像“会按指令回答的助手”
• 对齐/RLHF：让模型回答更符合人类偏好、安全要求和产品目标

所以面试时不要把“微调”和“对齐”混成一句。前者更像把模型往特定任务或风格上拉，后者更强调行为边界和偏好优化。

training_pipeline = [
    "pretrain on large corpus",
    "instruction tuning (SFT)",
    "preference optimization / alignment",
]

追问

• 为什么只做预训练还不够
• SFT 和 RAG 分别适合解决什么问题
• 对齐为什么会影响模型的拒答、风格和稳定性

原理展开

预训练让模型获得“会续写、会建模语言分布”的能力，但不代表它天然擅长做助手。

SFT 常见做法是用高质量指令数据，让模型更会：

• 理解任务
• 遵守格式
• 按角色回答

对齐阶段则更关注：

• 哪种回答更符合偏好
• 哪些回答该拒绝
• 怎么减少危险输出

面试里一个很实用的回答是： “预训练给底座能力，SFT 给指令习惯，对齐给行为边界。”

易错点

• 把 SFT、RLHF、对齐完全等同
• 以为微调一定比 RAG 更适合补知识
• 只会说阶段名称，不会说每一步解决什么问题

记忆技巧

记住这条链：

1. 预训练 = 学语言和世界模式
2. SFT = 学怎么听懂指令
3. 对齐 = 学怎么更像合格助手