微调与私有化部署 ​

绝大多数「我们需要微调」的需求，其实是RAG 或 Prompt 没做好。 这篇先讲什么时候真的该微调，再讲怎么做、怎么部署、怎么算钱。

一、先判断：微调是不是你需要的 ​

一条经验：先 Prompt，再 RAG，最后微调。微调是「改模型的行为」，不是「塞知识」—— 用微调记知识，会遇到更新困难、幻觉、以及「问细节就崩」的问题。

二、微调能改什么、不能改什么 ​

三、SFT 的数据怎么造 ​

数据三条来源 ​

数据格式（对话式 SFT） ​

{"messages": [
  {"role": "system", "content": "你是客服助手，只回答退换货相关问题。"},
  {"role": "user", "content": "耳机坏了能退吗"},
  {"role": "assistant", "content": "7 天内非人为损坏可退，请提供订单号。"}
]}

{"messages": [
  {"role": "system", "content": "你是客服助手，只回答退换货相关问题。"},
  {"role": "user", "content": "耳机坏了能退吗"},
  {"role": "assistant", "content": "7 天内非人为损坏可退，请提供订单号。"}
]}

五条数据纪律 ​

1. 量不是关键，一致性才是：500 条高质量 > 5000 条噪声；
2. 覆盖边界：正例之外要有「不该回答时怎么拒绝」的样本；
3. 去重：重复样本会让模型过拟合到特定表述；
4. 划分验证集：训练/验证/测试分开，测试集绝不参与调参；
5. 清洗掉模型自身错误（用模型生成的数据要先筛，否则错误会被固化）。

四、LoRA 与 QLoRA ​

全参数微调要更新所有参数（7B 模型也要几十 GB 显存）。LoRA 的思路：冻结原模型，只训练很小的低秩矩阵。

原始权重 W（冻结）  +  ΔW = B·A（低秩，可训练）
h = Wx + (α/r)·BAx

原始权重 W（冻结）  +  ΔW = B·A（低秩，可训练）
h = Wx + (α/r)·BAx

QLoRA = LoRA + 4bit 量化基座（NF4），让 7B 模型能在单卡 24GB 上训练。

# 伪代码（transformers + peft）
model = load_quantized("qwen2-7b", load_in_4bit=True)     # QLoRA
model = get_peft_model(model, LoraConfig(
    r=16, lora_alpha=32, lora_dropout=0.05,
    target_modules=["q_proj", "k_proj", "v_proj", "o_proj"],
    task_type="CAUSAL_LM",
))
trainer.train()
model.save_pretrained("out/lora")     # 只存几十 MB 的 adapter

# 伪代码（transformers + peft）
model = load_quantized("qwen2-7b", load_in_4bit=True)     # QLoRA
model = get_peft_model(model, LoraConfig(
    r=16, lora_alpha=32, lora_dropout=0.05,
    target_modules=["q_proj", "k_proj", "v_proj", "o_proj"],
    task_type="CAUSAL_LM",
))
trainer.train()
model.save_pretrained("out/lora")     # 只存几十 MB 的 adapter

优势：显存小、训练快、adapter 只有几十 MB，可热插拔多套。 代价：容量有限，复杂任务不如全参；推理时多一次矩阵乘（可合并进原权重）。

五、训练流程与坑 ​

造数据 → 划分集 → 基线评测（不微调先测一遍！）→ 训练 → 验证集看 loss
      → 测试集评测（规则 + judge）→ 人工抽检 → 上线灰度

造数据 → 划分集 → 基线评测（不微调先测一遍！）→ 训练 → 验证集看 loss
      → 测试集评测（规则 + judge）→ 人工抽检 → 上线灰度

必须先跑基线：不微调前测一遍，否则你不知道微调到底提升了多少（甚至可能变差）。

六、私有化部署：四种形态 ​

七、推理优化（部署侧最值钱的部分） ​

关键指标：TTFT（首字延迟）、TPOT（每 token 时间）、吞吐（tokens/s）、显存占用。 注意：量化会带来质量损失，必须用量化后的模型重跑评测集，不能沿用原分数。

八、成本怎么算 ​

显存 ≈ 参数量 × 精度字节数（FP16: 2B/参数）+ KV Cache
  · 7B FP16 ≈ 14GB（还要给 KV Cache 留 10~20GB）
  · 7B INT4 ≈ 4GB

吞吐估算：单卡 A100 跑 7B + vLLM，batch 下可达 2000~4000 tokens/s（视输入长度）
成本 ≈ 单卡时价 × 小时数 / 总 token 数

显存 ≈ 参数量 × 精度字节数（FP16: 2B/参数）+ KV Cache
  · 7B FP16 ≈ 14GB（还要给 KV Cache 留 10~20GB）
  · 7B INT4 ≈ 4GB

吞吐估算：单卡 A100 跑 7B + vLLM，batch 下可达 2000~4000 tokens/s（视输入长度）
成本 ≈ 单卡时价 × 小时数 / 总 token 数

国产/开源模型自建 vs 调 API 的分水岭：日调用量稳定且大（比如日均千万 token 以上）、或有数据不出内网要求时，自建才划算；否则 API 更省心。

九、速查 ​