大模型SFT（监督微调）的核心经验在于：高质量数据覆盖关键场景、控制数据噪音、平衡任务干扰，并通过少量精准数据修复模型缺陷，同时需警惕模型对数据分布和噪声的过度敏感。 以下是具体经验总结：一、数据构建策略场景覆盖优先于数据量：大模型SFT中，数据多样性比数量更重要。需覆盖不同任务（如问答、摘要、对话）和场景（如医疗、法律、日常），但每种场景仅需少量高质量数据（几十到一百条）。例如，修复特定bad case时，针对性添加几十条相关数据即可显著改善效果，远胜于小模型中数千条低效数据。避免数据分布偏差：若训练集中存在固定模式（如3%数据开头相同），且生成多样性系数低（如topk=1或topp接近0），模型会过度复现这些模式。例如，8%的生成文本可能重复相同开头，导致“复读机”现象。需通过增加数据多样性或调整采样策略（如提高topk/topp）缓解。二、数据质量与噪声控制少量噪声破坏力强：大模型对噪声极敏感，10%的噪声数据可能导致50%的性能下降。需严格清洗数据，避免错误标注、矛盾信息或低质量文本。例如，输入“我不在家。医院没给开药。”若训练数据中存在类似但矛盾的样本，模型可能错误解读为“不在医院”。幻觉与过度发散问题：大模型易生成与输入无关的内容（幻觉）或过度发散的回答。可通过以下方法缓解：增加约束性数据（如明确指令或示例）。调整生成参数（如降低temperature、提高topp）。引入人类反馈强化学习（RLHF）进一步校准。三、多任务学习的平衡任务干扰现象：单任务模型引入多任务数据时，原任务性能可能下降（“水多了加面，面多了加水”）。需谨慎选择辅助任务，确保其与主任务高度相关。例如，医疗问答模型加入通用问答数据时，需筛选与医疗相关的子集，避免主题偏离。任务权重调整：可通过加权损失函数或分阶段训练平衡多任务。例如，先在主任务上微调，再逐步引入辅助任务数据，避免模型被次要任务主导。四、模型行为优化减少重复与复读：若生成文本多样性不足，可调整采样策略：提高topk（如从1增至5-10）或topp（如从0增至0.9）。引入重复惩罚机制（如presence_penalty/frequency_penalty）。修复bad case的效率：大模型对少量针对性数据敏感，可通过以下步骤快速迭代：收集模型错误案例（如逻辑矛盾、事实错误）。人工标注或生成修正数据（几十条即可）。增量训练并验证效果，避免全量重训。五、实践中的挑战与应对对数据分布的过度拟合：模型可能过度依赖训练数据中的特定模式（如固定开头）。需通过数据增强（如改写、同义词替换）或正则化（如dropout、权重衰减）降低过拟合风险。长文本与上下文理解：大模型在处理长文本时仍可能丢失上下文。可通过以下方法改进：增加长文本样本（如篇章级问答）。使用注意力机制优化（如滑动窗口注意力）。计算资源与效率：SFT需权衡计算成本与效果。可尝试：参数高效微调（如LoRA、Prefix-tuning）。分阶段训练（先冻结底层，再全参数微调）。六、总结与建议数据层面：优先保证质量与场景覆盖，而非盲目扩量。严格清洗噪声数据，避免矛盾或低质量样本。训练层面：调整生成参数与采样策略，平衡多样性与准确性。多任务学习时需筛选相关任务，避免干扰。迭代层面：通过少量精准数据快速修复bad case。监控模型行为（如重复率、幻觉），及时调整策略。大模型SFT需结合数据、算法与工程优化，通过“小步快跑”的迭代策略逐步提升模型性能。