预训练Token重复与SFT训练参数策略

内容整理自学习笔记，仅供面试备考参考；不构成录用、培训或考试承诺。

1. 预训练数据 Token 重复是否影响模型性能？

预训练数据中 Token 的重复会对模型性能产生显著影响。研究表明，数据重复可能导致模型记忆而非泛化，降低模型在未见数据上的表现。合理控制数据的去重比例和重复策略是提升模型质量的重要环节。

2. SFT 训练 Token 数与训练策略

在监督微调（SFT）阶段，训练 Token 数量和训练策略对模型性能影响深远。以下是通过实验总结的关键发现：

发现	说明
多轮 Epoch 降低性能	多轮 epoch 的训练会降低模型性能
大规模数据缓解退化	更大规模的数据集会缓解重复 epochs 对性能下降的影响
数据质量无法挽救过拟合	提高数据集质量也无法挽救重复训练带来的过拟合
小模型与大模型趋势一致	小计算量模型的过拟合趋势与大计算量的差不多
多样训练目标效果有限	多样的训练目标不一定减轻多 Epoch 的性能下降
Dropout 正则有效	Dropout 是被大语言模型忽视的正则技术，虽慢但可降低多 epochs 影响
逐渐使用 Dropout	在训练过程中逐渐使用 Dropout 是有效策略
少量高质量数据足够	少量高质量、多样性的数据也可训练出效果优秀的 SFT 模型

核心建议：优先使用少量高质量、多样性的数据集进行 SFT 训练，避免过多重复 Epoch；如需多轮训练，考虑逐渐引入 Dropout 正则化。